多机器定时任务批量处理不同数据
·
1. 时间戳: 在数据中加入时间戳字段(如果没有的话),这样在每次查询的时候你可以按照时间戳的顺序去查询新的数据。比如你的任务每10分钟执行一次,你就在查询的时候查找时间戳在最后一次任务执行时间和当前时间之间的数据。
2. 游标:你可以使用游标来跟踪你已经查询到的数据。在我们的例子中,游标可以是最后一次任务执行的最后一条数据的标识符。然后你在执行新的查询时,只查询标识符大于游标值的数据。
3. 版本号:如果你的数据中加入了版本号,也可以使用类似于游标的方法,只查询版本号比最后一次处理数据的版本号大的数据。
不过要注意,上述解决方案都需要保证你查询新的数据的同时,不会遗漏或者重复处理数据。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)