长时间运行的后端处理的SQL Integrity关注

问题描述

我有一个应用程序,它选择大量数据(pyodbc + sqlalchemy,db = sql Server),对其进行一些操作(使用pandas),然后将结果插入到另一个表中。

现在的问题是,我想在处理结束时标记最初选择的行。

实现此目标的最佳方法是什么?

  • 我目前使用pid锁(阻止加载程序)阻止了对第一个表的任何新插入等,但这当然不是对DB的约束,然后批量更新第一个表中没有的行还没有标记
  • 我当然可以获取原始数据中ID的列表,然后分批更新ID,这可能真的很慢,因为可能会有成千上万的行。
  • 另一种选择是在过程开始时锁定表,但这实际上是一个好主意吗? (如果我的脚本在处理过程中由于任何原因死于某种原因,而导致释放锁的“最终”块未执行)

感谢您的任何想法,想法等!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)