问题描述
我们正在使用Python fdb将数据从Firebird数据库迁移到使用pyodbc的Azure sql。有很多表格,我们可以为每个表格生成一个polybase工作流程,这是一项工作更多,带来很多好处的工作。
但是,我想看看是否可以通过pyodbc将数据以20MB的段写入Azure sql。
是否有办法检测从fdb返回的结果集,以确保其小于20MB?
除了将每个结果集(猜测为20mb的记录数)写入文件并进行测量之外,我是否可以以某种方式在分配的内存上进行处理,然后重新提取,直到获得正确的大小为止?
解决方法
恭喜您找到解决方案:
- “我们决定为每个表格生成一个Polybase工作流程 迁移,因为这样可以更快并在以后重用。”