通过转换将200M条记录从源架构迁移到目标架构

问题描述

我正在做一些迁移项目,我们需要将数据从旧系统迁移到新系统。每个系统都有其自己的架构,因此我们也需要进行转换。例如,在旧版中,我们以yyyy-mm-dd格式表示日期,而在新版中,我们有一个时期,即旧版系统代码与新版系统代码相同,等等。

这里值得注意的一件事是200M记录确实不是站在1关系上的,那些是200M逻辑业务对象。因此,每个逻辑业务对象实习生都由许多表组成(大约每个逻辑业务对象可以说10-12个关系,平均50条记录)

在我们较早的迁移中,我们在具有16GB RAM和4个核心cpu的公司基础架构上运行了一个春季批处理作业(多线程4个线程),需要5个逻辑业务对象在2秒内进行迁移。显然,对于批量迁移,我们不能这样做。寻找替代方法,例如在PL / sql过程中使用并行执行或任何其他方式。

我们不能依赖ETL团队,因为时间表与我们的项目截止日期不符。有什么有效的方法可以解决这个问题?

Jagan

解决方法

通过禁用索引和约束,PLSQL将始终更快。

如果您具有复杂的逻辑,spring batch可以根据您的逻辑业务对象处理本地分区或远程分区,并增加硬件配置或在具有特定逻辑业务对象的不同服务器上运行以提高性能。从文件到数据库,从数据库到数据库,我们都有一些成功的经验,但是CPU配置高于您的(32 CPU)。

基于逻辑业务对象的分区+读写器+硬件配置+工人数量在这里发挥作用。