在 Hana DB 中传输 4 个虚拟 SDA 表的最佳方式

问题描述

问题：我的团队目前正在将 ERP 从 ECC 系统迁移到新的 S/4 Hana 系统。作为上线的一部分，我们的团队需要将所有表从 S/4 系统复制到我们将托管数据的 SLT 模式中。大多数表将由 SAP 外的 SLT 复制处理。但是，由于时间紧迫，我们确定了 4 个需要多天复制的表。这个想法是从远程源 (ABAP/SDA) 复制现有数据并放入我们的 SLT 模式中。完成后，我们可以激活点转发复制并允许更新所有新的或修改过的记录查看 SLT 复制。

尝试的方法：我们当前的方法是建立与后端 S/4 数据库的 SDA 连接，并按年份将数据分解以使用存储过程插入到我们的本地表中。这种方法出现了许多问题，但目前正在发挥作用。只是超级慢。

论坛问题：

• 这是您处理此类问题的方式吗？如果没有，您建议的解决方案是什么？
• 您是否在目标表中看到任何需要自定义以提高性能的内容？
• 在可能需要调整的存储过程中，您有什么突出的地方吗？

示例： 假设我们有一个名为：A_tbl

的源表

• A_tbl 中有 5 亿条记录
• 大约 500 列宽

然后我们将有我们的目标表：B_tbl

• 与 A_tbl (500) 相同的列数
• 12 个循环分区
• 在 5 列上编入索引

当前程序：

CREATE OR REPLACE procedure LOAD_B_TBL_FROM_A_TBL ()
as
begin

    declare v_offset_nbr integer;
    declare v_record_count integer;
    declare v_commit_count integer;
    declare i integer;
    declare v_year nvarchar(4);
    declare v_record_per_commit_count CONSTANT INT = 1000000; 
    declare v_table_name CONSTANT NVARCHAR(30) = 'A_TBL';   
    declare v_start_year CONSTANT INT = 2011;
    declare v_end_year CONSTANT INT = 2022;
    declare year_nbr integer;

    
    for year_nbr in v_start_year..v_end_year do
    
        select IfNull(max(offset_nbr),0) into v_offset_nbr from B_TBL_SCHEMA.bulk_load_log where table_name = :v_table_name AND year_nbr = to_varchar(year_nbr); -- Get offset number of records
        
        select count(*) into v_record_count from A_TBL_SCHEMAA_TBL A_TBL WHERE A_TBL.YEAR = to_varchar(year_nbr); -- Count the source records.
    
        v_record_count = v_record_count - v_offset_nbr; -- Subtract out the records already committed for the current year. Failsafe if procedure fails
        
        v_commit_count = v_record_count / v_record_per_commit_count; -- Number of times we need to loop
        
        IF v_record_count < v_record_per_commit_count THEN -- Don't enter the loop if it's not necessary
            INSERT INTO B_TBL_SCHEMA.B_TBL (
                SELECT * FROM A_TBL_SCHEMAA_TBL
                WHERE A_TBL.YEAR = to_varchar(year_nbr)
            ); -- Insert into our target table 
            COMMIT;
            
            
            insert into B_TBL_SCHEMA.bulk_load_log values(
                v_table_name,to_varchar(year_nbr),:v_offset_nbr,now()
            ); -- Insert into a logging table to keep up with offset
    
        ELSE
    
            for i in 0..v_commit_count do -- Loop number of commit times. (500 million / 1 million) = 500 commits necessary to process entire table
        
                INSERT INTO B_TBL_SCHEMA.B_TBL (
                    SELECT * FROM A_TBL_SCHEMAA_TBL 
                    WHERE A_TBL.YEAR = to_varchar(year_nbr)
                    LIMIT :v_record_per_commit_count OFFSET :v_offset_nbr
                ); -- Insert into our target table
                COMMIT;
            
                v_offset_nbr = v_offset_nbr + v_record_per_commit_count; -- Update the offset before logging so we know where to begin if procedure fails
                
                insert into B_TBL_SCHEMA.bulk_load_log values(
                    v_table_name,now()
                ); -- Insert into logging table to keep up with offset
                COMMIT;
            end for;
        end if;
    end for;
end;

解决方法

我认为无需任何额外管理即可传输表格的最简单快捷的方法是带有 BINARY 格式选项的 EXPORT 语句。 这也可以通过架构上的 HANA Studio 上下文菜单或通过 File -> Export... -> SAP HANA -> Catalog Objects、File -> Import... 完成。

通过这种方法，您可以手动设置用于导出和导入的线程数，而无需额外的棘手代码。在目标系统中导入后，您将在与源系统相同的架构中拥有相同结构的相同表，因此要将表移动到新名称或架构，您需要先将其复制到源系统中。导入后，您可以insert ... select ...到目标表或在源系统中创建具有所需分区的副本表，或在目标中对导入的表重新分区并将其用作目标表。

有什么优点：

• 系统之间不需要任何代码或 SDA 连接。
• 您无需检查和重新检查您的代码是否工作正常以及所有数据是否已传输而没有重复。
• 您将在目标中拥有完全相同的表格。
• 表以内部列格式并行导出和导入，因此中间不会出现元组重构（我不知道 HANA SDA 驱动程序是否足够智能，可以通过 SDA 通道传输列并在目标中进行元组重构）。并且列数和记录数影响不大，只是基数高的列需要时间，空或基数低的列一眨眼就导出。

最后，我通过 HANA Studio 在我的系统中对此进行了测试（导入到本地机器）：在 6 分钟内以 8 个线程导出具有 130M 记录和 57 列 5Gb 大小的表。

您的原始方法如何：您应该始终禁用真正批量操作的删除索引和约束，并在最后重建/启用它们，以节省插入期间索引重建或约束检查的时间。

,

性能瓶颈可能是仅使用一个线程的 SDA 传输。

解决方法可能是：

• 创建一个带有输入参数的函数来选择表 A 的子集。例如年份。
• 将年份列表放入表变量中
• 调用 map_merge 以强制并行并将输出引导到目标表中。

这是一些伪代码。

-- virtual table to source A over SDA: VT_TBL_A
-- target table B: TBL_B

CREATE OR REPLACE FUNCTION F_TBL_A_YEAR ( IN YEAR INT)
RETURNS TABLE ( ... )
as begin
   select * from VT_TBL_A where year(MY_DT_COLUMN) = :YEAR;
end;

DO
BEGIN
   DECLARE t_var LIKE TBL_B;

   --list of all 'partitions'
   years=select distinct year(MY_DT_COLUMN) as MY_YEAR from VT_TBL_A;

   --call the function for each year
   t_var = MAP_MERGE(:years,F_TBL_A_YEAR( :years.MY_YEAR));

   insert into TBL_B select * from :t_var;
   commit;
END;
 

当这个运行时，我建议你检查系统视图 M_REMOTE_STATEMENTS 以确认记录是通过多个连接传输的