使用Spring Batch无法读取大文件8GB

问题描述

我有6,000万条CSV记录，大小约为8 GB。

需要从文件读取记录，然后使用JPA将其插入数据库。

尝试使用Spring Batch读取此文件，但是性能非常慢。我将最大块大小添加到1500的行，但是没有用。

还添加了任务执行器来创建线程，但是没有用。

系统配置。 2天xlarge 16 GiB内存和4个vcpu，16GB RAM和4个核心cpu

 @Bean
public Step step3() {
    return stepBuilder
            .get("step3")
            .<main_Data,main_Data>chunk(1500)
            .reader(this.mainDataReader)
            .processor(this.main_data_processor)
            .writer(this.mainDataWriter).taskExecutor(taskExecutor())
            .build();
}



@Bean
public  TaskExecutor taskExecutor(){
    SimpleAsyncTaskExecutor simpleAsyncTaskExecutor = new SimpleAsyncTaskExecutor();
    simpleAsyncTaskExecutor.setConcurrencyLimit(5);
    return  simpleAsyncTaskExecutor;
}

也可以尝试

  @Bean
public TaskExecutor taskExecutor2() {
   ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
   executor.setCorePoolSize(64);
   executor.setMaxPoolSize(64);
   executor.setQueueCapacity(64);
   executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
   executor.setThreadNamePrefix("MultiThreaded-");
    return executor;
}

我也尝试过使用OpenCsv，但是使用Opencsv获得重复的记录。

关于Spring批处理性能或以其他方式读取此文件的建议吗？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）