java-Spring数据如何清除事务方法中的永久实体?

我需要在休眠状态下使用spring数据接收并保存大量数据.我们的服务器分配的RAM不足,无法同时保留所有实体.我们肯定会得到OutOfMemory错误.

因此,我们需要分批保存数据,这很明显.同样,我们需要使用@Transactional来确保所有数据持久化或非持久化,即使出现单个错误也是如此.

因此,问题是:@Transactional方法期间的spring数据是否将实体存储在RAM中或被刷新的实体可被垃圾收集器访问?

那么,用spring数据处理海量数据的最佳方法是什么?春季数据可能不是解决此类问题的正确方法.

最佳答案

Does spring data during @Transactional method keep storing entities in
RAM or entities which were flushed are accessible to garbage
collector?

实体将继续存储在RAM中(即,在entityManager中),直到清除事务提交/回滚或entityManager.这意味着只有在事务提交/回滚或
调用entityManager.clear().

So,what is the best approach to process huge mount of data with
spring data?

防止OOM的一般策略是逐批加载和处理数据.在每个批次的末尾,您应该刷新并清除entityManager,以便entityManager可以释放其用于CG的托管实体.常规代码流应如下所示:

@Component
public class BatchProcessor {

    //Spring will ensure this entityManager is the same as the one that start transaction due to  @Transactional
    @PersistenceContext
    private EntityManager em;

    @Autowired
    private FooRepository fooRepository;

    @Transactional
    public void startProcess(){

        processBatch(1,100);
        processBatch(101,200);
        processBatch(201,300);
        //blablabla

    }

    private void processBatch(int fromFooId,int toFooId){
        List<Foo> foos =  fooRepository.findFooIdBetween(fromFooId,toFooId);
        for(Foo foo :foos){
            //process a foo
        }

        /*****************************
        The reason to flush is send the update SQL to DB . 
        Otherwise,the update will lost if we clear the entity manager 
        afterward.
        ******************************/
        em.flush();
        em.clear();
    }
} 

请注意,此做法仅用于防止OOM,而不能用于实现高性能.因此,如果您不关心性能,则可以安全地使用此策略.

相关文章

这篇文章主要介绍了spring的事务传播属性REQUIRED_NESTED的原...
今天小编给大家分享的是一文解析spring中事务的传播机制,相...
这篇文章主要介绍了SpringCloudAlibaba和SpringCloud有什么区...
本篇文章和大家了解一下SpringCloud整合XXL-Job的几个步骤。...
本篇文章和大家了解一下Spring延迟初始化会遇到什么问题。有...
这篇文章主要介绍了怎么使用Spring提供的不同缓存注解实现缓...