Eclipselink-分离实体内存泄漏

问题描述

设置

我们目前在JakartaEE应用程序中使用带有eclipselink的wildfly作为JPA实现。应用程序本身是具有REST，Service和DAO层的RESTful Web服务器。 DAO是唯一使用EntityManager的层。我们总是出于各种原因而分离实体。

• 为防止eclipselink自动进行状态检查和将更改刷新到数据库中
• 为防止eclipselink多次读取重复使用同一对象 ...

但是，通过使用这种方法，我们注意到内存使用量激增，在某些情况下会导致OutOfMemory错误。

诊断

使用VisualVM，我们已经指出了问题，即内存中有大量实体实例。

测试代码

这是我们遇到的（一些历史数据的迁移）问题的代码示例

LinkedList<SomeEntity> entities; //Here is loaded set of entities to process
while(!entities.isEmpty()) {
    SomeEntity entity = entities.removeFirst(); //We are iterating in quee fashion to allow GC to remove already processed items from memory
    if (entity.getItems().isEmpty()) {
        //this call is transactional
        entityService.delete(entity.getId());
     } else if (entity.getItems().stream().anyMatch(item -> item.getQuantity() > 0.0)){
        //DO SOME CHANGES ON ENTITY
        //this call is transactional
        entityService.update(operation);
     }
     entity = null;
}
entities = null;

观察

• 在分析内存使用情况时，我们可以看到内存中实体类的数量不断增加。测试代码中使用的不是同一实体，而是大多数时候其他对象引用的实体。有时其中的一部分会被清除，但一段时间后总数会增加
• 实例数大大超过了数据库中的记录
• 这意味着每次关联中引用对象时，都会创建新实例（可以）
• 当我们创建堆转储并从引用对象的地方看时，只有eclipselink内部结构显示为 relationshipSourceObject in org.eclipse.persistence.internal.indirection.UnitOfWorkQueryValueHolder#90312 owner in org.eclipse.persistence.internal.descriptors.changetracking.AttributeChangeListener#26713，...）

我们尝试过的

这些都没有帮助：

• 将eclipselink.cache.type.default。设置为WEAK，SOFT甚至NONE
• 在while结束时手动调用EntityManager.clear

据我所知，WEAK应该足以防止eclipselink将引用存储太长时间并防止GC。但是无论如何它都存储在某个地方，并且由于可以从GC根访问引用，因此将其更新。谁能解释这种行为或为我指出去哪里寻找方向？

编辑

发表评论和克里斯回答。有关我们如何使用EM和交易的更多信息。

我们正在使用EntityManager.detach方法进行分离，并且引用（@OneToMany，@ManyToMany等）已应用Cascade.DETACH。在分离之前先完成必要的延迟加载引用的加载。

我同意有关重新获取实体的部分。我不介意在同一时间在内存中拥有同一实体的多个实例。我的问题是为什么它没有被垃圾收集。

示例代码中的实体列表在后续数据库UPDATE或DELETE中的一个事务中加载（这也将某些位提取到内存中以创建更多实例）是每个实体的另一个事务。我可能希望在初始调用期间使用大部分堆，然后慢慢清除或保持大致相同。

关于使用EntityManager

我们将Wildfly用作JakartaEE容器。默认情况下，它是作为JPA提供程序与hibernate一起提供的，但是我们在eclipselink中添加了模块，并在persistence.xml中配置了提供程序

根据documentation容器管理的EntityManager根据需要创建实例。

解决方法

您是否在缓存实体？清除还不足以让您有效地进行缓存，好像您要尝试的那样可能与您当前的问题有关。从EntityManager加载的所有内容都引用了该EntityManager，因此我猜您正在读取部分被提取并缓存它们的大量实体，然后使用EntityManager.clear（）尝试分离它们。

这些实体不再被“管理”，但仍引用EntityManager。一旦您获取了某些内容（例如您已在代码中显示过的entity.getItems（）调用），并假设这是一个标准的OneToMany，其后向指针默认为延迟加载，这将强制将所有“项目”提取到内存中。由于它们具有向后引用，而EntityManager未引用“此”实体，因此Item必须重新获取该实体。因此，您现在在内存Entity1'-> Item1-> Entity1中具有同一实体的两个实例。

这可以通过更复杂的对象图和重复的清除调用轻松建立。

这可以解决，但是可以通过减少在EntityManager中的操作范围来减少开销，以便可以将其重新用于与该对象图相关的标识目的，并可以收集垃圾（并由GC清除）当用于读取的对象也被GC清除时。