Spring batch JdbcCursorItemReader cause a memory not enough issue(Spring Batch JdbcCursorItemReader导致内存不足问题)
问题描述
我正在使用Spring Batch框架进行数据迁移。我使用的读取器是JdbcCursorItemReader。我将块大小设置为500,并将读取器获取大小设置为1000。但是,当使用Spring Batch运行该服务时,它似乎只读取了内存中的所有数据一次,然后就耗尽了内存。然后抛出内存不足的问题。下面是我对读者的定义:
另外,从Spring Batch文档here应该可以通过使用jdbcCursorItemReader来避免内存问题
推荐答案
通过使用jdbcPagingItemReader解决了这个问题。游标读取器消耗大量内存的根本原因是,它只是将所有数据读入内存,然后进行处理,JVM会将其视为一个大对象,直接分配到老一代中,直到整个过程完成后才能收集。
这篇关于Spring Batch JdbcCursorItemReader导致内存不足问题的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!