这篇文章给大家分享的是有关mybatis批量插入10万条数据的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
数据库 在使用mybatis插入大量数据的时候,为了提高效率,放弃循环插入,改为批量插入,mapper如下:
package com.lcy.service.mapper; import com.lcy.service.pojo.TestVO; import org.apache.ibatis.annotations.Insert; import java.util.List; public interface TestMapper { @Insert("") Integer testBatchInsert(List list); }
实体类:
package com.lcy.service.pojo; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; @Data @NoArgsConstructor @AllArgsConstructor public class TestVO { private String t1; private String t2; private String t3; private String t4; private String t5; }
测试类如下:
import com.lcy.service.TestApplication; import com.lcy.service.mapper.TestMapper; import com.lcy.service.pojo.TestVO; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.test.context.junit4.SpringRunner; import java.util.ArrayList; import java.util.List; @SpringBootTest(classes = TestApplication.class) @RunWith(SpringRunner.class) public class TestDemo { @Autowired private TestMapper testMapper; @Test public void insert() { List list = new ArrayList<>(); for (int i = 0; i < 200000; i++) { list.add(new TestVO(i + "," + i, i + "," + i, i + "," + i, i + "," + i, i + "," + i)); } System.out.println(testMapper.testBatchInsert(list)); } }
为了复现bug,我限制了JVM内存:
执行测试类报错如下:
java.lang.OutOfMemoryError: Java heap space
at java.base/java.util.Arrays.copyOf(Arrays.java:3746)
可以看到,Arrays在申请内存的时候,导致栈内存溢出
改进方法,分批新增:
import com.lcy.service.TestApplication; import com.lcy.service.mapper.TestMapper; import com.lcy.service.pojo.TestVO; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.test.context.junit4.SpringRunner; import javax.swing.*; import java.util.ArrayList; import java.util.List; import java.util.stream.Collectors; @SpringBootTest(classes = TestApplication.class) @RunWith(SpringRunner.class) public class TestDemo { @Autowired private TestMapper testMapper; @Test public void insert() { List list = new ArrayList<>(); for (int i = 0; i < 200000; i++) { list.add(new TestVO(i + "," + i, i + "," + i, i + "," + i, i + "," + i, i + "," + i)); } int index = list.size() / 10000; for (int i=0;i< index;i++){ //stream流表达式,skip表示跳过前i*10000条记录,limit表示读取当前流的前10000条记录 testMapper.testBatchInsert(list.stream().skip(i*10000).limit(10000).collect(Collectors.toList())); } } }
还有一种方法是调高JVM内存,不过不建议使用,不仅吃内存,而且数据量过大会导致sql过长报错
感谢各位的阅读!关于“mybatis批量插入10万条数据的示例分析”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。