百万级别数据批量插入 MySQL，哪种方式最快？

实战demo及分析总结，实验难免有误区，敬请指正！！！

Fire king

3437人浏览 · 2022-05-20 17:41:17

Fire king · 2022-05-20 17:41:17 发布

3种策略

源码地址

源码

Mybatis 轻量级框架插入-数据量500W

用时：9.17m
在这里插入图片描述

JDBC直接处理-数据量10W

JDBC开启自动提交

用时：13.18m 平均：41s/w
在这里插入图片描述

JDBC关闭自动提交

用时：8.955s 平均：0.4s/w
在这里插入图片描述

采用JDBC批处理-数据量100W

自动提交

用时：6.981s 平均：0.7s/w
在这里插入图片描述

关闭自动提交

用时：6.880s 平均：0.7s/w
在这里插入图片描述

JDBC批处理-数据量100W

自动提交

用时：34.329s 平均：2~6s/w
在这里插入图片描述

关闭自动提交

用时：33.672s 平均：2~4s/w
在这里插入图片描述

总结：

撇去是否开启自动提交事务：
用时：
Mybatis>JDBC直接处理>JDBC批处理
同等策略中：
JDBC直接处理自动提交>JDBC直接处理关闭自动提交
JDBC批处理-100w级别数据自动提交≈JDBC批处理-100w级别数据关闭自动提交，但是随着数据量的提升：
JDBC批处理-500w级别数据自动提交>JDBC批处理-500w级别数据关闭自动提交

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

PCA、SVD 、 ICP 、kd-tree算法的简单整理总结

从线性代数中利用协方差矩阵和特征向量解开大方向的粗对齐，到 SVD 分解算出刚体变换的最优解析解，再到外部包裹 ICP 算法实现动态收敛。而承载这整套华丽数学计算的，是底层极其冷酷而高效的数据结构——从ON2O(N^2)ON2降维到Olog⁡NO(\log N)OlogN的 KD-Tree，以及支撑起现代高频动态建图的 ikd-tree。现代机器人感知系统的强大，正是源于几何代数的精确性与空间数据