Postgresql (GreenPlum) psycopg2的批量数据插入

psycopg2 数据批量插入问题记录由于最近用到greenplum，需要进行一些数据库批量插入操作，由于其操作方式与postgresql相同，因此采用的是psycopg2（2.8.4）做底层驱动。由于数据量较大，所以采用了批量插入操作，也就是其自带的executemany，从名字来看会给我们其真的是批量插入的错觉（搜了下，大部分搜索结果也是说批量插入使用该操作，坑~(⊙﹏⊙)），但是，实际..

晓东邪

2109人浏览 · 2020-01-20 10:24:11

晓东邪 · 2020-01-20 10:24:11 发布

psycopg2 数据批量插入问题记录

由于最近用到greenplum，需要进行一些数据库批量插入操作，由于其操作方式与postgresql相同，因此采用的是psycopg2（2.8.4） 做底层驱动。

由于数据量较大，所以采用了批量插入操作，也就是其自带的executemany，从名字来看会给我们其真的是批量插入的错觉（搜了下，大部分搜索结果也是说批量插入使用该操作，坑~(⊙﹏⊙)），但是，实际执行时发现插入速度过慢，觉得很奇怪，通过

SELECT
	*
FROM
	pg_stat_activity
WHERE
	usename = 'your-use-name'
AND xact_start IS NOT NULL

查看实际执行情况，发现其最终还是单条数据执行插入，这不是坑嘛，难怪慢，对psycopg2源码进行查看，发现其extras.py模块有个execute_values方法，这个才是真正的执行批量操作，然后就替换了，速度就哐哐哐上来了，over~

参考：
1. Postgresql实用技巧

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

HoloOcean水下机器人模拟器：从1.0到2.0的重大升级

特性模块HoloOcean 2.0 (及开发中)升级核心价值渲染引擎UE 4.27视觉保真度、场景规模车辆动力学简化浮力模型Fossen高保真模型控制算法验证可靠性核心传感器DVL, IMU, 相机等+ 高参相机、深度相机、LiDAR感知算法开发支持声纳仿真八叉树投影光线投射效率、灵活性革命性提升通信接口LCM+ ROS2 桥接生态集成、HIL仿真环境系统静态预设场景+ 程序生成、真实地形、洋流、

DAMO开发者矩阵

内部强化学习破解AI长程推理难题

研究人员开发了一种新技术，使得AI模型更容易学习通常会导致大语言模型产生幻觉或崩溃的复杂推理任务。他们的技术被称为内部强化学习，不是通过下一个令牌预测来训练大语言模型，而是引导模型的内部激活，为输入问题开发高层级的、分步的解决方案。最终，这可能为创建能够处理复杂推理和现实世界机器人技术的自主智能体，提供一条可扩展的路径，而无需持续的人工指导。