千万级csv文件导入数据库,dbeaver连接oracle导入数据
近期有个csv文件导入oracle表的需求,单个csv文件数据量23g,一共8个,使用plsql发现导入功能很一般,然后大佬推荐的dbeaver,简单记录一下导入数据的使用过程。我这边一个csv文件23g数据,大约6500w条数据,受到环境的影响,一秒钟大概能导入6000条数据,一个文件3小时导入,还算圆满。一定确保数据库空间足够,而且csv文件的长度一定要保证在表字段长度之内,否则可能出现导入半
近期有个csv文件导入oracle表的需求,单个csv文件数据量23g,一共8个,使用plsql发现导入功能很一般,我又不会写代码,然后大佬推荐的dbeaver,简单记录一下导入数据的使用过程。
先在官网下载,我这里是下载了 windows 的社区版本
然后在本地找位置安装好
…
装好后开始连接数据库,根据自己的实际需求连接对应的数据
数据库信息要根据自己实际情况填写
配置好后测试连接可能会涉及到驱动问题,直接点击下载,完事后基本都会连接成功。
然后点开连接,找到数据库右击有导入数据选项

在浏览选项找到自己需要导入的csv文件
找到csv配置好后下一步再配置需要导入数据的表
根据自己实际需求,一般来说导入的表都会在数据库端有现成的表,字段也一般是匹配好的
再根据实际情况配置是否需要自动生成列以及提交数量等配置
再点击继续,配置无误的话,基本就能坐等导入数据完成了。
我这边一个csv文件23g数据,大约6500w条数据,受到环境的影响,一秒钟大概能导入6000条数据,一个文件3小时导入,还算圆满。
一定确保数据库空间足够,而且csv文件的长度一定要保证在表字段长度之内,否则可能出现导入半天报错,前功尽弃的情况,说多了都是泪啊。
ok,仅供参考,下课。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)