spark 查询大量数据报java.lang.OutOfMemoryError: Java heap space
spark 查询大量数据报java.lang.OutOfMemoryError: Java heap space
·
spark 查询大量数据报java.lang.OutOfMemoryError: Java heap space
heap space outofmemory 堆内存溢出,所以是driver内存不够导致的
将driver的内存加大。
因为从日志看,最终结果会回写到driver上
(有类似 xxxxx byte sent to driver的日志)
内存可能满了。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)