spark 查询大量数据报java.lang.OutOfMemoryError: Java heap space

heap space outofmemory 堆内存溢出,所以是driver内存不够导致的

将driver的内存加大。

因为从日志看,最终结果会回写到driver上

(有类似 xxxxx byte sent to driver的日志)

内存可能满了。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐