数据分布均匀是保证GBas8a集群高效并行处理能力的基础。因此定义表时,如何选用HASH分布策略,保证数据分布均匀是获取高性能的关键所在。

选择的依据遵从四大原则:

第一个就是首先保证所有节点数据存放是均匀的,避免出现节点出现数据分布过多或过少情况;

第二,如果经常进行大表连接,尽量把连接字段定义成hash分布字段,这样尽量减少无效的节点间拉表操作;

第三,尽量保证where条件产生的结果集的存储也尽量是均匀的,避免在做查询的时候,出现某些节点过于繁忙或清闲的情况;

第四,选择使用频率高的group by字段作为hash字段。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐