数据分析之Hive篇

Hive基于Hadoop的数据仓库工具支持SQL查询功能

1、创建表

image-20201018164318512

我们先创建内部表

image-20201018164345442

image-20201018164525865

image-20201018164551937

image-20201018164644293

2、Hive的复合类型数据用法：map、array、json

image-20201018164805520

image-20201018164819634

image-20201018164918092

image-20201018164936424

image-20201018165057458

image-20201018165113406

image-20201018165219589

image-20201018165230725

image-20201018165313416

image-20201018165447915

image-20201018165506227

image-20201018165536750

image-20201018165545326

image-20201018165719788

如何提高hive的执行效率，先将多个小文件合并

image-20201018165911800

image-20201018165948989

如何避免数据倾斜，使得我们提高执行效率

image-20201018170151137

image-20201018170206936

怎么控制reduce数量，防止它数量过大或过小

image-20201018170449750

在这里插入图片描述

直接控制reduce数量，500就是500个reduce

# mysql # redis # sql # 数据仓库 # hive
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

KingbaseES数据库：医疗信创潮涌沅江，国产化信创打造医疗新质生产力

avatar DAMO开发者矩阵
cover

告别迁移焦虑：金仓KDMS V4带你轻松搞定数据库国产化替代

avatar DAMO开发者矩阵
cover

KingbaseES数据库在常德二院全栈国产化信创中产生新质生产力,医疗信创的部署如何实现，如何操作？

avatar DAMO开发者矩阵