数据分析之Hive篇

Hive基于Hadoop的数据仓库工具支持SQL查询功能

1、创建表

image-20201018164318512

我们先创建内部表

image-20201018164345442

image-20201018164525865

image-20201018164551937

image-20201018164644293

2、Hive的复合类型数据用法：map、array、json

image-20201018164805520

image-20201018164819634

image-20201018164918092

image-20201018164936424

image-20201018165057458

image-20201018165113406

image-20201018165219589

image-20201018165230725

image-20201018165313416

image-20201018165447915

image-20201018165506227

image-20201018165536750

image-20201018165545326

image-20201018165719788

如何提高hive的执行效率，先将多个小文件合并

image-20201018165911800

image-20201018165948989

如何避免数据倾斜，使得我们提高执行效率

image-20201018170151137

image-20201018170206936

怎么控制reduce数量，防止它数量过大或过小

image-20201018170449750

在这里插入图片描述

直接控制reduce数量，500就是500个reduce

# mysql # redis # sql # 数据仓库 # hive
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

机器人算法是怎么悄悄变强的-影子模式与数据闭环

传统软件"部署即终点"，机器人算法恰恰相反——部署才是起点。因为真实环境比测试环境复杂太多，训练数据永远覆盖不了所有场景，环境还在不断变化。算法上线后得持续收集真实数据、发现问题、再训练、再部署，这个循环转起来，算法才越用越强。——摔一下、撞一下，可能就是硬件损坏甚至伤人。怎么破？答案是。

avatar DAMO开发者矩阵
cover

适合装备制造业的PLM选型方案：聚焦构型管理与工程数据闭环

avatar DAMO开发者矩阵

基于蚁群优化算法的直流电机模糊PID控制（Matlab实现）

直流电机因其调速性能优异、响应速度快等特点，在工业控制、电动汽车、机器人等领域有着广泛应用。然而，传统PID控制存在参数固定、难以应对非线性及环境扰动等问题。模糊PID控制虽通过引入模糊逻辑实现了参数自适应调整，但在复杂场景下仍面临规则库构建与参数优化的难题。本文将蚁群优化算法（Ant Colony Optimization, ACO）引入直流电机模糊PID控制系统中，利用其全局寻优能力对模糊PI

avatar DAMO开发者矩阵