如果HDFS配置好回收站的话,drop删除表后可以通过命令恢复表数据,

例如回收站HDFS路径如下:

/user/hdp_teu_dpd/.Trash/Current/

表的HDFS路径如下:

/home/hdp_teu_dpd/warehouse/wbdb.db/dw_smart_merge_idmapping/

当drop table dw_smart_merge_idmapping后,需要恢复数据,可以采用如下命令:

hdfs dfs -mv viewfs://58-cluster/user/hdp_teu_dpd/.Trash/Current/home/hdp_teu_dpd/warehouse/wbdb.db/dw_smart_merge_idmapping/dt=20191020 viewfs://58-cluster/home/hdp_teu_dpd/warehouse/wbdb.db/dw_smart_merge_idmapping/

将每一天的分区数据恢复到hive表的路径上,然后再修复一下hive表元数据即可完成正常的数据select查询

MSCK REPAIR TABLE wbdb.dw_smart_merge_idmapping;

不过需要注意的是这种方法只适合drop删除的表,truncate删除的表数据无法恢复。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐