hdfs集群磁盘清理历史数据流程如下：

#可以查看web界面hdfs集群的磁盘使用率,并记录下来,对比清理后的效果:
清理前
86.00% 194.24TB/225.85TB

#统计warehouse目录下的磁盘使用量(目前表都是建在该路径下)
hadoop fs -du -h /user/hive/warehouse

#统计bak目录下磁盘使用量的表,取前30,清理大表
hadoop fs -du -s /user/hive/warehouse/bak.db/* | sort -n -r | head -30

#统计test目录下磁盘使用量的表,清理该测试路径的数据
hadoop fs -ls /user/hive/warehouse/test

#hdfs回收站会保留1天数据，过期会自动清理, 也可手动清理
hadoop fs -ls /user/test/.Trash/*

# hdfs # hadoop # 大数据
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

YOLOv5n 极致轻量化：1W 功耗实现 100FPS 推理，物联网设备部署实战

avatar DAMO开发者矩阵

基于 A 星（A*）算法的网格环境下的往返式全覆盖路径规划研究（Matlab代码实现）

全覆盖路径规划是移动机器人导航领域的核心问题之一，针对传统遍历算法在障碍环境下路径重复率高、转弯次数多的问题，本文提出一种基于 A 星（A*）算法的往返式全覆盖路径规划方法。以 20×20 网格环境为研究载体，构建含指定障碍点的 0-1 网格地图，依托 A * 算法的路径搜索能力，设计两种往返式遍历策略：基础策略采用按行往返遍历逻辑，优化策略则通过行列交替且正反序遍历的方式，实现对无障碍网格的无重

avatar DAMO开发者矩阵

OpenClaw搭建教程之docker

摘要：本文详细介绍了OpenClaw的Docker搭建流程，包括环境准备、镜像拉取和配置步骤。重点说明如何设置本地网关、绑定局域网访问、配置访问令牌等关键操作，并提供了常见错误解决方案，如token缺失、配对请求等问题的处理方法。同时介绍了QQ机器人插件的安装和配置过程，包括模型上下文窗口调整等注意事项。教程还包含临时开发环境设置和使用SSH隧道访问等实用技巧，适合需要部署OpenClaw服务的开

avatar DAMO开发者矩阵