# 18、清理prometheus(监控)历史数据

转至元数据起始

现象:1.监控大盘主机,/data磁盘使用率100%

      2.开发者中心首页所有主机显示“未添加监控”;

思路:1.缩短prometheus的监控数据保存期限(平台默认保存期限为30天);

      2.最优解决方案是客户为主机增加磁盘。

注意:此方案只是临时解决方案,平台的默认监控数据默认保存时间没有变化。

1.查看prometheus运行状态,并停止

systemctl stop prometheus

docker ps -a |grep prome

systemctl status prometheus

2.备份prometheus命令

mkdir /data/yonbak/

cd /yonbak/

docker cp prometheus:/bin/prometheus .


 

3.在备份目录执行以下命令,修改监控数据保留期限15天

./prometheus \

  --config.file=/data/monitor/prometheus/conf/prometheus.yml \

  --web.enable-lifecycle \

  --storage.tsdb.path=/data/monitor/prometheus/data \

  --storage.tsdb.retention=15d

   执行 此命令后,终端不会退出,可以查看日志是否正常输出,并确认没有出现大量异常报错,同时查看磁盘空间是否已经释放(约 5-6分钟)。

   检测命令:curl http://ip:9090/alerts

4.确认一切正常后,退出终端

ctrl + c  

5.启动prometheus 和 grafana

systemctl start prometheus

systemctl  restart grafana

6.检查prometheus和grafana的运行状态,

docker logs prometheus

curl http://ip:9090/alerts

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐