#!/bin/bash
# 已在 10.0.1.47 执行。Grafana 在 3001，Prometheus 在 9090，DCGM 在 9400。
# 再跑本脚本发现 prometheus 容器已在会直接退出。
# 不重启 vLLM。DCGM 只读显卡，不占用算力配额。
set -eu

if docker ps --format '{{.Names}}' | grep -qx 'prometheus'; then
  echo "Prometheus 已在运行，退出。"
  exit 0
fi

docker pull docker.m.daocloud.io/prom/prometheus:v3.2.1
docker tag docker.m.daocloud.io/prom/prometheus:v3.2.1 prom/prometheus:v3.2.1
docker pull docker.m.daocloud.io/grafana/grafana:11.5.2
docker tag docker.m.daocloud.io/grafana/grafana:11.5.2 grafana/grafana:11.5.2
docker pull docker.m.daocloud.io/nvidia/dcgm-exporter:3.3.8-3.6.0-ubuntu22.04
docker tag docker.m.daocloud.io/nvidia/dcgm-exporter:3.3.8-3.6.0-ubuntu22.04 nvidia/dcgm-exporter:3.3.8-3.6.0-ubuntu22.04

cd /usr/cluster/observability/metrics
docker compose up -d
docker compose ps