#!/usr/bin/env bash
# vLLM 启动 qwen3.6-27b —— H20(96GB) 共享 GPU、业务进程不可受影响 优化版
#
# 模型 model_type = qwen3_5；镜像必须用 latest(实测 vLLM 0.25.1) 才能识别该架构。
# 工具解析器：标准 Qwen3 instruct 必须用 --tool-call-parser qwen3_xml（qwen3 不存在，qwen3_coder/hermes 不适用）。
# 另加 --reasoning-parser qwen3：把思考块从工具调用中分离。
# GPU 约束：业务(mxh_env/mxh_live)已占 ~11.3GB，必须留余量。

# 先清理同名旧容器（含上次崩溃的 exited 容器），保证可重复运行
docker rm -f vllm-qwen3.6-27b 2>/dev/null || true

docker run -d \
  --name vllm-qwen3.6-27b \
  --restart always \
  --gpus all \
  --shm-size=8g \
  -p 8000:8000 \
  -v /models/Qwen3.6-27B:/model \
  -e HF_HUB_OFFLINE=1 \
  --log-opt max-size=100m \
  --log-opt max-file=3 \
  docker.m.daocloud.io/vllm/vllm-openai:latest \
  /model \
  --trust-remote-code \
  --dtype bfloat16 \
  --tensor-parallel-size 1 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_xml \
  --reasoning-parser qwen3 \
  --max-model-len 65536 \
  --gpu-memory-utilization 0.75 \
  --max-num-seqs 8 \
  --served-model-name qwen3.6-27b \
  --enable-prefix-caching \
  --host 0.0.0.0 \
  --port 8000