平台服务汇总 · 入口、凭据与架构
环境锚点:应用主机 192.168.110.207 + GPU 主机 116.62.10.183
凭据来源:scripts_cursor/_config.py、各部署专题(内网学习环境,请控制访问权限)
HTML:docs/html_cursor/平台服务汇总_入口与架构_cursor.html
1. 架构总览
flowchart TB
subgraph Users["使用者"]
U1[浏览器 · 运维/业务]
U2[API / SDK / Dify Agent]
end
subgraph EDGE["总入口 · 207"]
HGW["Higress Gateway<br/>:18080 / :18443"]
HCON["Higress Console<br/>:8001"]
end
subgraph APP207["应用主机 192.168.110.207"]
PORTAL["服务入口页<br/>:8090"]
DIFY["Dify 控制台<br/>:80"]
LLM["LiteLLM Proxy<br/>:4000"]
XF["Xinference<br/>:9997"]
WV["Weaviate 中继<br/>:8088"]
LF["Langfuse<br/>:3000"]
PROM["Prometheus<br/>:9092"]
GRAF["Grafana<br/>:3001"]
SLA["SLA Exporter<br/>:8781"]
HW["作业 API<br/>:8777–8780"]
end
subgraph GPU116["GPU 主机 116.62.10.183"]
VLLM["vLLM Qwen3.6-27B<br/>:8000"]
end
U1 --> HGW
U1 --> PORTAL
U1 --> DIFY
U1 --> LF
U1 --> HCON
U1 --> GRAF
U2 --> HGW
U2 --> LLM
U2 --> DIFY
HGW -->|/llm/v1| LLM
HGW -->|/xf/v1| XF
HGW -->|Host dify.ai.local| DIFY
DIFY --> LLM
DIFY --> XF
DIFY --> WV
DIFY -.->|Tracing| LF
LLM --> VLLM
LLM --> XF
SLA --> DIFY
SLA --> LF
SLA --> LLM
SLA --> VLLM
PROM --> SLA
GRAF --> PROM
HW -.->|SSH 探活| VLLM
DIFY -.->|OpenAPI 工具| HW
调用链口诀
text
用户 →(可选 Higress :18080)→ Dify 编排
→ LiteLLM 路由 → 116 vLLM 对话
→ 207 Xinference 向量/Rerank
Dify 知识库 → Weaviate(:8088) + Xinference Embedding
全链路观测 → Langfuse(:3000)
平台健康 → SLA Exporter(:8781) → Prometheus(:9092) → Grafana(:3001)
主机 SSH(运维)
| 主机 | 地址 | 账号 | 密码 | 用途 |
|---|
| 207 应用机 | 192.168.110.207 | root | 123456 | Dify / LiteLLM / Langfuse / 监控 |
| 116 GPU 机 | 116.62.10.183 | root | HuaweiCloud2027$ | vLLM 容器、nvidia-smi |
2. 有 Web 登录的服务
2.1 Dify 控制台(核心编排)
| 项 | 值 |
|---|
| 入口 | http://192.168.110.207/(:443 若已配 TLS) |
| 经 Higress | 浏览器 hosts 加 192.168.110.207 dify.ai.local,访问 http://dify.ai.local:18080/ |
| 账号 | 38205036@qq.com |
| 密码 | Difyai123456 |
| 干什么 | Agent / 工作流 / 知识库 / 模型供应商配置 |
| 怎么用 | 浏览器登录 → 工作室创建应用 → 模型供应商填 LiteLLM http://192.168.110.207:4000/v1 + Key sk-litellm-bocheng-207 |
| 关联 | LiteLLM、Xinference、Weaviate、Langfuse、作业 OpenAPI 工具 |
控制台 REST API(脚本用)需 Cookie + X-CSRF-Token;密码在 JSON 里要 base64 编码。见各作业脚本 dify_api.py。
2.2 Langfuse(Trace / Token / 成本)
| 项 | 值 |
|---|
| 入口 | http://192.168.110.207:3000 |
| 账号 | admin@example.com |
| 密码 | Langfuse123456 |
| API Key(SDK / Dify Tracing) | PK: pk-lf-84a76d89-b6b4-4943-b4ea-2dee48d4cda7 / SK: sk-lf-24aa6d73-ed36-4447-9eb6-3ebd446fb298 |
| 干什么 | 查看 Agent 调用链、Generation Token、延迟、错误 |
| 怎么用 | UI 登录看 Traces;Dify 应用里配置 Tracing Host 为 http://192.168.110.207:3000(不能写 localhost) |
| 关联 | Dify worker/api 上报;作业4 成本熔断、作业14 Top10 |
2.3 Grafana(SLA 大盘)
| 项 | 值 |
|---|
| 入口 | http://192.168.110.207:3001 |
| 账号 | admin |
| 密码 | admin123 |
| 干什么 | 平台 SLA 可视化(组件可用率、五项 SLA gauge) |
| 怎么用 | 登录 → 打开大盘 d/ai-platform-sla(UID: ai-platform-sla) |
| 关联 | Prometheus :9092 ← SLA Exporter :8781 |
2.4 Higress Console(网关管理)
| 项 | 值 |
|---|
| 入口 | http://192.168.110.207:8001 |
| 账号 | admin |
| 密码 | Higress207admin! |
| 干什么 | 路由、服务源、域名、插件(限流/鉴权等) |
| 怎么用 | 首次部署走 POST /system/init;日常浏览器登录改 /llm、/xf、dify.ai.local 路由 |
| 关联 | Gateway :18080、内置 Nacos :8848 |
| 集群加密 Key | HIGRESS_ENC_KEY=bocheng207higressenckey32chars!!(32 字符) |
2.5 Xinference 管理 CLI(非 Web UI)
| 项 | 值 |
|---|
| 服务地址 | http://192.168.110.207:9997 |
| 管理登录 | xinference login -e http://127.0.0.1:9997 → 用户 admin / 密码 admin1234 |
| API Key(调用用) | xf-K8H3LiS27H4188XdOyWJj74MWMOlIR9tZbiybDbxbSas7eAI |
| 干什么 | 启动/管理 bge-m3 embedding、bge-reranker-v2-m3 |
| 怎么用 | API 调用带 Authorization: Bearer xf-...;Dify 直连 Xinference 或经 LiteLLM model=bge-m3 |
| 关联 | Dify 知识库、LiteLLM 向量路由 |
2.6 服务入口页 :8090(一站看全 · 无登录)
| 项 | 值 |
|---|
| 入口 | http://192.168.110.207:8090/ |
| 载体 | host-portal.service → python3 -m http.server 8090 --directory /var/www/portal |
| 页面文件 | /var/www/portal/index.html(改页面=覆盖此文件,不用重启服务) |
| 干什么 | 把全机可从浏览器打开的服务按「应用 / 模型与网关 / 监控 / 代码与接口」四组铺成卡片,顶部可搜索名称或端口 |
| 怎么用 | 断电重启后第一个打开的就是它——先确认 207 活着,再按卡片逐个点 |
| 关联 | 207 服务入口与断电重启恢复 |
卡片 URL 按访问者当前的 IP 拼(location.hostname),所以内网 / 外网换 IP 访问都不用改页面。
部署与维护命令见 207 服务入口与断电重启恢复 第 2 节。
2.7 DeepSeek Harness :3080(对话 Web UI)
| 项 | 值 |
|---|
| 入口 | http://192.168.110.207:3080/ |
| 载体 | deepseek-harness.service(Node + tsx,/deepseek/deepseek-harness-master) |
| 上游 | DEEPSEEK_BASE_URL=http://116.62.10.183:8000/v1、DEEPSEEK_API_KEY=sk-123456 |
| 干什么 | 一个轻量对话控制台,直连 116 的 vLLM(与 Dify 走同一台推理机,但绕开 Dify 编排) |
| 怎么用 | 排查「到底是 Dify 的问题还是模型的问题」时用它——同一台模型,这里通了说明模型侧没事 |
2.8 办公 IP 云同步控制台 :8765
| 项 | 值 |
|---|
| 入口 | http://192.168.110.207:8765/ |
| 载体 | office-sync-web.service(/opt/office-huawei-aliyun-anquanzu/web/app.py),配套 ip-monitor.service 每 30s 巡检 |
| 干什么 | 办公网公网 IP 变化的同步与控制台(华为云 / 阿里云侧安全组、ELB 白名单) |
| 关联 | 作业18 Agent 出站白名单与密钥轮换 |
3. 无 Web 登录 · 核心 API 服务
3.1 LiteLLM Proxy(生产网关)
| 项 | 值 |
|---|
| Base URL | http://192.168.110.207:4000 |
| OpenAI 兼容 | http://192.168.110.207:4000/v1 |
| 鉴权 Key | sk-litellm-bocheng-207(Master Key,非登录账号) |
| 干什么 | 统一 OpenAI 格式入口;对话 → 116 vLLM;向量 → Xinference |
| 怎么用 | 所有请求 Header: Authorization: Bearer sk-litellm-bocheng-207 |
| 端点 | 需 Key | 用途 | 示例 |
|---|
GET /health/liveliness | 否 | 网关存活探活 | curl -sf http://192.168.110.207:4000/health/liveliness |
GET /v1/models | 是 | 列可用模型 | curl -H "Authorization: Bearer sk-litellm-bocheng-207" .../v1/models |
POST /v1/chat/completions | 是 | 对话补全 | model: qwen3.6-27b / qwen |
POST /v1/embeddings | 是 | 向量化 | model: bge-m3 |
经 Higress 等价入口:http://192.168.110.207:18080/llm/v1/*(Key 相同)
详见 LiteLLM 部署、LiteLLM 高级功能与用法。
3.2 vLLM Qwen3.6-27B(116 GPU 推理)
| 项 | 值 |
|---|
| Base URL | http://116.62.10.183:8000/v1 |
| 鉴权 Key | 123456 |
| 干什么 | 主 LLM 推理(OpenAI 兼容) |
| 怎么用 | 生产建议经 LiteLLM 调用;排障可直连 |
| 端点 | 需 Key | 用途 | 示例 |
|---|
GET /v1/models | 是 | 列模型 | Bearer 123456 |
POST /v1/chat/completions | 是 | 对话 | model: qwen3.6-27b |
GET /metrics | 否 | Prometheus 指标(排队/吞吐) | `curl -s ...:8000/metrics \ |
关联:LiteLLM 上游、Dify 模型供应商(经 LiteLLM)、作业5/7 SSH 探活。
3.3 Xinference API(207 向量 / Rerank)
| 项 | 值 |
|---|
| Base URL | http://192.168.110.207:9997/v1 |
| 鉴权 Key | xf-K8H3LiS27H4188XdOyWJj74MWMOlIR9tZbiybDbxbSas7eAI |
| 干什么 | Embedding(bge-m3)、Rerank(bge-reranker-v2-m3) |
| 怎么用 | 所有 /v1/* 需 Bearer xf-...;或经 LiteLLM / Higress /xf/v1 |
| 端点 | 用途 |
|---|
GET /v1/models | 列已 launch 模型 |
POST /v1/embeddings | 向量化 |
POST /v1/rerank | 重排序 |
经 Higress:http://192.168.110.207:18080/xf/v1/*
3.4 Higress Gateway(统一 HTTP 入口)
| 项 | 值 |
|---|
| HTTP | http://192.168.110.207:18080 |
| HTTPS | https://192.168.110.207:18443(若已配证书) |
| 干什么 | 路径/域名路由,对外统一入口 |
| 怎么用 | 按路径选 Key;Dify 用浏览器登录 |
| 路径 / Host | 转发到 | 客户端 Key | 等价直连 |
|---|
/llm/v1/* | LiteLLM :4000 | sk-litellm-bocheng-207 | :4000/v1/* |
/xf/v1/* | Xinference :9997 | xf-... | :9997/v1/* |
Host dify.ai.local / | Dify :80 | Dify 邮箱密码(浏览器) | http://192.168.110.207/ |
GET / | landing 页 | 无 | 网关默认页 |
3.5 Weaviate(Dify 向量库 · 中继)
| 项 | 值 |
|---|
| 对外(IPv4 中继) | http://192.168.110.207:8088 |
| 容器内 | :8080 |
| 鉴权 | Dify docker .env 内配置(无独立 Web 登录) |
| 干什么 | Dify 知识库向量存储与检索 |
| 怎么用 | 由 Dify 自动调用;排障:curl -sf http://192.168.110.207:8088/v1/meta |
3.6 Langfuse 公开 API
| 端点 | 需 Key | 用途 |
|---|
GET /api/public/health | 否 | 健康检查 |
POST /api/public/ingestion | PK/SK Basic | Dify Trace 上报 |
GET /api/public/traces | PK/SK | 查询 Trace |
GET /api/public/observations | PK/SK | 查询 Observation |
bash
curl -sf http://192.168.110.207:3000/api/public/health
3.7 Prometheus + SLA Exporter(监控)
SLA Exporter — http://192.168.110.207:8781
| 端点 | 需 Key | 用途 |
|---|
GET /health | 否 | Exporter 自身健康 |
GET / | 否 | 简要状态页 |
GET /metrics | 否 | Prometheus 文本格式(组件 up、SLA gauge) |
bash
curl -sf http://192.168.110.207:8781/metrics | grep ai_platform
Prometheus — http://192.168.110.207:9092
| 端点 | 用途 |
|---|
GET /-/healthy | 服务健康 |
GET /api/v1/targets | 抓取目标状态 |
GET /api/v1/query | PromQL 查询 |
3.8 Hindsight API :18888
| 项 | 值 |
|---|
| Base URL | http://192.168.110.207:18888 |
| 文档 | http://192.168.110.207:18888/docs(Swagger) |
| 载体 | hindsight-api.service(用户 hindsight,/opt/hindsight,环境变量在 /opt/hindsight/hindsight.env) |
| 干什么 | 记忆服务(长期记忆的存取与检索),供 Agent 侧调用 |
| 怎么用 | 浏览器打开 /docs 直接试接口 |
4. 作业 / 扩展 API(无登录 · OpenAPI 工具)
这些服务供 Dify Agent / Workflow 通过 OpenAPI 调用,无 Web 登录。
4.1 作业1 · 服务器状态 — :8777
| 项 | 值 |
|---|
| Base | http://192.168.110.207:8777 |
| 干什么 | 模拟查服务器状态(运维巡检 Agent 工具) |
| 端点 | GET /health · GET /server/status?server_name=gpu-server-01 |
| 怎么用 | Dify 挂 OpenAPI 工具;或 curl "http://192.168.110.207:8777/server/status?server_name=gpu-server-01" |
4.2 作业2 · 工单 API — :8778
| 项 | 值 |
|---|
| Base | http://192.168.110.207:8778 |
| 干什么 | 客服意图路由工作流 · 创建工单 |
| 端点 | GET /health · POST /ticket(JSON body) |
| 怎么用 | Workflow 节点 HTTP 请求或 OpenAPI 工具 |
4.3 作业5 · vLLM 健康 — :8779
| 项 | 值 |
|---|
| Base | http://192.168.110.207:8779 |
| 干什么 | 聚合 116 vLLM 容器/GPU/排队状态 |
| 端点 | GET /health · GET /vllm/status · GET /gpu/info · GET /vllm/queue |
| 怎么用 | vLLM 健康检查 Agent 工具;SSH 后端读 116 |
4.4 作业7 · 故障自愈 — :8780
| 项 | 值 |
|---|
| Base | http://192.168.110.207:8780 |
| 干什么 | OOM 检测、重启 vLLM、钉钉 recovery 通知 |
| 端点 | GET /vllm/detect_anomaly · POST /vllm/restart · POST /notify/recovery |
| 关联 | 116 vLLM、钉钉 Webhook(关键词「周报」) |
5. 测试 / 学习环境(非生产)
| 服务 | 地址 | Key | 说明 |
|---|
| LiteLLM 测试 | 127.0.0.1:4010 | sk-hw13-test-4010 | 作业13 主备/Fallback,勿覆盖 :4000 |
| Mock Primary | 127.0.0.1:18101 | sk-mock | 压测易 429 |
| Mock Backup | 127.0.0.1:18102 | sk-mock | 压测备上游 |
| vLLM Backup 样例 | 116.62.10.183:8001 | 123456 | 作业17 主备路由示例端口 |
6. 端口速查(避免冲突)
2026-10-13 在 207 实扫(ss -lntp + docker ps + systemctl 三处对齐)。加新服务前先看这张表。
6.1 宿主进程 / systemd
| 端口 | 服务 | 备注 |
|---|
| 22 | SSH | |
| 80 / 443 | Dify 控制台(nginx 反代) | 上游 127.0.0.1:8089 |
| 3080 | DeepSeek Harness | systemd,直连 116 vLLM |
| 3306 | MySQL | 宿主安装 |
| 4000 | LiteLLM 生产 | 4010=测试 |
| 6443 | k3s API Server | |
| 8000 | Yearning(SQL 审核) | nginx vhost |
| 8090 | 服务入口页 | host-portal.service |
| 8765 | 办公 IP 云同步控制台 | office-sync-web.service |
| 8777–8780 | 作业 API(状态 / 工单 / vLLM 健康 / vLLM 自愈) | 8781=SLA Exporter |
| 18888 | Hindsight API | systemd |
6.2 容器
| 端口 | 服务 | 备注 |
|---|
| 3000 | Langfuse Web | |
| 3001 | Grafana | 避开 Langfuse |
| 3030 | Langfuse Worker | 仅 127.0.0.1 |
| 5003 | Dify plugin_daemon | |
| 5432 | Langfuse Postgres | 仅 127.0.0.1 |
| 8001 | Higress Console | |
| 8088 | Weaviate 中继 | 内部 8080 |
| 8089 / 8449 | Dify 前端(HTTP / TLS) | 80 的上游 |
| 8888 | Higress Nacos 控制台 | 容器内 8080 |
| 8929 | GitLab(Argo CD 演示) | SSH 走 2224 |
| 9090 | MinIO API(Langfuse 栈) | 不是 Prometheus |
| 9091 | MinIO Console | 仅 127.0.0.1 |
| 9092 | Prometheus | |
| 9848 | Higress Nacos 主端口 | 容器内 8848 |
| 9997 | Xinference | |
| 15020 | Higress Gateway(健康/mesh) | |
| 18080 / 18443 | Higress Gateway(HTTP / HTTPS) | 总入口 |
| 18848 | Higress Nacos(宿主映射) | 容器内 8848 |
| 2224 | GitLab SSH | |
6.3 k3s NodePort(ss 里看不到,由 kube-proxy 转发)
| 端口 | Service | 说明 |
|---|
| 30080 | argocd/argocd-server | Argo CD Web UI |
| 30088 | argocd-demo/demo-nginx | GitOps 演示应用 |
三个最容易搞错的::9090 是 MinIO(不是 Prometheus,Prometheus 在 :9092);:8888 是 Higress 自带的 Nacos 控制台(不是业务服务);:8090 是服务入口页(不是 Dify,Dify 在 :80)。
完整的「恢复顺序 + 探活表」见 207 服务入口与断电重启恢复。
6.4 大模型不可用?先分三层
「大模型不能用」在 207 上要分三层定性——207 自己不产生模型,它只是把 116 的 vLLM 接进来:
text
Dify 应用 ─(1)→ LiteLLM :4000 ─(2)→ vLLM 116.62.10.183:8000
bash
echo "网关: $(curl -s -o /dev/null -w '%{http_code}' --max-time 5 http://192.168.110.207:4000/health/liveliness)"
echo "上游: $(curl -s -o /dev/null -w '%{http_code}' --max-time 5 http://116.62.10.183:8000/v1/models)"
echo "模型: $(curl -s --max-time 5 -H 'Authorization: Bearer sk-litellm-bocheng-207' \
http://192.168.110.207:4000/v1/models | head -c 200)"
| 结果 | 判定 | 动作 |
|---|
| 网关 200 / 上游 200 / 模型有列表 | 全通 | 问题在 Dify 侧配置 |
| 网关非 200 | ① 网关层 | systemctl restart litellm |
| 网关 200、上游不通 | ② 上游推理层 | 上 116 看 nvidia-smi 与 vLLM 容器;作业5 / 作业7 / 作业13 |
根因提醒:116 的 H20 与业务进程共享(mxh_env / mxh_live),业务一上来就抢显存与算力 → 表现为偶发超时、排队、OOM 重启。这不是 207 能修的,只能在网关侧用重试 + 超时 + 备模可切把抖动吃掉(现状:num_retries: 2、request_timeout: 300、simple-shuffle)。
分级处置(L1–L5)与值班最小动作清单见 207 服务入口与断电重启恢复 第 5 节。
7. 凭据速查表
| 服务 | 登录 / Key 类型 | 值 |
|---|
| Dify | 邮箱 / 密码 | 38205036@qq.com / Difyai123456 |
| Langfuse UI | 邮箱 / 密码 | admin@example.com / Langfuse123456 |
| Langfuse API | PK / SK | pk-lf-84a76d89-... / sk-lf-24aa6d73-... |
| LiteLLM | Master Key | sk-litellm-bocheng-207 |
| vLLM | Bearer | 123456 |
| Xinference API | Bearer | xf-K8H3LiS27H4188XdOyWJj74MWMOlIR9tZbiybDbxbSas7eAI |
| Xinference CLI | admin / pass | admin / admin1234 |
| Grafana | admin / pass | admin / admin123 |
| Higress Console | admin / pass | admin / Higress207admin! |
| 207 SSH | root | 123456 |
| 116 SSH | root | HuaweiCloud2027$ |
MinIO(Langfuse 依赖)密码在部署时随机生成,见 207 /Langfuse/langfuse/.env 或 langfuse_deploy_creds.txt。
8. 相关文档