prod102 · 第二阶段课程整理

AI 基础设施课程 · 第二阶段 · 文档库

八篇正文按 00→08 九个分组严格排序：K8s 底座 → 探针与密钥 → 迁移 → Dify 知识库 → 可观测 → 模型网关 → CI/CD → 场景实战。点分组标题可折叠，右上角可全文筛选。

共 9 个分组共 10 篇文档收录条目 10 条（含跨组重复）脚本附件 126 个页面生成于 2026-10-13 17:22

📎 配套脚本附件

00导读与总览 01K8s 从零部署 02K8s 探针与密钥 03K8s 迁移 04Dify 与知识库 05可观测 06模型网关 07CI/CD 与 GitOps 08场景实战

00导读与总览2 篇分组页 ↗▾

先看导读建立全局地图，再看服务入口总表。七篇正文的顺序都在这里。

1第二阶段导读：这批文档怎么读七篇文档的定位、依赖关系和推荐阅读顺序：先 K8s 底座，再密钥、迁移，然后 Dify 知识库、可观测、模型网关，最后 CI/CD 纳管。文档 2大模型服务导航这条链路上每个服务的入口、账号和用途：Dify、New-API、vLLM、Xinference、Langfuse、Grafana、Prometheus / DCGM，一张表看全。文档

01K8s 从零部署1 篇分组页 ↗▾

地基。一台 H20 机器从显卡驱动装到 Kubernetes，再把整套服务拉起来。

3Ubuntu 单机从驱动装到 Kubernetes：H20 上跑 vLLM、Dify 和监控一台刚装好的 Ubuntu 22.04.5 + H20：从显卡驱动、Docker 装到 Kubernetes 1.37.1，再把 vLLM、Xinference、New-API、Dify、Langfuse 和监控逐个拉起来。文档

02K8s 探针与密钥1 篇分组页 ↗▾

让 GPU 资源可见（GPU Operator），让服务可靠（三类探针），让凭据集中（Vault + ESO）。

4用 NVIDIA GPU Operator 暴露 H20：vLLM 探针、本地模型和 Vault 密钥GPU Operator 让节点报出 nvidia.com/gpu，给 vLLM 加启动 / 存活 / 就绪三类探针，再用 HashiCorp Vault 1.21.2 统一保管环境变量并同步回 Kubernetes Secret。文档

03K8s 迁移1 篇分组页 ↗▾

把 Compose 里的服务搬进单节点 K8s。按依赖顺序逐章读，看清容器到 Pod 的对应关系。

5Docker Compose 迁到单节点 Kubernetes：vLLM、Dify、Langfuse 逐个怎么搬把 Docker Compose 上跑着的 vLLM、Dify、Langfuse、New-API、Prometheus、Grafana、DCGM逐个搬进单节点 Kubernetes，按依赖顺序逐章记录，看清一个运行中的容器怎么变成 Pod。文档

04Dify 与知识库1 篇分组页 ↗▾

应用层主线：合同知识库、Qwen 对话、bge-m3 向量与重排、Langfuse 工具追踪。

6用 Dify 做合同知识库：Qwen 对话、bge 重排和 Langfuse 工具追踪在 Dify 里搭一套合同条款知识库：Qwen 对话模型、bge-m3 向量与重排、服务器状态工具，以及 Langfuse 上的工具调用追踪，全链路串通。文档

05可观测1 篇分组页 ↗▾

会话链路（Langfuse）与硬件指标（DCGM）两条线，最后汇进同一块 Grafana 看板。

7Langfuse 加 DCGM：会话追踪和 GPU 显存、温度、利用率Langfuse 负责会话与调用链路追踪，DCGM Exporter 采集 GPU 显存、温度、利用率，两者一起接进 Prometheus 与 Grafana 看板。文档

06模型网关1 篇分组页 ↗▾

在 vLLM 前面加 New-API：渠道、令牌、额度、邀请奖励，一套完整的对外供给链路。

8在 vLLM 前面加 New-API：渠道、令牌额度和邀请奖励在 vLLM 前面加一层网关：建渠道指向本地 vLLM，发令牌、设额度，再把邀请奖励结算并划转到用户余额。文档

07CI/CD 与 GitOps1 篇分组页 ↗▾

弹性：KEDA 按排队数扩容 worker；秩序：Argo CD 把工作负载收进 Git 仓库纳管。

9用 KEDA 按排队扩容 Worker，并用 GitLab 与 Argo CD 纳管工作负载KEDA 按 vLLM 排队数把 Dify worker 从 1 扩到最多 3 个副本；Argo CD 把 llm / dify / observability 的工作负载收进 GitLab 私有仓库自动同步。文档

08场景实战1 篇分组页 ↗▾

把前面搭好的能力串成业务场景：智能体与工作流跑一遍工单、监控、自愈与客服。

10用智能体和工作流把客服、工单、监控和自愈走一遍在已有的 Dify 上把场景跑一遍：六条智能体（工单分流、监控检查、故障自愈、智能客服、合同问答、运维巡检）与三条工作流（工单分流、监控检查、客服检索）。含 Prometheus 与 vLLM 的只读工具、max_tokens 与 {{#context#}} 两处踩坑记录，以及沙箱代理 NO_PROXY 的 DNS 排查。文档

没有匹配的文档

编号为文档在全库中的唯一序号，同一文档收录在多个分组时编号相同
分组顺序 00 → 08；01 到 08 就是推荐的阅读顺序
正文未内嵌的脚本 / 补丁 / 配置见 📎 配套脚本附件