十万级终端的系统,最怕的不是坏,是坏的时候停不下来。本页讲治理三件套:灰度(先给谁)、熔断(什么时候停)、回滚(怎么退回来)——加上多机房对等与配置热更新,构成「全局的手」。
七跳链路是数据面,本页讲的是链路之外的控制面:全局管控平台、Nacos、灰度策略、多机房对等。它不碰一条日志流量,却决定每一条日志的采集方式——终端 Agent → envoy → gateway → Kafka → Flink → std topic → StarRocks,每一跳的配置都由它下发。
二十九句确定性短句,分四组:控制面定位、灰度三要素、配置与注册、升级与回滚。
三张图:灰度漏斗(可点击五环节)、熔断回滚状态机、多机房对等拓扑。
灰度沙盘:拖放量比例与失败率两个滑杆,看五环放量图实时变化;失败率过 5% 触发熔断,可用回滚/续放按钮处置。加六题自测。
六镜头「全局的手」:俯瞰机房、灰度波纹、熔断阀、回卷、断网自治、收尾。成片已交付 · 01:34。
主角:全局管控平台 + Nacos(3 节点)
一句话:控制面只发令,不碰日志流量。
三件套:灰度(白名单起)· 熔断(失败率超标自动停)· 回滚(--to-revision)。
兜底:多机房对等,断网时本地策略独立运行。
管控平台下发策略 → 白名单 → 逐环放量(1%→10%→50%→100%)→ 观测失败率 → 超标自动熔断暂停 → 人工判定 → 修复续放 / rollout undo --to-revision=N 回滚
以下每句话都来自交接材料(设计方案 v5、部署手册)。读不懂的句子,去 L2 找对应的结构图。
三张图:先看灰度放量的漏斗全貌,再看熔断之后的两条出路,最后看多机房怎么对等自治。
拖动「放量比例」看五环逐个点亮;拖动「失败率」制造事故——超过 5% 立刻熔断(系统设定的自动阈值),此时只有两个按钮可用:修复续放,或回滚到上一版本。
已答 0 / 6 · 正确 0 · 正确率 0%
1. 全局管控平台的定位是?
2. 灰度发布的三要素是?
3. 放量期间失败率超标,系统会?
4. 某机房与控制面断网,机房内的采集会?
5. 本系统 Nacos 的角色与 namespace 是?
6. 滚动升级后发现异常,要回到指定历史版本,命令是?
六镜头沿用总览片「管控:全局的手」意象并展开:俯瞰机房、灰度波纹、熔断阀、回卷、断网自治、收尾。画面里的环节名与命令与 L1–L3 同源。
规格:1920×1080 · 30fps · 01:34 · H.264 + AAC · 中文配音(zh-CN-Yunxi 逐句合成,每句实测时长均落在自己的字幕窗口内)+ 画面内嵌字幕。底部常驻进度轨随镜头推进点亮。
镜头 1 · 俯瞰
画面:镜头拉高,三个机房如三座等大的城市,上方一只只发光线的手。
旁白:链路之上还有一只手。它不发一条日志,只发一句话:谁先升级,升到多少。
镜头 2 · 灰度波纹
画面:白名单小灯亮起,波纹一环环扩散:1%、10%、50%,每环停留观测。
旁白:好的发布像涟漪,从一块石头开始。每一环都是检查点——问题在小范围暴露,不在全量爆发。
镜头 3 · 熔断阀
画面:某环失败率指针越过红线,阀门「咔」地落下,波纹瞬间冻结。
旁白:失败率过线,阀自动落下。不等开会,不等电话——超标即停,是写死的规矩。
镜头 4 · 回卷
画面:波纹倒放回收,终端逐个回到旧版本,命令行打出 rollout undo --to-revision。
旁白:停下来之后,方向盘交还给人。修好了,从断点续放;修不好,一条命令退回昨天。
镜头 5 · 断网自治
画面:机房 C 与控制面的连线断开虚化,机房内齿轮照常转动,日志安静入缓存。
旁白:就算手够不着,城市也不会停。本地缓存的策略继续执行——断网自治,恢复补传。
镜头 6 · 收尾:停得下来
画面:手轻轻收回,三城灯火如常,链路流量平稳。
旁白:好系统的标志不是永不故障,是故障时永远停得下来、退得回去。这,就是治理。
① 控制面不碰流量
发令与承流分离,升级洪峰打不进日志链路。
② 灰度熔断回滚
十万终端没有灰度的全量升级是事故。
③ 自动刹车人类方向盘
超标即停是机器的事;去哪是人的事。
④ 机房对等自治
故障不扩散,断网本地策略独立运行。
⑤ 配置热更新
Nacos 一处改处处生效,切换不中断采集。
⑥ 永远有退路
--to-revision=N:任意历史版本,一条命令。