四级渐进学习法 · 洪峰防护 · 第 8/9 篇

一个护带宽,一个护容量。

流量有两张脸:终端上报的日志洪峰,和十万台同时下载安装包的升级洪峰。本页讲两道防线:两层限流(端侧令牌桶 + 服务端配额)与 五通道分流(大小流量永不同道)——审计证据永远优先。

端侧令牌桶 · 护网络 服务端配额 · 护存储 五通道:gRPC ×3 + 静态 HTTPS + 急救 HTTP 审计日志永不丢弃
THE FRAMEWORK

先看地图,再出发THE FRAMEWORK — 横切主题:所有链路跳共用的防护体系

本页不是链路的一跳,而是罩在整条链路(Agent → envoy → gateway → Kafka → Flink → std topic → StarRocks)上的防护网:限流在端侧与存储侧各设一道闸,通道在源头就把流量分了道。01 讲过端侧令牌桶的细节,本页把它放进全局。

L1

受控语言

三十句确定性短句,分四组:两层限流、五通道、升级三步、分离的理由。

例:「端侧令牌桶护带宽,服务端配额护容量。」
L2

结构图

三张图:五通道矩阵(可点击)、两层限流位置图、升级三步时序。

例:矩阵里日志与安装包永不同列。
L3

交互网页

洪峰隔离演示:同时发起日志上报与升级下载,拖并发滑杆到十万,看静态通道变粗而日志通道纹丝不动。加六题自测。

例:两条管道同时开工,谁挤谁?
L4

定制视频

六镜头「分道」:洪峰两张脸、五车道公路、限流双闸、分片与校验、回执闭环、收尾。成片已交付 · 01:34。

例:一支片子讲完「永不同道」。

本页名片(一分钟版)

主角:两层限流 + 五通道
一句话:一个护带宽,一个护容量;大小流量永不同道。
五通道:日志 / 心跳 / 管控(gRPC)· 安装包(静态 HTTPS)· 急救(HTTP)。
铁律:审计日志优先级最高,任何限流场景不丢弃。

分片 + 断点续传MD5 校验回执闭环

一句话主线(背下来,全页都在展开它)

端侧令牌桶(EPS) → 护网络带宽 | 服务端配额 → 护存储容量 | 日志/心跳/管控走 gRPC · 安装包走静态 HTTPS · 断连兜底走急救 HTTP | 升级:灰度下发 → 分片下载(MD5) → 回执

L1 CONTROLLED LANGUAGE

受控语言:三十句讲清防护网简短、确定、一词一义——不靠形容词,只靠事实

以下每句话都来自交接材料(设计方案 v5)。读不懂的句子,去 L2 找对应的结构图。

两层限流

§ 1 · 8 句

五通道

§ 2 · 8 句

升级三步

§ 3 · 8 句

分离的理由

§ 4 · 6 句
L2 DIAGRAMS

结构图:防护网的真实骨架图 1 可点击五通道 · 图 2 是两道闸的位置

三张图:先看五通道怎么按流量分道,再看两道限流闸各守在哪,最后看一次升级的完整时序。

① 日志通道 · gRPC 日志上报 · 优先级最高 · :30015 ② 心跳通道 · gRPC 30s 一次 · 版本/资源/缓存/流量 ③ 管控通道 · gRPC 指令下发 · 升级策略 · 回执 ④ 静态通道 · HTTPS 安装包分片 · 断点续传 MD5 校验 · 大流量专用 与日志通道物理分离 ⑤ 急救通道 · HTTP 断连兜底 仅断连时启用 最后的生路 载荷对照:日志→① | 心跳→② | 指令/策略/回执→③ | 安装包→④ | 断连关键数据→⑤ 安装包与日志永不同列——这是矩阵的意义 五通道按流量类型分工:大小流量互不抢占,升级洪峰挤不垮日志链路
图 1 · 五通道矩阵(点击通道查看分工与载荷)
点击图中的通道(日志 / 心跳 / 管控 / 静态 / 急救),这里显示它的分工。
终端 Agent 令牌桶 EPS 限流 闸门 1:护带宽 网络 带宽有限 服务端存储入口 租户配额 闸门 2:护容量 存储集群 容量有限 两道闸管两种穷:终端穷带宽(令牌桶),集群穷容量(配额)——缺一道,极端场景必失守 同一秒钟:终端把带宽打满?闸 1 拦 | 单租户把容量吃光?闸 2 拦
图 2 · 两层限流:端侧令牌桶护网络,服务端配额护存储
管控平台 灰度策略(谁先升) 终端 Agent 按策略分批升级 静态通道 分片 · 断点续传 · MD5 ① 策略下发(管控通道) ② 分片下载(静态通道) ③ 回执结果(管控通道) 失败率观测 喂给灰度判定 三步三种通道:策略走管控、包走静态、结果走管控——每一步都碰不到日志通道
图 3 · 升级三步时序:策略 → 分片下载(MD5)→ 回执闭环
L3 INTERACTIVE

交互探索:洪峰隔离演示双通道并行 · 并发拉满 · 谁也挤不到谁

同时点「日志上报」和「升级下载」,两条管道一起开工;把升级并发从 1 万拖到 10 万——静态管道越来越粗越来越忙,日志管道的流速纹丝不动。这就是五通道的意义。

3a · 洪峰隔离演示

可同时触发
升级并发 3 万终端
日志通道(gRPC :30015)空闲
带宽占用:稳定 62%流速恒定 · 审计优先
静态通道(安装包 HTTPS)空闲
带宽占用:—分片 · 断点续传 · MD5
两条通道物理分离:同时开工,互不抢占。点上方按钮开始。

3b · 概念自测

6 题 · 单选

已答 0 / 6 · 正确 0 · 正确率 0%

1. 「两层限流」各自护的是什么?

终端穷带宽(令牌桶拦),集群穷容量(配额拦)——一个护带宽一个护容量,缺一道都会在极端场景失守。

2. 设计方案的「五通道」怎么分工?

大小流量永不同道:控制信令走管控通道、安装包分片走静态通道——升级洪峰挤不垮日志链路。

3. 安装包分片下载走哪条通道?

安装包是大文件洪峰,独占静态 HTTPS 通道;控制信令走管控通道,结果回执也走管控通道。

4. 终端 Agent 升级的正确顺序是?

先由灰度策略决定谁升,包走静态通道分片下载并逐片 MD5 校验,结果经管控通道回执——十万终端全量直推是事故。

5. 每个分片做 MD5 校验的目的是?

断点续传意味着分片可能来自不同时间不同节点——逐片校验完整性,坏哪片重下哪片,不用整包重来。

6. 端侧令牌桶触发限流时,审计日志会?

审计日志优先级最高,任何限流场景不丢弃;普通日志超限落加密磁盘缓存待补发——限流限的是带宽,不是证据。
L4 VIDEO

定制视频:分道六镜头 · 成片已交付 · 01:34· 分镜与解说骨架已备

六镜头讲完「永不同道」:洪峰两张脸、五车道公路、双闸、分片与校验、回执闭环、收尾。画面里的通道名与三步顺序与 L1–L3 同源。

成片 · topic-08-flood-control.mp4 ✓ 已交付

00:00 开场 · 洪峰的两张脸 00:16 分道 · 五车道公路 00:32 双闸 · 带宽与容量 00:49 闸 1 · 端侧令牌桶 01:04 闸 2 · 服务端配额 01:18 分片 · 断点续传

规格:1920×1080 · 30fps · 01:34 · H.264 + AAC · 中文配音(zh-CN-Yunxi 逐句合成,每句实测时长均落在自己的字幕窗口内)+ 画面内嵌字幕。底部常驻进度轨随镜头推进点亮。

分镜脚本

6 镜头 · 旁白即片中字幕

镜头 1 · 洪峰的两张脸

画面:屏幕分两半——左半日志雨点密集落下,右半十个巨型包裹同时砸下。
旁白:这个系统要接两场洪水:十万终端的日志,和十万终端的同时升级。一个都不能丢,一个都不能挤。

镜头 2 · 五车道公路

画面:一条公路画出五车道:三条窄车道(日志/心跳/管控)稳速行驶,一条超宽货道(静态)装包裹,一条应急道虚线。
旁白:答案不是修更宽的路,是分道。信令走小车道,包裹走货道,断了还有应急道。

镜头 3 · 双闸

画面:终端出口一道令牌闸,集群入口一道配额闸,两道闸各自放行不同颜色的小球。
旁白:路上还有两道闸。出口的闸护带宽,入口的闸护容量——两道都关好了,两边的穷都饿不着人。

镜头 4 · 分片与校验

画面:大包裹切成小块,每块贴 MD5 封条逐块验封,断点处亮绿灯续传。
旁白:大文件从不整包赌运气。切成片、逐片验、断了就从断点续——坏哪片,重下哪片。

镜头 5 · 回执闭环

画面:每个终端升级完点亮一盏小灯,回执汇成失败率曲线,喂给灰度判定环。
旁白:升级不是发完就完。每台终端都回执,失败率喂给灰度——超标,下一环就不放。

镜头 6 · 收尾:永不同道

画面:五车道全景夜航,货车洪峰与轿车车流并行不悖,各达各站。
旁白:洪峰不再可怕,因为它永远独占一条道。审计的证据,永远走自己的路。

解说骨架:六个设计决定

镜头 2–5 的旁白依据

① 五通道

大小流量互不抢占,升级洪峰挤不垮日志链路。

② 两层限流

端侧令牌桶护带宽,服务端配额护存储。

③ 审计永不丢

限流限的是带宽,不是证据;审计优先放行。

④ 分片 + MD5

大文件可恢复、可校验、坏片单独重下。

⑤ 回执闭环

升级结果可观测,失败率喂给灰度判定。

⑥ 急救兜底

断连时仍有最后的生路,关键数据送得出来。