四级渐进学习法 · 存储分层 · 第 6/9 篇

每一类数据，都有它的位置。

不是所有数据都该进同一个库：日志要毫秒检索、台账要事务、心跳用完即弃、大文件压给对象存储。本页讲存储选型背后的匹配逻辑：数据特征 ↔ 存储特性，以及 StarRocks 存算分离为什么把成本和弹性一起解决。

StarRocks 3FE+3BE · 存算分离 MySQL 主+从 · 业务台账 MinIO ×4 · bucket audit-etl LogStorage · 双层配额过期
THE FRAMEWORK

先看地图，再出发THE FRAMEWORK — 链路的第六跳（终点前一站）

全链路七跳，本页覆盖第六、七跳：终端 Agent → envoy mTLS → audit-gateway → Kafka → Flink ETL → std topic → StarRocks 落库（本页）。同时盘点全系统的存储版图：日志主存、业务台账、对象存储、小数据配额——各就各位。

L1

受控语言

三十句确定性短句，分四组：分工总览、存算分离、小数据与观测、选型理由。

例：「StarRocks 存标准化业务日志，毫秒检索。」
L2

结构图

三张图：存储地图（可点击六存储）、存算分离分层示意、数据分流决策树。

例：分层图里计算层浮在 MinIO 之上。
L3

交互网页

数据分拣器：六类数据各投一个存储，答对亮绿、答错讲为什么；全对点亮徽章。加六题自测。

例：141MB 的 ipdb 该放哪？
L4

定制视频

六镜头「归位」：洪流到站、六层货架、计算与存储分家、配额到期、冷热分离思考、收尾。成片已交付 · 01:33。

例：一支片子讲完「各就各位」。

本页名片（一分钟版）

主角：StarRocks（3FE+3BE）领衔的存储版图
一句话：每一类数据都有它的位置。
三个数字：3FE+3BE · MinIO 4 节点 · 双层配额。
解决两件事：检索快（列存毫秒查）· 成本低（冷数据压对象存储）。

大日志直写台账事务小数据自动过期

一句话主线（背下来，全页都在展开它）

Flink 产出 std topic → 批量直写 StarRocks（3FE+3BE，底层 MinIO bucket audit-etl）｜ 台账 → MySQL 主从 ｜ 心跳/资产/监控 → LogStorage 双层配额 ｜ 指标 → Prometheus ｜ 运行日志 → ES

L1 CONTROLLED LANGUAGE

受控语言：三十句讲清存储版图简短、确定、一词一义——不靠形容词，只靠事实

以下每句话都来自交接材料（设计方案 v5、部署手册）。读不懂的句子，去 L2 找对应的结构图。

分工总览

§ 1 · 8 句

存算分离

§ 2 · 6 句

小数据与观测

§ 3 · 7 句

选型理由

§ 4 · 9 句
L2 DIAGRAMS

结构图：存储的真实版图图 1 可点击六存储 · 图 2 是本页的架构核心

三张图：先看全系统六块存储各管什么，再看 StarRocks 计算层怎么浮在 MinIO 上，最后一张决策树回答「这条数据该去哪」。

std topic Flink 批量直写 StarRocks 3FE+3BE 存算分离 · 毫秒检索 标准化业务日志主存 审计报表 / 检索主路径 MinIO ×4 对象存储 S3 bucket: audit-etl checkpoint · ipdb · 底层存储 底层依托 MySQL 主+从 业务台账 租户 · 设备 · 策略 · 工单 LogStorage 双层配额自动过期 心跳 · 资产 · 监控小数据 Prometheus 时序指标 Grafana 负责看 Elasticsearch 运行日志 Kibana 负责检索 系统自己 ≠ 审计业务 特征匹配存储：日志→列存 · 台账→事务库 · 小数据→配额过期 · 指标→时序 · 运行日志→ES · 底层与冷量→对象存储
图 1 · 存储地图（点击任意存储查看它管什么、为什么）
点击图中的存储（StarRocks / MinIO / MySQL / LogStorage / Prometheus / ES），这里显示它的职责。
计算层（可独立扩缩） FE ×3 BE ×3 查询 · 写入 · 均衡 检索洪峰 → 加节点 存 算 分 离 —— 计算与存储各自扩缩、互不绑架 存储层：MinIO ×4 · bucket audit-etl（担成本与弹性） 冷数据躺对象存储 · 容量按需买 · 同桶还放 Flink checkpoint 与 ipdb
图 2 · 存算分离：计算层浮在对象存储之上，各扩各的
这条数据是什么？ 标准化业务日志→ StarRocks 直写 租户/设备/工单→ MySQL 主从 心跳/资产/监控→ LogStorage 配额过期 时序指标→ Prometheus 系统运行日志→ ES + Kibana 体量继续涨？底层自动落 MinIO 对象存储（存算分离）——检索不慢，成本不炸 特征匹配存储：一个库装天下，是最贵的偷懒
图 3 · 数据分流决策树：先问「这是什么数据」，再选存储
L3 INTERACTIVE

交互探索：数据分拣器六类数据 · 各投一处 · 答案即时判定

每张数据卡给你三个候选存储，点你认为正确的那个：对了亮绿，错了标红并讲清为什么。六张全对，点亮「每一类数据都有它的位置」。

3a · 数据分拣器

6 张卡 · 全对点亮
✦ 每一类数据，都有它的位置 ✦

3b · 概念自测

6 题 · 单选

已答 0 / 6 · 正确 0 · 正确率 0%

1. 标准化业务日志的主存是？

StarRocks 高并发写入、毫秒检索，是审计检索与报表的主路径；台账在 MySQL，系统运行日志在 ES。

2. 租户、设备、策略、工单这类台账存在？

台账是强事务数据，要一致性——主从复制的 MySQL 保高可用，事务型数据进事务型库。

3. 心跳、资产、监控这类小数据走哪里？

小数据量大价低、价值随时间快速衰减——双层配额自动清理，不值得占用主库容量。

4. StarRocks 存算分离的底层存储是？

底层依托 MinIO 对象存储，bucket audit-etl——同桶还放 Flink checkpoint 和 ipdb，一套对象存储服务三处。

5. ES + Kibana 在本系统里存/看什么？

审计业务日志在 StarRocks；ES 存的是系统自己运行时打的日志，排障用 Kibana 查——两回事。

6. 为什么大日志直写 StarRocks？

业务日志的检索是审计的核心诉求——列存引擎的毫秒过滤聚合是主路径；便宜的大容量冷层由 MinIO 承担，两不误。
L4 VIDEO

定制视频：归位六镜头 · 成片已交付 · 01:33· 分镜与解说骨架已备

六镜头讲完「各就各位」：洪流到站、六层货架、计算与存储分家、配额到期、冷热思考、收尾。画面里的集群形态与 bucket 名与 L1–L3 同源。

成片 · topic-06-storage.mp4　✓ 已交付

00:00 开场 · 洪流到站 00:15 货架 · 六层各收一种货 00:32 存算分离 · 伸缩缝 00:48 计算层 01:03 存储层 01:18 配额 · 到期即清

规格：1920×1080 · 30fps · 01:33 · H.264 + AAC · 中文配音（zh-CN-Yunxi 逐句合成，每句实测时长均落在自己的字幕窗口内）+ 画面内嵌字幕。底部常驻进度轨随镜头推进点亮。

分镜脚本

6 镜头 · 旁白即片中字幕

镜头 1 · 洪流到站

画面：std topic 的数据流抵达终点站，面前六层货架一字排开。
旁白：洗好的数据到站了。但站台上没有一个大筐——只有货架，每一层，只收一种货。

镜头 2 · 六层货架

画面：日志箱进 StarRocks 层、台账册进 MySQL 层、心跳卡滑过 LogStorage 层、指标线进 Prometheus 层、运行日志进 ES 层、大文件沉底 MinIO 层。
旁白：日志要快查，台账要事务，心跳用完即弃，指标看趋势。特征不同，去处不同。

镜头 3 · 计算与存储分家

画面：StarRocks 楼层从地基（MinIO）上「抬起」，中间出现伸缩缝；查询洪峰来了，楼上加座，地基不动。
旁白：三加三的楼上，四节点的楼下，中间一条伸缩缝。计算忙就加计算，存储贵就买存储——谁也不绑架谁。

镜头 4 · 配额到期

画面：心跳卡在 LogStorage 货架上逐渐褪色，到期自动滑入碎纸机，货位瞬间清空。
旁白：不是所有数据都配永久保存。心跳的价值以分钟计——双层配额，到期即清，主库一尘不染。

镜头 5 · 冷热之问

画面：检索框输入「用户登录」毫秒返回；镜头拉远，冷数据成排沉入对象存储深水区，标签写「audit-etl」。
旁白：热在毫秒，冷在便宜。热多久、多冷算冷——这是留给架构师的下一道题。

镜头 6 · 收尾：各就各位

画面：全链路七跳整条点亮，终点站货架上六层灯光各就各位，一条日志安稳落进 StarRocks 层。
旁白：从终端到货架，一条日志走完了七跳。每一类数据都有它的位置——这就是存储的答案。

解说骨架：六个设计决定

镜头 2–5 的旁白依据

① 特征匹配存储

一个库装天下是最贵的偷懒；特征不同去处不同。

② 存算分离

MinIO 担成本与弹性，3FE+3BE 独立扩缩。

③ 台账进 MySQL

强事务数据要一致性，主从保高可用。

④ 小数据配额过期

心跳价值以分钟计，双层配额到期自动清。

⑤ 观测栈独立

Prometheus/ES 看系统自己，不混审计业务。

⑥ 一套对象存储三用

audit-etl 同桶：底层存储 + checkpoint + ipdb。