混合缓存运行流程图

A polished vertical systems-architecture infographic showing a seven-step cached chat inference pipeline with dual cache branches, suitable for technical explainers and product presentations.

在浅灰色背景上创建一个干净的垂直技术工作流程信息图，使用简约现代产品图表风格，搭配圆角白色卡片、细彩色边框、简单的矢量线条图标、深海军蓝文本和海军蓝连接箭头。组成是单一居中从上到下的流程图，包含 7 个编号的主要步骤，加上 2 个并行的缓存群组面板从步骤 4 分支到步骤 5，以及左侧有一条粗暗的返回箭头从底部环绕回顶部。使用清晰的无衬线字体、充足间隔、微妙的柔和强调色，无渐层、无阴影，并具有投视频般的清晰度。

在顶部中央放置步骤卡片 1，带有蓝色边框和左侧的代码/聊天图标。标题文本："1. {argument name="step 1 title" default="聊天完成请求"}"。下方副标题："conversation_id + cache_salt + new suffix messages"。

在其下方放置步骤卡片 2，带有蓝色边框和文档/列表图标。标题："2. 前端对话帐本"。副标题："lease same id + track committed messages"。

在其下方放置步骤卡片 3，带有青色边框和数据库加放大镜图标。标题："3. 精确对话缓存查找"。副标题："conversation_id > committed turn state"。

在其下方放置步骤卡片 4，带有紫色边框和分支调度器图标。标题："4. 调度器缓存附加"。副标题："set num_computed_tokens + attach committed state"。

从步骤 4 向下分支为 2 个并排的群组面板。

左侧群组面板：一个淡绿色圆角容器，标题为"全注意力 KV 缓存群组"。内部堆栈 2 个内层卡片。第一个内层卡片有绿色方块网格图标，标题"已提交区块参照"，副标题"共享对齐的完整 KV 区块"。第二个内层卡片在下方有绿色层叠页图标，标题"尾部 COW 拷贝"，副标题"拷贝未对齐的 KV 尾部"。在绿色面板底部添加小页脚文本："变换器层的分页 K/V 张量"。

右侧群组面板：一个淡紫色圆角容器，标题为"Mamba 终端状态缓存群组"。内部堆栈 2 个内层卡片。第一个内层卡片有紫色数据库/网络图标，标题"已提交终端状态"，副标题"在提交长度的精确状态"。第二个内层卡片在下方有紫色波浪线图标，标题"请求拥有的终端拷贝"，副标题"拷贝 SSM + 卷积状态"。在紫色面板底部添加小页脚文本："对齐模式终端状态放置"。

合并两个群组面板的输出到一个居中的步骤卡片 5，带有蓝色边框和微芯片图标。标题："5. 混合模型运行"。副标题："仅运行未缓存的后缀"。在此卡片底部区域内，包含 2 个并排的药丸形标签："变换器层" 和 "Mamba 层"。

在其下方放置步骤卡片 6，带有蓝色边框和闪光图标。标题："6. 解码助手词元"。副标题："逐个词元串流回应"。

在其下方放置步骤卡片 7，带有温暖的黄橙色边框和数据库加勾选图标。标题："7. 提交已完成回合"。副标题："发布待处理状态或在失败时丢弃"。

添加一条粗暗的海军蓝环绕箭头，沿左侧向下运行，从左侧顶部附近进入步骤 1，并从步骤 7 底部返回向上。沿着此左侧环绕，在下半部分附近放置堆栈的注释文本："下一个请求重用已提交的对话头部"。

添加 2 条虚线发布箭头从步骤 7 向上升至缓存群组面板：左侧一条绿色虚线箭头指向绿色缓存面板，标签为"发布新状态"；右侧一条紫色虚线箭头指向紫色缓存面板，标签同样为"发布新状态"。

保持确切总数 7 个编号的主要卡片、2 个缓存群组面板、4 个内层缓存卡片和 2 个药丸标签。保留类似会议投视频架构图的纵向长宽比。

机器翻译 — 实际生成作品的是原文提示词。

✨ 生成 收藏 复制提示词 分享 原始帖子 在 Hitboard 打开