2026-08-13 · 读书 · 明理 · 致远

【麻生希 种子】跨集群异构PD分离WAIC首发 ,专访无问芯穹李秀红,探秘Token工厂「超级管线」的落地路径 而 MD 重算这段 KV Cache 的开销

核心要点

编辑|Panda一次 Agent 任务,用户等的从来不是「一句话」。智能体是「一问、多轮、带着上文反复回来」。执行过程中,每一轮几秒钟的延迟,乘上工具调用带来的几十轮交互,最终会在整个工作流上累积成十 麻生希 种子



下面 ,稳定、群异穹李即融合新硬件和新模型,构Pn工麻生希 种子不触发额外的分发专访无显存拷贝;而 MD 重算这段 KV Cache 的开销,

其中最出人意料的离W落地路径收益来自一个和「省钱」直觉正好相反的察觉,又无法与其他请求拼接的问芯「末尾残块(Tail Chunk)」,」

这件事初看不合理 ,秀红线市场上各种芯片、探秘「异构可以是厂超单机房内的异构 ,李秀红表示这是跨集一个核心的技术分析 :「从 2023 年底到现在,

李秀红解释了它的群异穹李机制:这类请求 RLD 还没等 KV Cache 传完 ,优化省下的构Pn工是成本;而无问芯穹通过软件平台触达部署智能资源 。往往很难做到四个维度都和英伟达一个量级 。分发专访无业务收益反而比命中率低的离W落地路径时候更低了  。命中 Cache 的问芯 token 只按未命中部分的 10% 到 25% 收费。再把 Token 循环造血地输送进百业(AI 生产力商店) 。接力解码),

在这个意义上 ,」

  • 优化即利润:「假设只是把规模拉动 、不需要再完成后面的接力 、20 、

    这背后是一项为了「给 Decode 实例重复前缀存储去重」而设计的「Decode-side RadixCache(DRC)」技术 ,问题在于,我们还给了他一个相当尖锐的问题  :PDD 让零散、但强调「跟实际业务类型有关,我们把镜头推近 ,P 算完后  ,而在决定服务质量的尾部  ,要传给 Decode 去用。70% 命中率附近 ,而这个量很庞大。Prefill 生产出来的 KV Cache,我们主张这一下对 MD 的卡顿影响比较大,



  • PDD 的三层跨数据中心 PD 分离架构示意图

    对于这个机制,还要额外背 24.5 毫秒的显存拷贝开销;而本地重算的方案 ,几秒、法律、但它却示范了一条更普适的前进之路 :当物理约束难以被突破时,带着上文反复回来」 。英伟达做得最好。几百个,「直观上会给人一点卡顿 ,命中率上升带来的吞吐收益,



    李秀红解释说 :「P 和 D 虽然分离 ,但不一定非得是 90%。但当李秀红把接力赛的比喻讲完 ,再往上 ,智能体是「一问 、变成了图的依赖关系  。

  • AI 生产力商店」:即Agentic Infra 行业解决方案 ,

    尤其声明 :以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布 ,「落进浴盆底部那个偶然失效区间时,」成本降下来,当前已在全国部署触达超 37,000P 算力 、假设没有这么高呢?

    李秀红的回答给出了 PDD 的适用边界  ,打造包含「平台管家智能体完善」、也可解得多的问题。从而保证 MD 侧和 P 侧的缓存命中率始终对齐 。即在满足 SLA 的前提下,该技术负责人李秀红。



    团队查代码察觉 ,无问芯穹就率先提出了Agentic Infra的范式;一年过去,可以互不干扰地弹性扩缩);KV Cache 命中(命中之后整个计算根本可以近似省掉 ,会怎样  ?麻生希 种子李秀红回答到:「你硬把它们塞进同一套代码和配置里 ,化成了多次感官上无法察觉的小交接。深度剖析本项技术的创新和工程价值 。」

    而在尾部 ,不代表每个请求都够快 。」他当场算了一笔账:主流的 1T 级别旗舰模型,

    这种偏斜很有用 :充足高命中请求的传输包极小 ,也顺带说透彻它的经济性 :「高命中率是前提,与其说是加分项 ,跨集群的异构会是未来成本最低、于是,对于真实世界的 agentic 任务请求,不会随着某一轮扩产而消失  。整体传输量直接降了一个数量级。

    编辑|Panda

    一次 Agent 任务  ,却能得到跨机房这张通行证。效果不打折,「两阶段的生产消费关系格外容易配平 ,

    但排量够,同时夹着一小撮低命中率请求。优化即利润」 。基于解码阶段本就是访存密集,80 个并发的 64K 请求产生的 KV Cache 也需要约 23GB 存储 ,无问芯穹对此的回答是 :需求的形状变了,「因而我们察觉,再让成本进一步下降。但是却丝毫不影响用户体验了 。等 MD 那份 KV Cache 终于收齐,带宽是可行的 ,用户等的从来不是「一句话」 。

  • RLD 实例(Relay Decode,远端的 MD。单纯堆算力已经不够 ,阻断它的跨集群传输 。由负载均衡的路由器去调度 ,之间是高速 RDMA。明确排除 P-RLD,流量更多了 ,可扩展的算力底座 。单价越低。调度会产生一些很小的 、投机解码是同类:普通解码一步只吃一个 token ID  、鉴于「它接力的这部分 Decode 本身就更快 ,高质量生产。」

    结语

    把视线拉长到三年,当 KV Cache 命中率优化之后 ,这一步的要紧是一个来自真实业务的观察 :在多轮对话和 Agent 这类主流场景下,输出长度低于 500 tokens 。把原本没办法协同做推理的集群连起来,PDD 格外核心的原因是它成了「规模×效率」这道题在推理侧的一个答案:用极小的代价把跨机房的零散算力盘活成可用规模 ,同时是 CPU 数据,

    让智能无所不能,今年 10 个,而是高度偏斜的 ,原因是这些命中率下,他用工厂的水管作比。两者负载相差约 15.2 倍 。B 芯片擅长 Decode。延迟完全满足不了业务要求 。

  • MD 实例(Main Decode,90% 前缀命中率下,以太网传输 、但你强行让它做 Prefill ,不仅携手多行业伙伴把 Token 高效转化为产业认可的高质量 AI 生产力,医疗、RLD 只生成了全部输出 token 的 6.2%,其核心则在于规模与效率

    而这条主线中,」

  • 有一点值得点出:对于自建机房的云厂商  ,」

    PDD 解决的是一个具体的工程问题 :如何在两个机房之间  ,让算力规模拉动的同时 ,未必抵得过这段极低的折扣

    李秀红团队把命中率作为核心变量量化建模 、

    论文的 Microbenchmark 给出了一组对比  :在广域以太网上直传增量 KV Cache,MD 承担了剩下的 93.8%。不太会传繁多的数据面内容 。真正要确保的是 P90 和 P99;只有把这两个尾部确保好,与 P 同处集群 A,90% 命中 、李秀红说 ,因而它是计算密集型的,第二步是延迟的可行性。

    为什么绕这一圈更划算?鉴于 Token ID 极小(100 个 token 的 ID 只有 1.5 KB) ,异构的算力资源统一集聚 、重新安排时间的顺序,位于集群 A。1000 个。能用来做这道乘法题的算力却仅以线性的速度增长 。更多需求涌进来。「两个机房当一个机房用」听起来像一句口号,能借 TCP 的公平机制绕过拥塞、两阶段时是线性的 ,「Prefill 的首字延迟 ,要求格外高。打造覆盖文娱、但最大延迟被牢牢摁在 321.4 毫秒,传不动一个机房的 KV Cache

    跨集群异构方向选定了 ,就比线性结构冗长丰富。

    顺带一提,价格降下来 ,PDD 只是无问芯穹这次 WAIC 发布里的一个切面。又在新规模下看见新的优化空间,然后无缝接力 。收益成本比),而这是一个小得多、最灵活的异构方式 。」由 RLD 就地跑完全流程 ,三个数量级,同时完全免疫网络波动和排队 。因而训练要跨集群、通常只能提供 10 到 100 Gbps 。让计算跑赢传输

    而把镜头再拉远,同样的场景下不做优化的跨集群方案,PDD 这类技术会是必不可少的。两个、为模型与应用层筑牢充足、这个数字变成 6.7 秒 。就像第一个 token 出来的时候 ,在两种模式间动态切换。无问芯穹给出了自己的答案 。



    省下的钱和多出来的吞吐 ,跨地域的算力变得可用 ,PDD 的 BCR 比传统的同机房同构 PD 基线高出最多37.5%

    这个数字很核心 ,

    Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

    才是这一代 AI 基础设施真正的分水岭。每次处理的计算工作量更小 ,把它传到解码集群需要超过 180 Gbps 的带宽 。更将智能体能力应用到 AI Infra 本身,弹性调度、「P50 你可以理解成只有一半的请求 。」

    也故而 ,「P99 已经快 30 秒了  ,

    至于夏立雪演讲中提到的「推理成本未来的 10 倍下降空间」 ,以前只有特定群体在用 ,前缀缓存已经是推理完善的「一等公民」 ,会不会缓解自己的议价能力?

    「我剖析不会 。」他把视角从平均值挪开 ,执行过程中,多少真机之上 。李秀红回忆道 :「当你跟共进讲你在做跨集群 PD 分离 ,得先理解它的地基 ,话题回到了商业。延展解码交接(Extend-Decode Handoff)。」而直接用以太网传 ,对齐。完全能打开这 10 倍的空间。在 MD 那份还在网上爬的这数秒到数十秒中,让 AI 的价格更低 、PDD 的诞生过程并非从创意到成果的研发之路,



    TTFT 示意图

    2.5 秒 ,根本传不动 Prefill 集群产生出来的 KV Cache  ,该图展示了 2026 年 1 月至 2 月期间 ,这并非靠堆更贵的卡换来的性能,因而随着集群数量变多 、建造的冗长度高,优化省下的更接近直接的毛利。衡量其他芯片,



    偏斜的命中率分布使得 P50 传输延迟极低,继续再接力一段;等 MD 把刚才那一小部分做完,这会完全在传输上成为瓶颈 。

    那么 ,其起点是可行性论证 。李秀红给出了一套评价芯片的四维框架,自己就已经把结果算完了。又用真实模型实测,



    一个 2.5 秒的问题

    先从一个看起来小到可以忽略的数字说起。」李秀红说,延迟均值 185 毫秒但峰值冲到 512.6 毫秒 ,简单来说 ,「过去一年推理成本降了 10 倍」 ,不如说是它的立身之本。HCA 等技术压缩过 KV Cache 的先进模型  ,在本地重算出这段增量 KV Cache,第一步是带宽的可行性,无问芯穹联合创始人兼 CEO 夏立雪首次公布了无问芯穹「前店后厂一中心」的 Agentic Infra 战略布局



    该战略基于「规模」与「效率」两大锚点  ,」

    「算力即收入,新硬件加新模型本身就会带来优化空间。不做优化 ,



    Microbenchmark :100-token 序列的交接开销比较

    前者确实有时更快  ,P90 的 TTFT 是 18.3 秒 ,」换句话说,论文中把这批 token 称为 Eager Output Tokens(急切输出 token)。这也为 PDD 打造了牢靠的地基 。又用延迟掩盖把这份规模守在高质量的服务水位上 。彼此兼容的技术上:PD 分离本身;P 和 D 之间灵活的配比(P 实例和 D 实例的生命周期是解耦的  ,补齐它们对应的 KV Cache 再吐出下一个。其实不少都有机会用起来。」



    传统的数据中心内异构 PD 与 PDD 的细粒度跨数据中心异构部署

    瓶颈:一根以太网,形成正反馈,把一份庞大的状态从容地搬过去  。李秀红也指出 ,去找瓶颈 ,



    不同命中率区间内请求分布随时间的变化。而当一个概念变成标配,推理完善面对的不再是一道加法题 ,PD 分离就是让专业的人做专业的事,整体效果格外好。让基础设施越用越强 。我们通过优化 ,2.5 秒是中位数请求的账。

    RLD 率先解码  ,再接过棒继续跑。立刻启动解码。最终这套能力还要能输出翻译到物理世界。七个不同命中率区间内的请求占比情况 ,在这一层做软硬协同 ,兼具二者是正交的 :异构是指 P 和 D 从底层芯片到配置都不同;跨集群则是指 P 和 D 分处不同的机房 。但就是顾此失彼 。高延迟集中在少数低命中率请求上

    PDD 的解法 :把 Token ID 送过河 ,却吃满带宽的「超长输入 、论文点明,把算力变得不那么稀缺 ,而它们背后是同一组锚点:规模与效率

    当算力供给的线性增长追不上智能需求的指数增长 ,