事件日期:2026-10-31(北京时间)。Draft PR #47518 新增 --lmcache-load-cost-profile,按模型、KV world size、chunk、lookup 长度、公共 engine prefix 和真实命中形态做精确匹配;只有实测重算成本比加载低出默认 5% margin 时才放弃 load,未知形态仍保持加载。Qwen3-0.6B、TP1、并发 1、output 8 的 held-out inline 测试中,平均请求时间从 296.14 降至 219.63 ms(-25.8%),median TTFT 从 58.75 降至 32.96 ms、P95 从 637.91 降至 380.16 ms;SHM 路径反而从 97.00 增至 99.59 ms,作者明确不建议复用该 profile,且并发 8 结果仍需在 store-stream 修复后重测。
工程影响
外部 KV 命中不等于值得加载:小命中、慢链路或不同并发下,重算可能更便宜;把选择建立在部署实测和准确 hit geometry 上,才不会让 cache hit 反向恶化 TTFT。
事件日期:2026-10-31(北京时间)。Draft PR #64812 让 KVCacheSpec 直接声明 slice_for_tp_transfer,连接器不再各自维护 GQA、Mamba1/2、GDN 和 conv state 的 head/byte 算术;FlashInfer NVFP4 的一个 KV head 可被描述为四段 page run,Mooncake 因而获得 NVFP4 hetero-TP re-sharding。CPU/meta tensor 验证覆盖 9 组 TP 配对×Mamba1/Mamba2/GDN 的逐字节组装,1,711 个测试通过,并在 249 个旧 NIXL geometry、60 个 source-rank 与 24 个 MoRIIO projection 对比中得到 0 mismatch;GPU P/D 端到端仍未完成。
工程影响
TP re-sharding 的正确规则取决于具体 KV 格式与模型状态布局;把规则放回 spec 可以避免三个 connector 各自复制易错的偏移计算,并让不支持的 replicated group 在握手时 fail closed。
事件日期:2026-10-30。Draft PR #64755 让非末级 PP stage 先把 CUDA Graph 输出快照到预分配 buffer,再异步发送,避免下一次 forward 等待上一轮 NCCL send 与下游 receive rendezvous。Qwen3.5-397B PP2 的 stall-behind-send 从窗口的 6%–10% 降至 0,PP4 三个发送 stage 从 10.4%/7.2%/5.8% 降至 0/0/0.3%;MiniMax-M3.1-Flash 在 0.85× capacity 时 TTFT P50 中位数改善 5.7%,但低负载无稳定收益,≥0.95× 时 P50 约回退 3%、饱和吞吐平均下降 2.7%。
工程影响
直接发送会把可复用的 graph output 变成在途 NCCL source,下一轮无法覆盖它;独立 snapshot buffer 解除这种隐式跨 stage 屏障,但额外 D2D copy 是否划算取决于流水线填充程度。
事件日期:2026-10-31(北京时间)。PR #5108 为 Get、GetBuffer、BatchGet 增加 byte ranges,按调用顺序打包多个窗口并裁剪至对象边界,覆盖 MEMORY、DISK、LOCAL_DISK 与 POSIX DFS;部分读取不会为了 checksum 再取回剩余对象。四个 140 MiB 对象、每个只选 70 MiB 的 CPU/TCP 测试中,memory 并发 1 从 22.55 提升至 28.83 objects/s(1.28×),并发 8 从 20.77 提升至 46.34(2.23×),NFS file restore 从 14.36 提升至 27.95(1.95×)。
工程影响
Prefix hit 通常只覆盖 pooled KV object 的一部分;如果 Store 仍整对象读取,网络、文件系统和 staging 都会为未命中字节付费,range API 才能让“部分命中”真正转化为 I/O 节省。
事件日期:2026-10-30。Draft PR #5087 将完全 drain 的 io_uring ring 放回最多 64 个的复用池,并把至少 512 KiB 的 staged READ 切成最多四个 256 KiB chunk,完成一个 chunk 就立即复制、与其余磁盘读取重叠。Intel XPU Host + NVMe、queue depth 1 测试中,4 KiB DRAM write 平均延迟从 44.4 降至 21.1 µs、P99.9 从 787 降至 61 µs;1 MiB pageable-VRAM read 从 1,511.2 降至 1,387.2 µs,而无需 staging 的 DRAM control 基本不变。
工程影响
每个 sub-batch 重新创建 ring 会把固定系统调用成本直接加在 KV I/O 热路径上;大读等全部完成后再复制,又让 staging 时间无法与 NVMe 重叠。