SGLang 如何让 DeepSeek V4.1 Flash 的后半层只处理尾部 token
固定公开源码解释 L0–L20 完整执行、L21–L39 仅处理每次 extend 的尾部128行，核对近似性、短extend风险、未合并PR与可证伪实验。
研究笔记 · 2026-10-09
研究笔记
等待队列里的热前缀：从 LRU 刷新到 Prefill 负载均衡
我近期想在生产场景里尝试 SGLang #41593 的等待队列前缀刷新，并继续看多个 Prefill 实例之间的 cache TPS 如何均衡。现在先把机制、指标口径和可证伪的验证方案写清楚：排队时命中的前缀，未必活到真正 admission；保住更多命中，也未必让集群负载更均衡。本文是 AI 辅助的研究记录，生产实验尚未开展。
缓存与调度 · 2026-10-08
读懂 PCIe 与 RDMA 的网络基础
800G 是网络段的能力，应用吞吐由整条数据路径和软件流程共同决定。本文沿一次假想的 8 MiB KV 搬运，分开解释网络、PCIe、内存访问和程序完成；先走通字节路径，再理解队列与发布语义，最后用拓扑、并发和计时口径分析性能。所有拓扑与数值算例均为教学假设。
网络通信与内存 · 2026-10-08
Blackwell FP4 MoE：把 live-row 边界贯穿整个 FFN
9 月 29 日日报已经记录 #59044 的性能摘要。本篇进一步固定 PR head，分析 expert endpoint 如何连接 scatter、两次 grouped GEMM 与 fused SiLU 量化，以及为什么少做 padding 工作不等于释放 workspace。该 PR 仍未合并，所有 GPU 性能均为作者报告。
引擎与算子 · 2026-09-30
vLLM AITER a4w4：高并发收益，为什么仍需显式开启？
vLLM #58819 已合并，但 a4w4 仍是 DeepSeek V4.1 的显式选项。代码同时约束 activation dtype、加载布局和 AITER API；作者报告 c64 吞吐 +10.5%、c1 -1.0%，性能实验使用模拟接受长度，需要与真实拒绝采样的准确率证据分开。
MoE 与内核 · 2026-09-30
KV cache 的下一层问题：什么状态才算真正可恢复？
外存里有 KV，不等于请求能从那里继续执行。本文从模型状态的语义出发，梳理 checkpoint、缓存留存与恢复关键路径之间的关系，并提出尚待验证的测量方法。
缓存与状态 · 2026-09-30
PD 与 C2C：局部更快，怎样变成端到端收益？
提前发送 KV 会占用显存，直接访问 host memory 也需要合理的访问排布。把传输速度、容量收益与内核收益分开测量，才能判断局部优化是否真正改善 TTFT 与 goodput。
传输与调度 · 2026-09-30
读 SGLang direct linker：LOAD 之后，为什么还需要 COMMIT？
以 SGLang #41343 的固定 head 为阅读基线：KV 页恢复只是第一步，recurrent checkpoint 还必须对应相同边界，并在 COMMIT 阶段成为请求的正确 COW 状态源。
源码阅读 · 2026-09-30