博客

• HuggingArch: Automating Model Architecture Analysis2026年10月8日

  agent 把开源模型写成一份经过校验的 spec，对它求值一次，就得到任意部署下的结构、成本和容量：三层 spec 系统、沿图传播的自动并行、实测校准的 Kernel Bench、在 spec 上设计模型的 Playground，以及用 agent 做大项目的心得。

• PaperCache: Close Reading of Papers with an LLM2025年9月5日

  用 LLM 做论文精读而非摘要的博客：为什么现有工具不合用，以及背后的七条设计原则。中文原文见知乎 p/1945260580274443582。

• DeepSeek V3/R1 Inference Efficiency (3): Generalizing the Decode Configuration2025年3月30日

  基于 DeepGEMM、FlashMLA 与 torch 搭的模拟器，在 H800 与 H20 上扫 DP-EP 与 TP-DP-EP——延迟 SLO 约束下，哪种设备数、batch、KV cache dtype 与 overlap 方式吞吐最高。中文原文见知乎 p/29540042383。

• DeepSeek V3/R1 Inference Efficiency (2): Reverse-Engineering the Production Deployment2025年3月24日

  对官方 EP144 部署的逐层 profiling——prefill 与 decode 的 FLOPs、逐算子耗时、MFU，以及由此推出的 overlap 排布。中文原文见知乎 p/29841050824。

• DeepSeek V3/R1 Inference Efficiency (1): A Back-of-the-Envelope Decoding Throughput Ceiling2025年3月17日

  DeepSeek 公布推理系统数据之前，只靠 V3 论文能估到多准？Attention DP + MoE EP 下的显存与算力预算，以及它推出的单卡 tokens/s 上限。中文原文见知乎 p/27292649125。

• GPU Clock Throttling: Why You Never Reach Peak FLOPS2024年12月21日

  大矩阵 GEMM 跑不到标称算力，通常不是 vendor 库不够好，而是功耗预算限死了。T4、A10、A800、H800 上的 FP16 方阵扫描，峰值 MFU 从 56% 到 89% 不等。中文原文见知乎 p/13866293937。

• GPU-to-GPU Copy over PCIe: From cudaMemcpyAsync to a Custom Kernel2024年12月12日

  PCIE 拓扑下两块 GPU 之间的 D2D 拷贝能跑到多少带宽？从 naive cudaMemcpyAsync 一路加到自定义向量化 kernel，最后和 NCCL 对比。中文原文见知乎 p/2847929235。