Hugging Face Transformers 的 vLLM 建模后端实现原生推理性能

Hugging Face 宣布升级 vLLM 中的 Transformers 建模后端，实测吞吐量已达到或超越 vLLM 原生手写实现水平。该后端利用 torch.fx 对模型计算图进行静态分析并结合 AST 重写算子，在运行时动态执行算子融合与并行切分，同时完整兼容 torch.compile 和 CUDA Graphs。