#FSDP2 (1)

瀑布流分页

在 AI Runtime 上把 Qwen 微调时间压缩 6 倍：融合 kernel 与序列打包

在 AI Runtime 上把 Qwen 微调时间压缩 6 倍：融合 kernel 与序列打包

GPU 利用率 98% 仍可能是假象：换融合 kernel 提速 3.7 倍，1D 打包去 padding 省 36% batch，7h44m 降到 1h17m。

博客

LLM TrainingPerformance OptimizationKernel FusionFSDP2Flash Linear Attention

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。