#Model Quantization (1)

GSQ：基于 Gumbel-Softmax 采样的高精度低位宽大语言模型标量量化

GSQ 将低位宽标量量化中的离散网格赋值与分组尺度联合优化，通过 Gumbel-Softmax 采样从 GPTQ 或 GGUF 热启动出发学习更优权重分配，同时保持标准标量推理内核兼容。Llama-3.1-8B/70B 在二比特下较最强标量基线提升 4.76/4.14 分，Qwen3-8B 的 Q2_K 平均分由 50.03 升至 56.28，并成功扩展到万亿参数 Kimi-K2.5；但仍与 QTIP 有 1.33/1.68 分差距，且训练成本与校准分布敏感。