PAPER DEEP DIVE
GSQ：基于 Gumbel-Softmax 采样的高精度低位宽大语言模型标量量化
GSQ 将低位宽标量量化中的离散网格赋值与分组尺度联合优化，通过 Gumbel-Softmax 采样从 GPTQ 或 GGUF 热启动出发学习更优权重分配，同时保持标准标量推理内核兼容。Llama-3.1-8B/70B 在二比特下较最强标量基线提升 4.76/4.14 分，Qwen3-8B 的 Q2_K 平均分由 50.03 升至 56.28，并成功扩展到万亿参数 Kimi-K2.5；但仍与 QTIP 有 1.33/1.68 分差距，且训练成本与校准分布敏感。
作者：Alireza Dadgarnia、Soroush Tabesh、Mahdi Nikdan、Michael Helcig、Eldar Kurtić、Maximilian Kleinegger、Dan Alistarh
论文：arXiv:2604.18556 代码：IST-DASLab/GSQ 主题：大语言模型、训练后量化、低位宽推理、GGUF、混合专家模型
一句话总结：GSQ 不再把低位宽标量量化只看作一次静态舍入，而是把每个权重的网格选择变成可微的离散采样问题，在保持标量格式和现有推理内核兼容性的同时，缩小了它与向量量化之间的精度差距。
研究背景：低位宽部署的分岔
大语言模型的参数规模已经远远超过单张加速卡能够舒适容纳的范围。即使不考虑训练，推理阶段仍需同时承担权重显存、键值缓存、通信带宽和批处理调度等成本。模型量化因此从附属优化变成了部署栈的一部分：它既要降低每参数比特数，又不能破坏模型在推理、代码生成、长上下文和工具调用上的能力。
当前低比特方法大致分成两条路线。第一条是 GPTQ、AWQ 等标量量化路线。它们通常对连续权重分组，为每组学习一个尺度，再把权重映射到有限整数集合。标量格式容易接入现有矩阵乘法内核，也能自然支持按层分配不同比特宽度，因此工业部署价值很高。问题是当平均位宽降到二比特附近时，传统标量方法往往出现明显精度断层。
第二条是 QTIP、GPTVQ、AQLM 等向量或格点量化路线。它们在多个权重之间共享码本或格点结构，表达能力更强，能够在相同平均比特率下获得更好的语言模型精度。但这些格式通常需要专用解码、码本查表或定制内核，训练和工程适配成本也更高，面对万亿参数混合专家模型时尤其困难。
论文提出的问题很直接：标量量化与向量量化之间的差距，究竟是标量格式固有的表达上限，还是因为离散网格分配没有被充分优化？如果主要矛盾来自优化，那么只要把每个权重的离散选择做得更好，标量量化仍可能在可部署格式上接近更强表达能力的量化器。
GSQ 的答案是把网格分配显式放进重构目标。它不改变最终部署格式，也不引入码本，而是在训练期间为每个权重或多个相对位移维护可学习 logits，通过 Gumbel-Softmax 获得可微的软选择，再与每组的连续尺度联合优化。最终导出时仍使用离散 argmax，所以收益来自更合理的赋值，而不是更复杂的推理格式。
这个角度前三元量化值得重新审视。三元格式只有负尺度、零、正尺度三个实际取值，传统 GPTQ 初始化在极低比特下容易失真。GSQ 把非零掩码和符号拆成两组二元决策，并从较弱的 GPTQ 解出发继续搜索。对于二比特、三比特和四比特，它把问题推广到一般有限网格，并针对更高位宽设计局部位移参数化，以避免候选数随比特数指数增长。
问题定义与基本约束
设原模型或某个子模块为 $f(\cdot;\mathbf{w})$，校准输入为 $\mathbf{x}$。量化的目标是在满足格式约束 $\mathcal{C}$ 的前提下，让量化权重 $\bar{\mathbf{w}}$ 产生的输出尽量接近原权重产生的输出。论文采用 Frobenius 范数衡量重构误差：
$$\hat{\mathbf{w}}=\arg\min_{\bar{\mathbf{w}}}\left\lVert f(\mathbf{x};\bar{\mathbf{w}})-f(\mathbf{x};\mathbf{w})\right\rVert_F^2\quad\text{s.t.}\quad\bar{\mathbf{w}}\in\mathcal{C}.$$
困难在于约束集合包含离散网格。直接对 argmin、round 或硬阈值求梯度并不可行，若先逐层量化再只微调尺度，搜索空间又被人为切开。GSQ 的关键选择是：训练时保留候选集合上的概率分布，使离散选择对损失可导；部署时再把概率分布压成单个候选，因此最终模型不会携带软权重。
三元约束可以写成非零掩码、符号和分组尺度的组合：
$$\mathcal{C}_{\text{ternary}}=\left\{\bar{\mathbf{w}}\mid\bar{\mathbf{w}}=s\cdot\mathbf{m}\odot\mathbf{b};\ s\in\mathbb{R},\ \mathbf{m}\in\{0,1\}^d,\ \mathbf{b}\in\{-1,1\}^d\right\}.$$
这里每个坐标需要一个掩码决定是否为零，还需要一个符号决定非零方向。若直接为四个组合建四个 logits，参数量和内存都会扩大。论文利用二元 softmax 与 sigmoid 的等价关系，让每组二元选择只占用一个标量 logit，从而把三元情形的辅助参数控制在 $2d$ 个二元决策附近。
方法详解：把网格选择变成可微采样
方法是两阶段而不是端到端全模型训练。第一阶段依赖 GPTQ 或已有 GGUF 检查点给出一个合理的离散初值及组尺度。第二阶段在当前模块或专家范围内联合学习离散赋值和尺度。这样做牺牲了全局联合优化，却使显存占用与模型规模之间的关系从不可承受变成可工程化。
三元路径先把 GPTQ 掩码和符号转换成初始 logits。掩码 logits 的正负对应非零与否，符号 logits 的正负对应正负方向。为了避免初值过强导致搜索提前锁死，论文在 logits 上加入各向同性高斯噪声：
$$\boldsymbol{\ell}=\sigma_{\mathrm{init}}\left(\boldsymbol{\epsilon}+\alpha\boldsymbol{\ell}_{\mathrm{GPTQ}}\right),\qquad\boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}).$$
其中 $\alpha$ 决定 GPTQ 先验相对噪声的强度，$\sigma_{\mathrm{init}}$ 控制整体 logit 幅度。GPTQ 为零的位置仍需给符号 logit 一个可继续变化的起点，因为训练过程中掩码可能翻转，符号分支必须保留重新启用的可能。
对于一般的 $b$ 比特对称标量量化，若每个坐标拥有完整网格，则约束为：
$$\mathcal{C}_{b\text{-bit}}=\left\{\bar{\mathbf{w}}\mid\bar{\mathbf{w}}=s\cdot\mathbf{q};\ s\in\mathbb{R},\ \mathbf{q}\in\mathcal{G}_b^d\right\},\qquad\lvert\mathcal{G}_b\rvert=2^b.$$
二比特的均匀网格取 $\mathcal{G}_2=\{-2,-1,0,1\}$。虽然这个集合本身偏向负值，论文允许尺度 $s$ 取负值，因此正负方向不会被固定死。每个坐标拥有四个候选 logits，再共享或分组共享尺度，联合优化离散索引和连续步长。
当位宽继续增加时，完整网格的候选数按 $2^b$ 增长，若直接为每个坐标保存全部 logits，显存和优化开销都会迅速放大。论文观察到，从较强初始化出发，大多数坐标只需要移动到邻近网格点。因此三比特和四比特改用局部位移，每个坐标只维护五个候选：
$$q_i=(\mathcal{G}_b)_{\operatorname{clip}(j_i^0+\delta_i,1,2^b)},\qquad\delta_i\in\{-2,-1,0,1,2\}.$$
这里 $j_i^0$ 是 GPTQ 或 GGUF 初值在有序网格中的索引。训练不再直接选择整个网格，而是选择相对初值的位移。总辅助参数从 $d\cdot2^b+1$ 降到 $5d+1$。这个设计把“可能需要大范围重排”的全局问题换成“围绕强先验修正局部误差”的问题，计算上高效，也解释了它对初始化质量的依赖。
在每个训练步，候选元素先加上 Gumbel 噪声，再按温度 $\tau$ 和 logit 放大系数 $\kappa$ 归一化。概率和质量对应的论文公式可写成：
$$p_i=\frac{\exp\left((\kappa\ell_i+g_i)/\tau\right)}{\sum_{j=1}^{n}\exp\left((\kappa\ell_j+g_j)/\tau\right)},\qquad\tilde{d}=\sum_{i=1}^{n}p_i d_i.$$
训练初期温度较高，多个候选都能贡献梯度，优化不会过早锁定在单个格点。随着温度从 2.0 退火到 0.05，概率分布逐步尖锐，软采样接近 one-hot。logit 放大系数同时从 100 提高到 500，使候选间距在后期更明显。最终的推理权重由硬 argmax 决定，不由最后一次软采样的期望值决定。
GSQ 还联合学习连续尺度。若赋值改变而尺度保持不变，整组误差可能无法下降到最优；若只学尺度而赋值固定，又会退回传统的尺度微调。论文明确指出这种联合优化区别于“先逐层量化，再对少量连续参数做块级调优”的做法。离散决策与连续步长在同一损失中被同时推动，因此局部位移和尺度可以互相补偿。
Gumbel-Softmax 在温度很低或 logit 差距很大时会进入饱和区，概率接近 one-hot，梯度可能接近零。论文给出梯度上界：
$$\left\lVert\nabla_{\mathbf{a}}\ell(y)\right\rVert_{\infty}\leq\frac{(K-1)G}{\tau}e^{-\Delta/\tau}.$$
其中 $K$ 是候选数，$\Delta$ 是最大 logit 与次大 logit 的差距，$G$ 是损失对概率向量的梯度上界。差距扩大时指数项会衰减，优化器可能停滞。论文改用 Lion，而不是依赖 AdamW 中较大的 epsilon 来维持更新。这个选择不是调参轶事，而是针对饱和 softmax 的直接工程响应。
块级目标仍来自输出重构。每次替换一个注意力块、MLP 块或专家子模块，计算当前软量化权重下的输出误差，并把梯度回传到 logits 和尺度。梯度累积在这里有第二个作用：每个前向传播会重新采样 Gumbel 噪声，对多个微批次求平均能够降低采样方差，使训练比单次大批量采样更稳定。
flowchart TD A["GPTQ 或 GGUF 初始权重"] --> B["每组尺度与离散初值"] B --> C["完整网格或五档局部位移"] C --> D["可训练 logits"] D --> E["Gumbel-Softmax 软采样"] E --> F["替换当前块并计算输出误差"] F --> G["Lion 更新 logits 与尺度"] G --> D D --> H["温度和 logit 幅度退火"] H --> I["argmax 生成硬离散权重"] I --> J["保持标量格式导出"]
训练顺序也针对模型结构做了安排。Llama 实验先优化注意力层，再优化 MLP；Kimi-K2.5 作为万亿参数混合专家模型，按专家进行分块优化，部分共享专家和视觉组件保持原格式。这样的调度减少了同时驻留的辅助参数，使每个训练片段只处理一个可管理的权重子集。
公开代码中的三比特和四比特量化器直接体现了这一机制。局部位移、合法边界掩码和 GPTQ 初值都在量化器构造时建立：
代码来源：src/quantization/gumbel_quantizer_int.py，构造函数的第 16 至 22 行。
self.shift_values = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0])
cand = self.init.unsqueeze(0) + self.shift_values.view(-1, 1, 1)
self.valid_shift_mask = (cand >= self.min_grid) & (cand <= self.max_grid)前向函数则把噪声、温度、候选位移和尺度放在同一个可微路径中。下面的片段省略了张量广播细节，但保留了实际计算关系：
代码来源：src/quantization/gumbel_quantizer_int.py，GumbelSoftmaxFunction.forward。
noise = -torch.log(-torch.log(u + eps) + eps)
soft_quant = F.softmax((masked_logits * ctx.scale + noise) / ctx.temperature, dim=0)
soft_output = (soft_quant * shift_values.view(-1, 1, 1)).sum(dim=0)
output = (init + soft_output) * scale_per_col论文附录中的原始图只展示局部位移参数化：上行是完整的二比特 logits，下行是三比特以上的五档相对位移。它说明候选数如何从指数级变为常数级，但不负责展示完整训练流程，因此本文没有把它当作全局架构图。
实验设置与 Llama 结果
Llama 实验覆盖 Llama-3.1-8B-Instruct 和 Llama-3.1-70B-Instruct，比较 GPTQ、QuIP、EfficientQAT、QTIP、PV-Tuning 以及 GSQ。零样本评测包含 ARC-Challenge、ARC-Easy、HellaSwag、PIQA 和 WinoGrande，并以五项平均分作为主要读数。训练使用 FineWeb-Edu 校准集，规模为 4096 条序列，每条 4096 个 token，共训练 20 个 epoch。
二比特是最能说明问题的区间。Llama-8B 上，GSQ 的平均分为 68.55，比 EfficientQAT 的 63.79 高 4.76 分，但比 QTIP 的 69.88 低 1.33 分。Llama-70B 上，GSQ 为 75.57，比 EfficientQAT 的 71.43 高 4.14 分，距离 QTIP 的 77.25 差 1.68 分，距离 PV-Tuning 的 76.27 差 0.70 分。结果表明，标量格式并没有在二比特完全失去竞争力，但也没有全面追平更强的码本方法。
| 方法 | 8B 比特率 | 8B 平均分 | 70B 比特率 | 70B 平均分 |
|---|---|---|---|---|
| FP16/BF16 | 16.00 | 73.71 | 16.00 | 78.99 |
| GPTQ | 2.25 | 37.53 | 2.25 | 57.38 |
| EfficientQAT | 2.25 | 63.79 | 2.25 | 71.43 |
| QTIP | 2.00 | 69.88 | 2.00 | 77.25 |
| PV-Tuning | 2.27 | 69.83 | 2.07 | 76.27 |
| GSQ | 2.13 | 68.55 | 2.13 | 75.57 |
三比特结果呈现相同趋势。Llama-8B 的 GSQ 平均分为 72.32，Llama-70B 为 77.99，二者都是比较中的最佳标量结果。与二比特不同，三比特下 GSQ 与 QTIP 的差距更小，说明候选网格更丰富时，离散赋值优化能够更充分地发挥作用。三元 GSQ 在 Llama-8B 上也与部分更高实际比特率的标量基线接近，显示在极低比特下仍有可用空间。
论文还验证了非均匀比特分配。因为 GSQ 输出标准标量层，不同层可以使用不同位宽，而不需要改变推理格式。Llama-70B 在平均 2.62 和 2.37 比特时分别得到 77.50 和 77.40 的平均分，Llama-8B 在 2.37 比特时为 69.44。非均匀配置的价值在于把更多比特留给敏感层，同时保持端到端吞吐仍明显高于 BF16。
端到端推理实验使用 vLLM 和 Humming 内核，在四张 NVIDIA L40S 上服务 Llama-3.1-70B。BF16 为每 GPU 60.3 个输出 token 每秒，均匀二比特 GSQ 达到 374.0，即 6.20 倍加速。非均匀 2.37 和 2.62 比特配置分别达到 5.46 倍和 4.99 倍。这里最重要的不是单看峰值，而是精度、平均比特率和吞吐可以落在同一条可部署曲线上。
| 表示 | 平均比特/参数 | ShareGPT TPS/GPU | 相对 BF16 加速 |
|---|---|---|---|
| BF16 | 16.00 | 60.3 | 1.00 倍 |
| 均匀三比特 | 3.13 | 289.6 | 4.80 倍 |
| 非均匀 | 2.62 | 301.1 | 4.99 倍 |
| 非均匀 | 2.37 | 329.2 | 5.46 倍 |
| 均匀二比特 | 2.13 | 374.0 | 6.20 倍 |
Kimi-K2.5：把标量优化推进到万亿参数 MoE
Kimi-K2.5 原生使用四比特存储，规模达到一万亿参数，并采用混合专家结构。论文只量化非共享专家权重到二比特，共享专家和视觉组件保持原表示。这个选择控制了训练成本，也避免了把不适合量化的共享路径一起压坏。方法因此不是简单的全模型二比特，而是针对 MoE 结构的分层压缩。
Kimi 校准使用 OpenThoughts，训练 10 个 epoch。基础模型为 4.5 比特/参数，GSQ 版本降到 2.13 比特/参数。AIME25 从 95.33 降到 93.00，MATH500 从 96.68 升到 97.32，LiveCodeBench 从 61.37 升到 69.37。数学与代码相关能力基本稳定，代码结果甚至高于论文自己的基础模型评测，说明在同一评测管线内没有出现普遍性崩塌。
GPQA Diamond 从 89.29 降到 76.57，下降 12.72 分，是这份结果里最明显的能力损失。论文把原因部分归因于 OpenThoughts 的数学与代码偏置。科学问答覆盖生物、化学和物理知识，校准集若缺少对应分布，二比特赋值优化可能更偏向保留推理模板而不是科学事实。这个解释与后续 Kimi-K2.6 混合校准实验方向一致，但论文也明确说明那不是受控消融。
| 指标 | 基础模型 | GSQ | 变化 |
|---|---|---|---|
| 比特/参数 | 4.50 | 2.13 | -2.37 |
| AIME25 | 95.33 | 93.00 | -2.33 |
| GPQA Diamond | 89.29 | 76.57 | -12.72 |
| LiveCodeBench | 61.37 | 69.37 | +8.00 |
| MATH500 | 96.68 | 97.32 | +0.64 |
| MRCR 0 至 8k | 95.37 | 97.81 | +2.44 |
| MRCR 8k 至 16k | 77.81 | 85.75 | +7.94 |
| MRCR 16k 至 32k | 69.19 | 74.41 | +5.22 |
| MRCR 32k 至 64k | 57.10 | 53.73 | -3.37 |
| MRCR 128k 至 256k | 46.04 | 44.91 | -1.13 |
长上下文结果呈现清晰分界。三十二 k 以内，GSQ 在 MRCR 上反而高于基础模型；三十二 k 以上开始小幅下降，到 128k 至 256k 时减少 1.13 分。论文据此判断二比特量化保留了相当多的长上下文能力，但最长区间更敏感。对部署而言，这意味着不能只看短上下文平均分，必须把目标上下文长度作为量化配置的一部分。
规模结果还有工程意义。Llama-8B 端到端优化需要 8 张 H200 运行 10 小时，Llama-70B 需要 68 小时，而更大的 Kimi-K2.5 因不量化注意力层且训练 epoch 更少，只用了 24 小时。这个对比说明训练成本不只由参数总量决定，还取决于被优化的权重比例、块调度和训练轮数。它同时提醒读者，GSQ 不是低成本即时量化，而是一项需要校准算力的训练后优化。
GGUF K-Quant：改进已有本地部署格式
GGUF 是本地推理生态中广泛使用的模型格式，K-Quant 已经定义了复杂的块结构和混合精度规则。论文没有要求用户放弃这些格式，而是把公开的 Unsloth GGUF 检查点作为初始值，优化其离散赋值，再把结果投影回相同 K-Quant 格式。这个实验比“重新定义一种更复杂的新格式”更贴近实际部署。
Qwen3-8B 在 Q2_K 上的三项平均分从 50.03 提升到 56.28，增加 6.25 分；在 Q3_K_M 上从 60.52 提升到 61.61，增加 1.09 分。更激进的二比特档位收益更大，符合“差初始化留下更多可修复赋值错误”的解释。Q2_K 的 AIME25 从 38.67 提升到 52.00，MMLU-Pro 从 64.97 提升到 65.94，生成 token 数在 AIME25 上从 0.64M 降到 0.58M。
| 格式 | AIME25 | GPQA Diamond | MMLU-Pro | 平均分 |
|---|---|---|---|---|
| BF16 | 64.67 | 58.38 | 72.42 | 65.16 |
| Unsloth Q3_K_M | 56.67 | 54.65 | 70.23 | 60.52 |
| GSQ Q3_K_M | 59.00 | 55.15 | 70.67 | 61.61 |
| Unsloth Q2_K | 38.67 | 46.46 | 64.97 | 50.03 |
| GSQ Q2_K | 52.00 | 50.91 | 65.94 | 56.28 |
这些结果不能解释成“二比特已足够”。GSQ Q2_K 仍比 BF16 低 8.88 个平均分，GPQA Diamond 也低 7.47 分。真正的结论是：对于同一个 GGUF 部署格式，离散赋值优化可以回收相当大的精度损失，尤其在初始检查点质量较弱时。用户不必更换运行时，收益就能通过替换检查点获得。
GGUF 投影还揭示了一个方法边界。优化发生在权重赋值层面，但能探索的候选由 K-Quant 的块参数和格式规则决定。若格式本身对某类层的量化过粗，GSQ 只能在允许的表示内重新分配，无法凭空产生向量码本的表达能力。因此它适合作为现有格式的增强器，而不是绕过格式限制的通用方案。
消融与训练机制
优化器消融直接验证了梯度饱和问题。AdamW 与 Lion 在论文实验中的平均分分别为 61.84 和 65.54，Lion 高出 3.70 分。这个结果与附录中的梯度分析相互对应：当温度退火、logit 差距变大时，Lion 对很小的梯度仍能保持更新，而 AdamW 更容易因为二阶统计量或 epsilon 设置而停滞。
尺度端到端微调进一步说明连续参数和离散赋值的分工。二比特 GSQ 完成后，只继续优化尺度，Llama-8B 从 65.54 提升到 68.55，Llama-70B 从 74.45 提升到 75.57。提升并非来自新的码本或解码器，而是来自在离散赋值稳定后重新校准每组尺度。这一点对部署很重要，因为尺度仍然属于标准标量格式，不增加运行时复杂度。
局部位移消融则支持了它的前提。完整网格在低位宽下可探索空间更大，但辅助 logits 随候选数线性增长。五档局部位移在大部分初值较好的情况下保留了足够的修正范围，同时把三比特和四比特训练拉到可执行规模。代价是当 GPTQ 或 GGUF 初值严重错误时，一次只能移动到附近两格，可能无法跳到远处的全局更优解。
从系统角度看，GSQ 的优势与限制都来自同一处：它把智能集中在离线和训练阶段，把运行时保持在最简单、最成熟的标量路径。离线阶段需要校准数据、辅助 logits、块级前向和反复采样，成本不低；在线阶段却只执行普通低位宽矩阵乘法。对于推理服务商和机器人平台，这种时间与空间成本交换通常比定制解码器更容易接受。
局限性：哪些结论不能外推
第一项限制由作者明确承认：训练期间需要为候选网格保存辅助 logits，总体显存开销约为被量化权重的 2 至 5 倍。这个开销不进入最终模型，却直接限制全模型端到端优化的可行性。论文必须把训练拆成注意力块、MLP 块或专家块，不能把整个 Transformer 当成一个连续参数集来优化。
第二项限制是对初始化的依赖。GPTQ 或 GGUF 提供的不只是起点，也定义了局部位移网格和尺度先验。如果初值已经落在错误的吸引域，五档相对位移只能做局部修正。论文的消融显示局部位移在正常实验中有效，但这不等于它能从任意随机初值恢复。更强初始化、自适应位移范围和再初始化策略仍值得研究。
第三项限制是校准分布会改变能力保留形状。Kimi-K2.5 在数学和代码上表现稳定，却在 GPQA Diamond 上明显下降。OpenThoughts 偏重数学与代码，可能无法代表科学问答、通用知识或多语言任务。Kimi-K2.6 的混合校准结果只能作为支持性证据，因为基础模型同时变化，不是单变量消融。
第四项限制是标量格式并非在所有位宽上都能追平向量方法。二比特下，Llama-8B 与 QTIP 仍差 1.33 分，Llama-70B 与 QTIP 仍差 1.68 分。标量量化的优势是内核兼容、系统成熟和格式简单，不是固定比特宽度下绝对最高的表达能力。部署选择仍应在精度、吞吐、内存和工程复杂度之间取舍。
第五项限制是长上下文和评测协议。Kimi 在三十二 k 以内保持或提升 MRCR，但更长区间出现下降。论文也指出，基础 Kimi-K2.5 的 LiveCodeBench 分数低于模型卡，原因是公开模型卡没有给出完全相同的评测协议。因此跨论文比较时必须使用同一套基础模型与评测管线，不能把不同来源的数字直接拼接。
第六项限制是训练成本。Llama-70B 需要 8 张 H200 训练 68 小时，这不是日常快速迭代可以忽略的开销。GSQ 更适合发布前的离线量化、已有 GGUF 检查点的质量增强，或模型服务商维护固定版本的场景。对于频繁变更权重或要求分钟级压缩的应用，仍需更便宜的近似方案。
总结与展望
GSQ 的核心贡献不是发明一种新的推理格式，而是重新分配优化预算：把复杂度放到训练时的离散采样，把部署时保持在标准标量矩阵乘法。它通过 Gumbel-Softmax 对网格赋值求梯度，通过局部位移控制高位宽参数量，通过 Lion 和梯度累积处理饱和与采样方差，再通过块级或专家级训练控制显存。
实验结果支持一个谨慎但重要的判断：标量量化在二比特和三比特的差距中，有相当一部分是优化差距。Llama 二比特比最佳标量基线提高 4 分以上，GGUF Q2_K 平均分提高 6.25 分，Kimi-K2.5 以 2.13 比特保留大部分数学、代码和中短上下文能力。同时，科学问答下降和与 QTIP 的剩余差距说明，格式表达能力仍然有真实上限。
对具身智能和边缘推理而言，这项工作的价值在于可部署性。机器人系统常需要把语言模型、视觉编码器和控制模块塞进有限显存，又不希望维护专用量化解码器。GSQ 提供的是一条保守路径：保持标量格式、保留现有内核、通过离线训练改善赋值。它不是终局量化方案，但把“简单格式必然低精度”的假设拆开了一层。
后续研究可以沿三个方向推进：把离散赋值优化扩展到激活与键值缓存，联合处理权重和运行时张量；设计更自适应的位移范围或分层重初始化，降低对 GPTQ 与 GGUF 初值的依赖；在机器人真实工作负载上评估量化误差如何传导到工具调用、场景理解和长时序决策。这些方向都要求保持格式兼容，否则训练阶段省下的精度可能在部署阶段被工程复杂度抵消。
金句：如果把低位宽标量量化看成一次静态舍入，它很快就会撞到精度墙；如果把每个网格选择看成需要认真优化的离散决策，最简单、最易部署的格式仍然有相当大的上升空间。
资料与复现入口
论文全文：https://arxiv.org/abs/2604.18556。公开代码：https://github.com/IST-DASLab/GSQ。本文重点核对了量化器、训练循环、GPTQ 初始化和实验表格；代码片段来自公开仓库，论文数字保留原始评测口径。
