Skip to content
← 标签

#阿里 (10)

图像生成设计与前端梯顶C

Qwen-Image-2.1:一套开放权重同时做生成、局部编辑与透明输出

阿里 Qwen 的图像生成与编辑一档,把文生图、局部编辑(圈选/涂抹/独立 mask)、最多 10 张参考图融合与原生 RGBA 透明输出收进同一个 7B 视觉生成组件(32 层 Single-Stream DiT),并用混合粒度注意力与前缀 KV 缓存复用压低批量出图的边际成本;原生 2048px、7 档宽高比。它是当前可下载权重里图像竞技场排位最靠前的一档(文生图第 17 / Elo 1228,图像编辑第 16 / 1367),但许可是 Qwen Research License 而非 Apache-2.0,商用前必须单独读条款,diffusers 还需从 git 主干安装。未做基准复现,置信度记 C(厂商宣称)。

7B视觉生成组件参数厂商宣称 · 2026-09
产品阿里 Qwen (Alibaba)官网Repo
Qwen-Image-2.1:一套开放权重同时做生成、局部编辑与透明输出
视频生成影音创作梯顶C

Wan 万相:视频生成侧的开放权重基线,让整个生态能在自己机器上迭代

阿里通义万相把视频生成模型以 Apache-2.0 放出权重,是视频域里最重要的公共基线。它的价值与闭源服务不同:不在于「今天出片最好看」,而在于可微调、可复现、可在自己的推理栈上跑——LoRA、ControlNet 式条件控制、量化加速、蒸馏少步数这一整套生态工作都围绕它展开。对情报站来说,一个开放权重基线意味着「视频生成现在能做到什么」这个问题第一次有了可以自己验证的参照系,而不必相信厂商精选样本。许可与仓库公开这两条已核验,画质与物理表现仍是 C 级厂商口径。

Apache-2.0开放权重许可厂商宣称 · 2025-07
产品阿里巴巴通义 Alibaba Tongyi官网Repo
Wan 万相:视频生成侧的开放权重基线,让整个生态能在自己机器上迭代
ID Balancing:基于 PID 负载控制的极稀疏 MoE 稳定训练

ID Balancing:基于 PID 负载控制的极稀疏 MoE 稳定训练

通过混合专家(MoE)扩展大语言模型,可以在几乎不增加单 token 计算量的前提下大幅增加参数量;但要把参数规模继续往上推,就需要越来越稀疏的路由,而路由越稀疏,专家负载不均就越严重。负载不均会降低参数利用率与训练效率,甚至破坏训练稳定性,成为可靠扩展的瓶颈。本文把两种代表性的免辅助损失方法统一看作不完整的 PID 控制器:DeepSeek 的 loss-free 方法相当于固定步长的积分控制,Kimi K3 的 Quantile Balancing 相当于广义的比例控制。基于这一控制视角,作者提出 ID Balancing——一个积分-微分控制器:积分项随负载误差的大小缩放,微分项仅在失衡恶化时开启,因而在误差大或正在变大时给出更强校正,在接近平衡时只做小幅更新。在 768 个专家的 Top-10 / Top-5 / Top-3 三种路由设置下,相对最优基线,ID Balancing 在 Top-3 下把主干网络最坏 MaxVio 降低超过 50%、训练平均 MinVio 降低超过 12%;当总参数从 18.9B 扩到 69.9B(Top-10-of-768)时,其最坏 MaxVio 几乎不变,比辅助损失基线低约 89.6%。同时它保持了有竞争力的语言建模与下游性能。稀疏度越高,ID Balancing 的优势越明显,为扩展更大、更稀疏的 MoE 模型提供了可行路径。

Peng Jin, Zihan Qiu, Zekun Wang · 144次阅读 · 2026年9月30日
Mixture-of-ExpertsLoad Balancing
2026年9月30日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。