MIT 许可、构建在 ggml 上的纯 C/C++ 推理实现，无任何依赖。17 个后端覆盖 CUDA/Metal/HIP/Vulkan/SYCL/WebGPU/CANN/Hexagon/MUSA/zDNN/ZenDNN；1.5-8 比特整数量化；CPU+GPU 混合推理让超出显存的模型也能跑；GGUF 是它输出的事实标准权重格式，连 vLLM 都直接吃。llama cli / llama serve 两行起一个 OpenAI 兼容服务。
基于 ggml 的纯 C++ 音频推理框架，把 TTS、声音克隆、语音转换、语音识别、说话人分离、VAD、源分离、音频编解码与音乐生成等 110 多个模型族收进同一套原生运行时，后端覆盖 CUDA、HIP、Vulkan、Metal 与纯 CPU，入口有 CLI、OpenAI 风格服务、内嵌 WebUI 与 JSON 流水线；同机对拍 Python 参考实现，多条 TTS 路径快 1.8 到 5 倍，Q8 量化包最高降低 37% 峰值显存。
作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。
0:38