#llama.cpp (2)

在 NVIDIA Jetson 上微调、转换并部署语言模型：Unsloth + llama.cpp 实战教程

Jetson AI Lab 官方教程：用 Unsloth + JetPack 7.2 直接在 Jetson 上以内存高效的 QLoRA 微调模型，导出 GGUF 并用 llama.cpp 本地运行。两个实战案例：Jetson Orin Nano 上的 Qwen3.5-4B 视觉语言模型（LaTeX OCR 微调），以及 Jetson AGX Thor 上的 NVIDIA Nemotron 3.5 Lightning 30B-A3B（44.8 秒完成 3 步训练、Q4_K_M 量化后跑出 66.1 tokens/秒）。全程无需云端。

博客