
智能体如何在云端用 Blender 与 Unreal Engine 搭出一座城
拆解十一个智能体用 Blender Python 生成 2,538 个资产、再经 Unreal Engine 光追渲染的完整流水线,以及并行建造、跨引擎接口与视觉验证的真实成本。
无人机从海滨城镇的屋顶俯冲而下,穿过摩天轮的座舱,再沿着海岸继续飞行。镜头始终围绕“建造”展开:城镇的一部分先是灰色几何体,随后出现贴图,最后才被 Unreal Engine 的完整光照覆盖。
这不是一段“看起来像城市”的生成视频。整个街区由 Claude Fable 5.2 智能体通过 Python 在 Blender 中搭建,最终画面则在租来的 RTX PRO 6000 和 L40S 上,用 Unreal Engine 5.8.4 渲染。公开发布帖把任务压缩成“74 分钟完成 GPU 渲染”;完整制作指南给出了更有价值、也更接近工程现实的另一面:十一个模块、五轮视觉修改、三天内使用十一台机器,最终影片来自其中八台。
这个项目的重点并不是“智能体能写出一段很长的 Blender 脚本”。真正有价值的是:它把工作拆成可重复执行的模块,用统一规则约束并行智能体,先用低成本灰色预览检查,再通过稳定的资产契约迁移到渲染器,最后为昂贵渲染设置明确的验证关卡。这些做法同样适用于仿真环境、合成数据和具身智能实验。
智能体究竟搭出了什么
街区包含海滩和露天健身房、带自行车道的海滨步道、一排装饰艺术风格的商店与咖啡馆、游艇码头、摩天轮、街道、酒店,以及地平线上的城市天际线。最终 Blender 场景使用 2,538 个不同资产,共放置 60,386 次,整体约有 1.26 亿个三角形。
“资产数量”和“放置数量”必须分开理解。棕榈树、椅子、路灯、阳台栏杆或咖啡桌只需制作一次,然后在不同位置重复实例化。若在每个位置都复制底层几何体,场景会更大、编辑更慢,也更难让智能体理解。因此,这座城镇由少量可复用部件和一份独立布局共同组成。
| 层次 | 实现方式 | 作用 |
|---|---|---|
| 几何 | 十一个 Blender Python 模块,每个模块都有可重复执行的构建函数 | 一个智能体只负责城镇的一部分,不必把整个场景塞进同一个工作上下文。 |
| 布局 | 2,538 个资产、60,386 次放置,以及独立的布局文件 | 网格资产保持复用,位置、旋转和缩放则作为可检查的数据保存。 |
| 表面契约 | 只有 Blender 材质名称进入 Unreal Engine | Unreal 用自身材质实例替换,避免依赖并不可靠的 Blender 材质导入。 |
| 光照 | 太阳、天空、云、薄雾、水面,以及硬件光线追踪 Lumen | 大气效果在最终渲染端添加,不必在 Blender 构建端重复实现。 |
| 标识 | 所有品牌、店名和广告均为虚构 | 场景既像真实地点,又不复制真实品牌,也避免商品植入授权问题。 |
场景也被刻意设定为虚构地点:画面中没有真实建筑、真实地名或真实品牌。参考照片只用于确定氛围、密度和细节程度,不会被当作照抄的资产。
制作流水线
流程从稳定的工作环境开始,到最后合成多组画面结束。顺序很重要,因为每一步都应尽量在成本最低的表示形式上发现并修正错误。
flowchart LR
A[统一规则与参考照片] --> B[Blender 灰色体块]
B --> C[十一个模块智能体]
C --> D[平视与俯视灰色审查]
D --> E[FBX 资产与布局文件]
E --> F[Unreal 按材质名匹配]
F --> G[确认一张光照测试图]
G --> H[Movie Render Queue 分镜渲染]
H --> I[灰色、平光与最终光照三套画面]
I --> J[按景深过渡并完成剪辑]
指南反复强调同一个原则:只有在低成本版本确认正确后,才进入昂贵阶段。街道位置错了,在灰色体块里挪动只需要一分钟;摄影机路径错了,等到多卡渲染结束才发现就会浪费大量时间。材质不匹配时,同机位对比也比看完一段成片更容易定位。
第一步:提前租好机器
指南使用一台同时安装 Blender 和 Unreal Engine 的云端工作站,并通过 Higgsfield MCP 连接到 Claude。第一个请求要求 Claude 列出 GPU 的显存和每小时价格,推荐支持硬件光线追踪的型号,并在获得用户确认前不得租用。确认之后,智能体启动一台云电脑,在同一磁盘安装 Blender,在浏览器中打开桌面,报告两个软件的版本,启用硬件光线追踪,并通过 Movie Render Queue 渲染空场景的一张测试图。
机器从准备完成时开始按秒计费。十分钟没有任务运行时,电脑会自动停止。自动停机适合清理空闲资源,但并不意味着提前启动没有成本:着色器编译期间或人工查看体块期间,显卡仍可能一直处于计费状态。
工作室使用了两类具备硬件光线追踪能力的显卡:
| 显卡 | 显存 | 标价 | 实际角色 |
|---|---|---|---|
| RTX PRO 6000 | 96 GB | 每小时 98 积分 | 最终渲染主力;无人机镜头和日落镜头的计时示例来自这款卡。 |
| L40S | 48 GB | 每小时 71 积分 | 更便宜的光追卡,但同一镜头输出的画面略暗。 |
这次没有选择 H100、H200 或 B200,并不是它们性能不足,而是当前任务的决策依据是 Lumen 所需的硬件光线追踪,而不是训练吞吐或单纯的大显存。
启动成本不能忽略
在全新的云电脑上第一次启动 Unreal Engine,需要 15 到 113 分钟,其中大部分时间用于编译着色器。后续重启约需一分钟,重新加载关卡约需 18 秒。由此得到的第一条工程经验是:应在渲染需求出现之前准备工作站,而不是等剪辑完成后再临时开机。若生成流水线把环境启动当成瞬时操作,就会同时误判延迟和费用。
第二步:先写规则,再摆第一栋建筑
十一个智能体不可能各自发明一套坐标系。因此第一个共享产物是一份简短规则文件:
- 单位为米,x 轴向东,y 轴向北,z 轴向上;原点位于摄影机近景区域的中心。
- 城镇的每个部分都是一个 Python 模块,其构建函数每次运行都必须得到相同结果。
- 重复物体只制作一个资产并多次放置,禁止复制底层几何体。
- 每个表面都有稳定材质名,所有模块必须一致,之后由 Unreal Engine 按名称匹配。
- 设置三档细节:平视近景、约 15 米观看距离、约 300 米远景。
- 所有招牌、品牌和广告必须虚构;文字只由一个模块生成,避免命名和字体风格漂移。
第二个请求只搭建体块:地面、街道和每栋建筑都使用真实尺度的简单形状。随后生成俯视图和平视灰色渲染,在获得确认后才允许继续增加细节。这是第一道视觉验证关卡,它用极低成本检查城镇的空间语法。
这种方法很像一个带有明确风格和坐标契约的场景图。缺少契约时,每个智能体都能局部自洽,但合并后会相互冲突:道路朝向不一致、重复物体原点不同、材质命名分裂,或者把细节预算花在摄影机根本看不到的表面。
第三步:每个模块交给一个智能体
整座城镇太大,单个智能体很难在一次任务中保持完整上下文;一个健身房、一排商店、一个码头或一段天际线则足够具体。指南把街区拆分为地面与沙地、植物、街道、海滩与步道、地标、商店、酒店、码头、天际线和标识等模块,每个模块配一份简短任务说明和独立智能体。
每个智能体只能修改自己的模块文件。完成后必须渲染平视和俯视灰色预览,亲自检查图片,修正明显问题,并报告四件事:
- 自己构建了什么。
- 模块包含多少三角形。
- 哪些部分仍然薄弱。
- 哪些内容尚未检查。
最后两点尤其重要。只报告“已完成”的智能体,无法告诉总控还有哪些不确定性;“咖啡馆北侧内部没有检查”这样的说明,比笼统宣称完成更有价值。
细节取决于屏幕占比。靠近摄影机的物体需要倒角,不能保留刀锋般锐利的直角;远景物体则可以使用简单形状。智能体还要加入“被使用过”的痕迹:磨损、小道具、沙滩脚印、留在桌上的物品。否则,即使几何完全正确,城镇仍会像未经生活的素材堆场。
完整街区经历了五轮这类审查。第四轮结束时已经有 2,538 个资产和 60,386 次放置。第一帧 Unreal 画面又暴露出一个问题:一些近景道具仍经不起手臂距离内的观看,于是所有模块再次返工补细节。这条经验很具体:Blender 预览能发现构图和摆放问题,第一次引擎渲染则会暴露灰色几何无法显示的材质与表面问题。
第四步:只把网格、名称和布局搬到 Unreal
Unreal Engine 中不建模。Blender 继续作为几何和放置数据的来源,Unreal 则作为渲染环境。两者的交换面被刻意收窄:
- 把每个 Blender 资产连同碰撞体导出为独立 FBX。
- 写一份布局文件,记录每次放置的米制位置、旋转和缩放。
- 将实体资产导入 Unreal,并启用 Nanite。
- 使用 Unreal Editor Python 脚本读取布局文件,把每个资产按实例摆放。
- 不导入 Blender 材质;为每个稳定材质名创建同名 Unreal 材质实例。
- 使用 Poly Haven 的 4K 物理渲染贴图,许可为 CC0,并记录来源与许可证清单。
- 在 Unreal 添加太阳、天空、云、薄雾和水面,启用硬件光线追踪与硬件 Lumen。
材质名称是核心接口。Blender 与 Unreal 的着色器表示方式不同,强行做字面级材质迁移会产生庞大且脆弱的故障面。这里只让几何和命名跨越边界,渲染相关材质在 Unreal 侧重构。每张贴图都有许可证记录,资产管线因此可审计,而不是一袋无法追踪来源的纹理。
指南还要求在信任导入结果前做坐标测试:放置一个一米测试立方体,确认它在 Unreal 中为 100 单位且朝向一致;随后在 Blender 和 Unreal 中渲染同一机位并左右对比。这样可以把尺度或手性问题与光照问题分开。
第五步:先确认一张静帧,再渲染镜头
渲染计划包含六个镜头,成片为 40 秒、每秒 30 帧、1920×1080。对每个镜头,摄影机都要表示为逐帧的位置、旋转和焦距。正式渲染前,还要在 Blender 中检查整条路径是否会穿进任何表面。
最终画面由 Movie Render Queue 与硬件光追 Lumen 生成,关键设置如下:
- 不使用常规抗锯齿方案;每个最终帧由 64 次采样累加而成。
- 每次采样先以 3840×2160 渲染,再输出为 1920×1080。
- 使用 180 度快门产生运动模糊。
- 渲染第一帧前先预热引擎。
- 关闭纹理流送,全场景使用最高细节等级。
- 手动曝光,每帧作为完整图像渲染,不分块。
- 输出 PNG 序列,再合成为视频文件。
完整镜头开始前,先渲染六帧测试。报告中这六帧耗时 54.5 秒。工作室还为六帧日间画面制作了三套光照变体,再从中选择一套。这一步值得投入:静帧能显示轮廓是否清楚、材质是否薄弱、天空是否过曝,以及只在纸面上合理的运镜是否真的成立。
拆分镜头,但保留重叠
390 帧的无人机镜头被拆成三部分,分别交给三台 RTX PRO 6000。相邻部分保留 八帧重叠,以便剪辑时隐藏潜在的不连续。三个片段分别耗时 395.6、766.4 和 868.9 秒,折合每帧约 2.9 到 6.1 秒。
日落镜头提供了另一组对照:180 帧在一台 RTX PRO 6000 上耗时 1,000 到 1,019 秒;在 L40S 上,同一镜头的每帧耗时 8.2 到 8.6 秒。公开发布帖把 RTX PRO 6000 估为每帧约五秒,把 L40S 估为每帧约九秒。这个数量级适合做预算起点,但不能直接当作其他场景的保证。
| 任务 | 帧数或时长 | 硬件 | 实测结果 |
|---|---|---|---|
| Blender 灰色预览 | 笔记本上的完整剪辑 | 笔记本电脑 | 每帧 1.7 到 3 秒 |
| 六帧光照测试 | 6 帧 | 租用的光追显卡 | 总计 54.5 秒 |
| 无人机镜头 A 段 | 390 帧镜头三段之一 | RTX PRO 6000 | 395.6 秒 |
| 无人机镜头 B 段 | 390 帧镜头三段之一 | RTX PRO 6000 | 766.4 秒 |
| 无人机镜头 C 段 | 390 帧镜头三段之一 | RTX PRO 6000 | 868.9 秒 |
| 日落镜头 | 180 帧 | RTX PRO 6000 | 1,000 到 1,019 秒 |
| 日落镜头对照 | 每帧 | L40S | 每帧 8.2 到 8.6 秒 |
无人机镜头的第一段明显快于后两段,因为每帧成本取决于画面内可见的内容、场景覆盖范围,以及引擎内部计时与帧序列的对应关系。用一个全片平均值会掩盖这种波动。
同一镜头只用一种显卡
L40S 输出的帧比 RTX PRO 6000 略暗。单独看可能难以察觉,但如果一个连续镜头交替使用两种卡,亮度差会在运镜中途变得可见。不同工作负载可以混用硬件,但同一镜头应坚持使用一种卡,除非色差已经测量并校正。
不能只看文件是否生成
有一批渲染出现了普通文件检查无法发现的错误:七个最终镜头里有四个带有深色矩形。图片都能打开,这些伪影也不会闪烁。团队重新渲染,此后只有两次运行产生一致画面时才确认结果,并逐帧检查深色矩形。
这说明视觉输出本身也需要测试证据。进程返回零、帧数齐全、视频可播放都是必要检查,但并不能证明像素正确。第二次渲染相当于差分测试;深色矩形则是一类必须明确搜索的已知故障。
已完成片段必须立即从租用机器复制回来。云电脑会按计划停止,没有下载的帧也会一起消失。
第六步:把灰色画面变成叙事转场
片头并不是“最终渲染里插入几帧未完成画面”。每个镜头都要输出三种版本:
- Blender 实体视图中的灰色几何,摄影机和帧号必须与 Unreal 完全一致。
- Unreal 中平光照射的贴图版本。
- Unreal 中最终光追光照版本。
灰色版本还加入建造叠加层:建筑和道具按顺序出现,正在放置的物体带轮廓,旁边显示一个带名称的小指示线。近处物体更亮,远处物体更暗,使没有贴图的画面仍保留空间深度。
第一版剪辑从灰色直接硬切到最终渲染,看起来比较粗糙。最终方案让变化按场景深度像波一样推进:近处表面先出现贴图,再进入最终光照,远处表面随后完成变化。在无人机镜头中,贴图约在四秒出现,日间光照约在六秒到位。
这种效果依赖精确的机位对应。灰色画面与渲染画面必须在像素级对齐,转场才能成立。深度波可以掩盖很小的数值误差,却无法弥补不同的路径、视场角或快门。
灰色帧在笔记本上用 Blender 生成,每帧耗时 1.7 到 3 秒,因此这一步没有占用租用显卡。最后影片以每秒 30 帧合成为 MP4,下载并播放检查后,才停止所有机器。
哪里出了问题,检查为什么重要
这份指南之所以有参考价值,是因为它没有把过程包装成一次顺利的“提示词到成片”,而是记录了许多失败与险情:
- 首次启动 Unreal 占用了大量时间。着色器编译耗时 15 到 113 分钟,机器准备必须发生在渲染窗口之前。
- 灰色预览不能保证渲染就绪。四轮模块修改后,导入 Unreal 的近景道具仍不合格,所有模块再次返工。
- 同一镜头内每帧成本波动很大。无人机镜头的三个片段使用同类显卡,耗时却明显不同。
- 硬件差异会影响颜色。RTX PRO 6000 与 L40S 混用后,同一镜头出现轻微亮度差。
- 损坏可能只体现在画面上。七个最终镜头中有四个出现深色矩形,但文件本身仍然有效。
- 云机器存储不是长期存储。电脑停止前必须把完成片段下载到本地。
最终形成的是比“智能体是否结束任务”更完整的质量门:几何是否正确放置,材质名是否匹配,摄影机是否穿模,两个引擎的投影是否对齐,两次渲染是否一致,所有帧是否可打开,最终视频是否可播放。每种检查对应不同故障。
可迁移的架构
忽略影片题材,这套流程也可以抽象成智能体生成仿真内容的结构:
| 模式 | 项目中的实现 | 更广的用途 |
|---|---|---|
| 确定性构建器 | 每个 Blender 模块的构建函数每次运行都返回相同结果。 | 重新生成场景、审查差异并复现布局,不依赖隐藏的交互式编辑状态。 |
| 资产与布局分离 | FBX 资产加一份记录位置、旋转和缩放的布局文件。 | 不重写几何也能改场景,并独立验证或版本化每个放置。 |
| 命名接口 | 材质名保持稳定,不直接导入 Blender 材质。 | 让不同工具交换语义标签,而不是交换各工具专用的内部对象。 |
| 渐进视觉关卡 | 灰色体块、模块预览、同机位对比、测试帧、重复渲染。 | 在支付完整仿真或渲染成本前,用最低成本表示发现错误。 |
| 显式重叠 | 相邻渲染片段保留八帧重叠。 | 让分布式执行在时间、状态或颜色存在差异时仍能拼接。 |
| 差分验证 | 两次渲染结果必须一致,并搜索深色矩形。 | 发现文件检查与进程检查漏掉的静默视觉损坏。 |
这些思路可以自然迁移到机器人仿真。程序化世界构建器可以把可复用物体资产与回合布局分开,强制统一坐标,把语义材质类别映射到物理引擎,在昂贵照片级画面之前生成低成本的占据图或灰色视图,并对每个生成回合执行双重验证。只要共享契约一致,智能体就可以并行处理建筑、道具、地形和摄影机路径。
它没有证明什么
这个项目展示了规模、确定性场景构建和一套实用的视觉渲染流程,但并没有证明这座城镇可用于机器人训练。漂亮场景不会自动成为有效仿真:物理材质、摩擦、质量、碰撞精度、传感器噪声、语义标注、动态角色和任务分布都仍是独立问题。
“74 分钟”也不意味着类似城镇能在 74 分钟内完全无人工完成。详细指南记录了五轮模块审查、三天租用机器、最长超过一小时的首次启动,以及人工目检。更准确、也更有价值的结论是:只要接口和审查关卡设计得足够严谨,多智能体流程确实能生产大型、确定性的场景。
对物理人工智能而言,最值得关注的方向不是“一句提示词生成照片级城市”,而是程序化世界生成与严格验证的结合:可复用资产、可检查布局、低成本预览、稳定的语义接口,以及专门寻找“看起来正确、直到检查像素或运行仿真才暴露”的故障。
资料来源
原文来源:Higgsfield AI / X + Higgsfield Bloghttps://x.com/higgsfield_ai/status/2123905539063336984