
IT之家 4 月 3 日音书,科技媒体 9to5Mac 昨日(4 月 2 日)发布博文,报谈称征询团队归拢香港大学发布最新论文,提倡名为 LGTM 的全新渲染框架。
IT之家征引博文先容,该框架全称为“Less Gaussians, Texture More”,中枢冲破在于解耦 3D 场景的几何结构与名义纹理,让系统在保抓几何神志简便的同期,通过重复纹理层已毕 4K 级超高清画质。
现时主流的“前馈 3D 高斯泼溅”(Feed-forward 3D Gaussian Splatting)技能,能欺诈 AI 将 2D 图片快速鼎新为可多角度不雅看的 3D 场景,但在处理高鉴别率画面时,跟着像素加多,算力需求呈指数级暴涨,导致斥地难以负荷。

LGTM 恰是为贬责这一痛点而生。征询团队吸收两步走政策:当先让模子从低鉴别率图像中学习场景结构,确保几何框架在 2K 或 4K 渲染下不出现罅隙;随后引入第二个鸠集专诚认真外不雅细节,将高鉴别率纹理精确映射到几何结构上。这种单干幸免了全链路高算力破费。

关于平素用户而言,这项技能主要能提高苹果 Vision Pro 体验。该头显双眼屏幕共计领有约 2300 万像素,单眼像素量跳跃 4K 电视。
现存渲染技能在如斯高鉴别率下极易遇到性能瓶颈,导致画面卡顿或肮脏。LGTM 有望贬责这一算力坚苦,带来更流通的千里浸式体验。

本体演示败露,接入 LGTM 框架后,生成的 3D 场景在纹理细节和笔墨理解度上均有权贵提高,画面遵循已超越接近信得过原图。这意味着往常用户在使用头显检讨凭空环境或进行透视体验后,将取得更传神、更理解的视觉遵循。
参考