通晓物体的物理属性，对机器东谈主践诺操作非常进军，然则应该何如终了呢？
光轮智能与清华 AIR、同济大学等机构麇集建议了一种基于 3D 高斯溅射的才调——
PUGS（Zero-shot Physical Understandingwith Gaussian Splatting）
无需闇练、零样本，它就简略从多视角图像中重建物体，并对各式指定的物理属性进行密集重建。
该论文已被 ICRA 2025 吸收。
在非结构化环境中，准确通晓物体的物理属性不仅能匡助机器东谈主更好地筹算持取战略，还能幸免因失实臆测导致的操作失败（比如下手太重导致物体损坏）。
现存的才调如 NeRF2Physics 诈欺 NeRF 来对物体进行重建，并联接视觉谈话模子（VLM）与大谈话模子（LLM）进行物理属性计算。
然则，此类才调存在计算效力碎屑化、物理属性不一语气不对理的问题。
商酌团队通过 3D 高斯溅射算作重建表征，并引入区域感知特征来增强区域区别的能力。
在此基础上，联接基于 VLM 的物理属性计算和基于特征的属性传播，不错达到更好的物体重建和愈加合理的物理属性计算效力。
为了保安闲建效力的几何一致性，商酌团队还引入了几何感知的正则化损成仇寥落赔本，确保高斯散播与物体的本色空间方式散播一致。
高斯溅射 + 视觉大模子，通晓物理属性
PUGS 框架分为三个阶段——方式与区域感知的 3DGS 重建、基于视觉谈话模子（VLM）的物理属性计算，以及基于区域特征的属性传播。
关于物体级别的物理属性（举例质料），则还包含高斯体积积分模块以得到举座的物理属性效力。
PUGS 以物体的多视角图像算作输入，同期允许给定需要计算的物体属性（如密度、硬度悉数、杨氏模量等），最终输出则是物体的重建效力，其中包含了物体的 RGB 信息，以及随便位置的物理属性。
方式与区域感知的 3DGS 重建
PUGS 领先使用 3DGS 来从多视角 RGB 图像中重建物体。
然则原始的 3DGS 重建时常会出现 Floater，这导致重建效力的细节发达欠安，况且在几何的准确性上存在问题。
商酌团队参考现存才调，引入几何感知的正则化损成仇寥落赔本，赔本项如下（如披露不齐全，请傍边滑动）：
其中，是图像中的像素聚会，是归一化到 0 到 1 的图像梯度；
是基于像素点的局部平面诡计得到的法向量，是基于 PGSR 建议的无偏深度渲染诡计得到的法向量，是每个高斯的不透明度。
这里是几何感知的正则化赔本，是寥落赔本。
前者通过两种不同方式来渲染法线图，并饱读舞输出效力尽可能一致，从而确保高斯散播与物体的本色空间方式一致；
此后者则饱读舞每个高斯的不透明度围聚 0 或 1，减少中间效力的存在。
引入几何感知的正则赔本（Geometry-Aware Regularization Loss, GARL）后，不错有用缓解 Floater 问题，增强几何的准确性。
此外，PUGS 还引入了区域感知的特征对比赔本，通过对比学习闇练高斯散播的特征，使其简略区别物体的不同区域。
在执行场景中，物体名义可能存在不同的材料，如金属、木料、塑料等，而这些材料在物体上时常发达为不同的区域。
对区域的区别有助于提高物理属性计算的准确性。
商酌团队领先向每个 Gaussian 上引入一个新的可学习特征，并使用 -blending 来渲染出不同视角下的特征图，然后使用 SAM 对多视角图像进行分割，以区别物体的不同区域。
之后，诈欺对比学习来闇练该特征。赔本函数如下：
其中，线路两个像素是否属于归拢个区域，是两个像素点在特征空间中的余弦雷同性。
直不雅来说，如若两个像素点属于归拢个区域，那么它们在特征空间中的余弦雷同性应该越大越好，反之则应该越小越好。
△几何感知赔本与方式感知特征闇练的线路图基于 VLM 的物理属性计算
在重建阶段完成后，PUGS 诈欺视觉谈话模子（VLM）进行零样本物理属性计算。
NeRF2Physics 给与两阶段的才调来进行物理属性计算。
它领先通过 VLM 来从物体的图像计算物体的文本状貌，然后将该文本状貌输入给 LLM 来计算材质和物理属性。
与 NeRF2Physics 不同，PUGS 凯旋使用 VLM 对多视角图像中的某一张进行材质和物理属性计算，幸免了图像到文本调养经过中的信息丢失。
该阶段 VLM 输出的效力包括物体可能的材质，以及这些材质的物理属性领域等。
这些属性在后续剖判过 CLIP 特征传播到重建的 3DGS 中。
基于区域特征的属性传播
为了将计算的物理属性传播到重建效力中，PUGS 使用 CLIP 特征算作基础进行映射，并使用区域感知特征算作依据进行属性传播。
领先商酌团队从 3DGS 中就地采样一些高斯点算作 source point，并诡计这些 source point 投影到多视角图像上得到的 patch 对应的 CLIP 特征。
这些特征与上一阶段得到的候选材质进行雷同性的诡计，以分拨不同的材质到对应的 source point 上。诡计方式如下：
其中，是 source point 的物理属性值，是 source point 的 CLIP 特征与候选材质的 CLIP 特征之间的余弦雷同性，是一个温度参数。
△基于方式感知特征的物理属性传播
为了完成密集的物理属性计算，商酌团队使用区域特征算作依据进行属性传播。诡计方式如下：
其中，和分别是高斯和的区域感知特征。
基于区域感知特征的属性传播方式使得物理属性计算效力愈加均匀和精准。
高斯体积积分
通过上头三个阶段，PUGS 依然不错完成物体的重建以及密集的物理属性计算，即在物体名义的每个点齐简略得到相应的物理属性。
而关于物体级别的物理属性（如质料），PUGS 建议了基于高斯体积积分的模块来进行诡计。
以物体质料的计算为例，通过上述阶段，PUGS 不错得到每个 3D 高斯点对应的物理属性，即密度值。
之后每个 3D 高斯被视为一个 3D 椭球体，通过其不透明度进行加权，同期联接计算的密度值进行积存诡计，得到物体的初步体积计算。
这个初步体积计算效力是存在误差的，因为 3DGS 重建效力时常只会对物体的名义进行建模，而物体里面发达出虚浮。
为了进一步提高精度，PUGS 引入了" pure volume "成见，这代表一个物体忽略虚浮区域后的体积，一般会远小于时常好奇下物体的体积。
PUGS 通过提醒 VLM 来得回物体的 pure volume，并以此修正最终的计算效力。
计算准确性大幅进步
定性效力披露，NeRF2Physics 的材质计算发达出碎屑化等不对理的情况，PUGS 的计算效力则愈加准确和合理。
在物体的持取实验中，PUGS 准确计算了一个棉布包裹的杨氏模量（0.5+GPa），使机械臂的夹持器简略以顺应的启齿大小得手持取物体。
比拟之下，NeRF2Physics 失实地计算了该物体的杨氏模量（30+GPa），导致夹持器启齿接近物体宽度，最终持取失败。
商酌团队还在 ABO-500 数据集上进行了物体质料臆测的实验，并与 NeRF2Physics 进行了对比，效力 PUGS 在多个操办上齐发达更优。
此外，商酌团队还对上述 PUGS 的 Pipeline 中的不同模块进行消融实验，包括几何感知的正则化赔本、区域感知的特征闇练以及基于高斯体积积分模块，效力标明这些模块齐有助于进步定量效力。
其中不仅在 ABO-500 数据集上举座有所进步，况且在一些具有荒谬特征的物体上进步愈加彰着。
下表的 subset A 指的是 ABO-500 中一些具有较为概述结构的物体构成的子集，而 subset B 指的是那些具有多种区域和材质的物体子集。
这线路几何感知的正则化赔本对具有概述结构的物体进步较大，而区域感知模块则对多种材质和区域的区别愈加有用。
总之，PUGS 不仅简略准确重建物体的几何方式，还能保持物理属性计算的材质一致性，这关于本色的机器东谈主应器用有进军好奇。
同期该重建效力也简略算作一种佩戴相干物理属性的重建财富，用于其他相干的下流任务。
论文地址：
https://arxiv.org/pdf/2502.12231
技俩主页：
https://evernorif.github.io/PUGS/
GitHub：
https://github.com/EverNorif/PUGS
— 完 —
投稿请职责日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿内容
附上论文 / 技俩主页邻接，以及相干方式哦
咱们会（尽量）实时复兴你
一键柔柔 � � 点亮星标
科技前沿进展逐日见
一键三连「点赞」「转发」「注意心」
接待在议论区留住你的思法！开云kaiyun中国官方网站
XINWENZIXUN
— — 蒙城招聘开云kaiyun网 www.job0558.cn 搜企业称号检讨招聘信息，送达求职简历。蒙城东谈主的招聘网站，好职责、好生存。招聘信息未必差，以企业内容招聘为准。 — 诚聘 新媒体运营（文员） 面议 环境好 |年终奖 |交通便捷 |措置范例 |有提成 |升迁快 企业称号： 安徽省帮帮团聚集科技有限公司 张开剩余93% 公司地址： 亳州蒙城县城关街谈 职责条目： 岗亭职责： 1. 有关教授：具有一定年限的新媒体运营职责教授。 2. 平台老到度：熟练掌执各大新媒体平台（如微信、微博
深秋的歙县开云kaiyun官方网站，新安江碧波激荡，江畔山居掩映在绿树丛中。10月31日，“共护皖江碧水 同筑芳华绿梦”安徽后生助力绿色发展主题换取活动在这里举行。在这场芳华与绿色的对话中，五位来自不同领域的后生代表，用各自的本质故事机动解释着新时期安徽后生督察绿水青山的牵累与担当。 安徽省生态产物交往所绿色发展立异团队代表吴羡，共享了这群后生何如为绿水青山“订价”。作为寰宇首家生态产物交往所，该团队聚焦破解生态产物“交往难”问题，勇当“两山”转机的“前锋队”。他们不仅参与了安徽省林业碳票轨制
不雅点网讯：11月11日，惠州市政府办公室印发《惠州市户口迁入登记贬责规则》，即日起彭胀开云kaiyun官方网站，灵验期5年。 新规取消市辖区与县之间、45周岁以下、工作协议及参保时长等分辨化纵脱，明确在惠州参保并通顺居住半年以上的非户籍东谈主员即可请求落户，其共同生涯的妃耦、未成年子女、父母可同步随迁。 笔据公开贵寓整理，落户地址优先为自有正当产权住宅，无房者登记在职责单元或参保地居委会集体户。此外，大专及以上学历、低级以上职称或中级工以上手段东谈主才，凭东谈主社部门核实资历即可东谈主才入户
一款改进基金产物的落地，背后常常是数年的筹办打磨，测验冬眠的耐烦，也测验公募的成本干预意愿。 跟着行业走向闇练，基金公司的产物诱导逻辑正在升级，不再盲目追风口，“七年磨一剑”式的长周期储备频频出现，在立项时审慎评估自己承载力，守住智商范围和公募累赘。有的基金公司容身资源天资深耕上风品类；有的具备资源和智商，却为保护投资者利益，开脱范围吸金诱骗，主动排除部分热门产物的讲述。 多家基金公司暗意，产物改进意味着握续丰富不同投资作风、不同策略类型的权利基金供给，着力强化产物相反化定位与永恒投资智商。而
由北京市文联专揽、北京电影家协会经办的“银幕上的长征史诗——缅思中国工农赤军长征见效90周年优秀电影作品展”开云kaiyun，近日在北京市文联老舍戏院驱散。 本次影展为期四天，精选《四渡》《我的长征》《金沙江畔》《四渡赤水》《鏖战湘江》《万水千山》六部经典长征主题影片网络展映，以红色影像回望岁月峥嵘、致意伟大长征，灵活讲授长征精神的深厚内涵与期间价值。《四渡》看成开幕影片以影像归附四渡赤水搏斗，指导不雅众千里浸式感悟赤军将士不畏艰险的铁汉气概。 举止同时举办了电影大讲堂，北京电影学院西宾、导演
