当你可以实时编辑你所看到的东西时 为什么要看现实?

Android社区 收藏文章

最终的结果很难说是完美的(CGI模型看起来像是从3D Movie Maker中借来的),但这个概念是引人注目的。不难想象,在未来的几十年里,这样的应用会变得很普遍。

这项工作背后的团队表示,尽管他们工作中的个别元素之前已经完成,但复合系统还是非常新颖的。TansforMR可以在普通的智能手机和平板电脑上运行,但需要一个4G连接来将数据发送到云端。图像经过处理后,物体不只是被掩盖,就像Snapchat的AR镜头或苹果的Memoji一样,而是完全被编辑掉。物体被检测、分割,然后被"涂抹"(用人工智能生成的背景取代),并以CGI模型代替原始模型。显然这一系统有很多地方需要改进。在低质量的绘画中,帧率只有15fps;滞后时间为50至100毫秒;CGI替换的质量也不是最好的。但是,该系统背后的团队说,这些方面相对容易改进。

保时捷的机器学习研究员穆罕默德-卡里(Mohamed Kari)表示,主要的限制来自于大型图像的计算量非常大,所以对于绘画,目前只能用非常小的图像来做,在512 x 512的图像上操作。但带宽[使用]是可以忽略不计的。这意味着如果能做FaceTime,你就能做TransforMR。

Screen_Shot_2021_10_13_at_10.08.18_AM.webp

Kari说,该系统的关键要素之一是它对姿势检测的使用。这意味着,例如,当系统检测到一个人时,它会识别出身体的18个独立关节。这意味着CGI替换可以实时固定在目标的运动上。看看TransforMR的操作片段,不难想象这种软件被整合到AR眼镜中。用户可以为他们的一天选择一个"主题",用科幻的替代品或来自大自然的物品来取代汽车、建筑和人。但是,这将涉及一个巨大的硬件挑战。目前的增强现实眼镜只能在镜片上投射出低分辨率、半透明的覆盖物。现在,我们还没有技术来"编辑"用户在这种硬件上看到的东西。(尽管这可以通过"穿透式"VR系统来实现,在该系统中,第一人称摄像机将实时视频传输到完全遮挡住佩戴者视线的屏幕上。)

"我们在屏幕上重现完整的图像,所以我们可以删除任何我们想删除的东西,但对于增强现实眼镜来说,删除物体是困难的,因为它增加了光强度,以Hololens为例,你是透过玻璃看的,所以去除东西更困难。这个问题有待于研究。"

但为什么保时捷首先要调查这种技术呢?据该公司的人工智能架构师之一Tobias Grosse-Puppendahl说,这一切都是为了改善乘客和司机的体验。未来版本的TransforMR软件可以用来在人们被困在交通中时为他们提供娱乐。"我们的主要问题是,我们如何能够以一种有趣和娱乐的方式来修改现实,以便作出反应?这就是我们想法的起源"。

保时捷的其他研究项目也遵循类似的主题。例如,该公司还建立了一个名为SoundRide的原型系统,它使用汽车的机器视觉来检测风景的变化并提示适当的音乐。"也许,例如,你正开车穿过阿尔卑斯山,行驶在一条美丽的路线上,突然你有一个美妙的景色,也许音乐就会改变,我们正在思考如何通过技术使车内的体验更加有趣和美丽"。而这意味着对人们本来会看到和听到的东西进行修补。"

相关标签
 相关文章
王慧文病休53天,旗下OneFlow团队重新创业 7月以前  |  1次阅读
智己CEO现场怒怼!不满LS6和小鹏G6当对手 7月以前  |  1次阅读
董明珠回应落榜世界500强:总比爆雷的世界500强好 7月以前  |  1次阅读
阿里云上线 AI 视频生成工具 Live Portait:可一键让照片开口说话 7月以前  |  78次阅读
妙鸭相机将并入神力视界,阿里大文娱CTO郑勇:不是“搬家”是“回家” 7月以前  |  85次阅读
特斯拉上海超级工厂约40秒下线一台车,零部件本土化率超95% 7月以前  |  69次阅读
宁德时代发布神行超充电池,可实现充电10分钟行驶800里 7月以前  |  71次阅读
中科院博士被骗到缅甸已一年!女友:他负债几万,家里条件一般,以为去当翻译 7月以前  |  85次阅读
小鹏汽车否认收购玛莎拉蒂传闻:系谣言 7月以前  |  63次阅读
联想二季度净利润猛降66%,股价应声跳水 7月以前  |  80次阅读
业内人士:视觉中国对不同侵权主体采用差异化策略,老客由销售沟通新客发律师函 7月以前  |  70次阅读
恒大集团在美国申请破产保护 7月以前  |  56次阅读
劳斯莱斯首款纯电轿跑将在北美亮相 7月以前  |  89次阅读
realme印度前CEO确认加盟荣耀,即将推出手机新品 7月以前  |  88次阅读
OpenAI正在测试内容审核系统,一天可以完成六个月的工作 7月以前  |  80次阅读
谷歌百人“复仇者联盟”出击,将发对标GPT-4的大模型,26位研发主管名单流出 7月以前  |  77次阅读
OpenAI收购数字产品公司Global Illumination,为创立以来首笔公开收购 7月以前  |  80次阅读
海口规定:电动汽车充电服务费不得超过0.65元每度 7月以前  |  80次阅读
波音任命柳青为波音中国总裁 7月以前  |  88次阅读
业内人士谈图片复杂代理链:图片代理商越多摄影师分成越少 7月以前  |  67次阅读

扫一扫

在手机上阅读