查看原文
其他

谷歌3D全息电话亭,颠覆现有视频通话!宛如真人面对面

李弯弯 电子发烧友网 2022-12-29
电子发烧友网报道(文/李弯弯)据报道,在近日召开的Google Cloud Next 2022上,谷歌CEO桑达尔·皮查伊介绍了在全息视频聊天项目(Project Starline)上取得的一些进展。
Project Starline是谷歌内部高度保密的实验项目之一,根据谷歌的研究院透露,项目小组在6年前就已经开始相关的技术研究。直到去年5月,桑达尔·皮查伊首次在Google I/O大会上向公众发布,在此之后又沉寂了几乎一整年。

最新进展和体验效果

在近日的Google Cloud Next 2022上,桑达尔·皮查伊表示,Starline 项目已经在谷歌内部进行了数千小时的测试,并在其美国办公室每天使用,而100多个横跨媒体、医疗和零售的企业合作伙伴已经收到了演示。
谷歌还宣布Project Starline正在进入下一个测试阶段,计划是在选定的合作伙伴办公室部署设备进行定期测试,谷歌提到的合作伙伴包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health,这些设备预计将在今年年底前完成安装,开启初试。
谷歌为什么花费大量时间开展Project Starline呢?根据项目组给出的答案,就是让人在通话的时候,感觉你是和一个真正的人在一起。在如今的社会中,人们通常会相隔千里,尤其是近两年疫情频繁发生,人们不得不通过Zoom等远程会议软件,进行联系、沟通工作。
然而当下视频会议给人的感觉并不好,根据微软一份关于视频会议对工作效率的影响的报告,人们在视频会议中会比显示沟通更容易分析,这是人们在面对高压力的视频会议下的自然应对反应。而谷歌认为,能提供真人对话体验的Project Starline,似乎能够消除这种压力感。
谷歌的研究员做了对比实验,他们发现相比传统视频沟通,使用Project Starline沟通的参会者会有更多眼神接触和肢体语言,在沟通结束后能够回忆的内容也要多出28%。
Project Starline给人的真实体验效果到底如何呢?在测试阶段,Project Starline邀请了包括The Verge在内的媒体和合作伙伴进行了亲身体验。The Verge编辑Jay Peters在体验后感叹到,这是他迄今为止体验过的最真实的一次虚拟现实交互,感觉像是科幻小说照进现实。
Jay Peters表示,Project Starline就像一块具有魔法的窗户,将两间房间连接在一起,坐在他对面的谷歌研究员看起来和真人的高度、长相几乎一致,当他递过来一个苹果时,他甚至能够通过画面上的阴影感受到近似真实世界的空间距离感。
这就像是一场发生在同一张桌子上的两个人,在面对面进行交流。Project Starline在标准办公环境下就可以运行,而且使用者无需佩戴任何设备。

硬件构成和工作原理

Project Starline看上去像是一个精致的梳妆台,人坐下来之后,前面是一块65寸的大屏幕。据介绍,这是一块8K/60Hz的3D光场显示器。谷歌的研究员称,这块显示器单眼可观测的像素密度是Oculus Quest等VR设备的两倍,可以有更精细的立体显示效果。

图源:谷歌
Project Starline的工作原理是,通过传感器和摄像头,从不同角度捕捉人像,再利用深度学习进行实时压缩,将这些数据传输到对面,在显示屏上重建实时3D模型。再配合高级的声音系统,构建了一个 3D全息电话亭。
从分布来看,光场显示器想要显示出好的立体效果,需要采集物体的深度信息,谷歌的研究员,在屏幕的上方和底部都安装了多个双目立体相机和红外相机,这样能够结合多角度的深度信息,还原出人物的空间距离感。
在屏幕的两侧和上方还安装了多个单色跟踪摄像头,用于对人物两部五官的实时3D定位,这样当人物移动的时候,也能够精准地还原人物模型。

图源:Starline的硬件构成图例
这是在视觉方面,为了营造面对面沟通交流的逼真感,谷歌在听觉方面也下了很多功夫。
在输入端,麦克风可以配合脸部追踪的数据形成具有指向性的动态波束,以实现降噪和抗干扰。在输出端,追踪系统能定位观众的耳朵,模拟出对话的空间方位感,让声音听起来就像是屏幕中人像的嘴巴说出来的一样。

是否会成为下一代通信手段

随着信息技术的发展,人类的通讯手段也在不断升级。1844年5月24日,美国萨缪尔·莫尔斯在华盛顿国会大厦,向40英里以外的巴尔的摩,发出了人类历史上第一份长途电报。电文内容是《圣经·旧约申命记》中的一句话:"What hath God wrought!"。
这份电报为人类开启了信息时代的大门。此后,电报技术迅速在欧美大陆普及,并逐渐传递到世界各个角落。然而电报作为早期的通讯手段,使用起来并不方便。
1875年,美国发明家亚历山大·贝尔和他的助手发明了第一台电话诞生。不同于电报,它是一种通过直接传送人类声音的通讯方式。1876年2月14日,贝尔在美国专利局申请电话专利。1878年,贝尔成立了电话公司,并实现了波士顿和纽约之间相距300公里的长途电话试验。从此,电话很快在北美各大城市盛行起来,并且迅速风靡全球。
1973年,马丁·库帕发明的第一部手机诞生。不过一直到1985年,才诞生出一台现代意义上的、真正可以移动的电话。1987年,手机进入中国。
从早期的电报文,电话,到手机,人类通讯传递的信息内容,从文字,到声音,到视频影像,信息传递的及时性和内容都在不断提高。那么未来人类通信手段如何才能更先进呢?除了信息传递的及时性外,内容可不可以更丰富。
比如Project Starline所实现的3D影像,如同真人面对面沟通。Project Starline可能就是人类下一代通信应该有的样子。
不过从目前的情况来看,Project Starline距离实际应用,还有诸多问题。
Wired的编辑Lauren Goode在参与测试体验过后表示,当人物移动幅度过大时,原本立体的图像就会短暂变回平面,体验并不完美。谷歌的研究员也提到,在处理形状复杂,比如蓬松的毛发、光学眼镜等,或者运动物体的时候,时常有错误的伪影出现。
另外,谷歌开展Project Starline的研究,目标用户是B端企业,可以用于人数众多的集体会议。然而因为3D全息视频通话的时候,计算机时刻需要进行大量计算,谷歌的这台设备目前仅支持一对一聊天,这在未来的应用场景上就会受限。
更为重要的是,装配一套Project Starline,成本相当高,光场显示器和各种光学摄像头都非常昂贵,这使得Project Starline短期内只能停留在实验室,而进入消费者市场的可能性很小。Project Starline的产品管理总监Andrew Nartker称,目前它还很难称得上是一件产品。
整体而言,Project Starline是一个全新技术的探索,谷歌也会继续对其进行优化改进。未来,它能否成为一个真正的产品还未可知。不过无论怎样,任何一项新技术的探索都值得被关注。

声明:本文由电子发烧友原创,转载请注明以上来源。如需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱huangjingjing@elecfans.com。


更多热点文章阅读

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存