看日报是个好习惯

【资料图】

为打造Eyesight，苹果开发首个弯曲透镜显示器

WWDC2023期间发布的Vision Pro，其亮点之一是配备了Eyesight功能，它允许外界看到使用者的眼睛。近日的一个小组讨论活动中，Vision Pro首席开发人员Mike Rockwell讨论了Eyesight背后所涉及到的相关技术。

这个想法最早来自于苹果的前首席设计师Jony Ive，不过其竞争对手Meta于2021年也曾展示了类似的方案。

Eyesight是通过一个前置显示器实现的，通过显示器可以实时看到头显用户的眼睛。如果使用传统2D显示器，那么用户的眼睛看起来就会不自然，这从侧面看起来尤为明显。

从Meta展示的方案可以看到，中间采用了传统2D显示器，右侧则采用了光栅3D显示器，两者看起来效果截然不同。

三种方案对比（图源：Meta）

Rockwell指出，Eyesight采用了双凸原理制成，它的显示器是曲面的，这意味着它会根据外界观看角度实时调整眼睛的图像。

“我们需要为每个从任何角度观看你的人创建相应的视图，所以我们创建了一个透镜显示器，这是有史以来第一个曲面的透镜显示器，我们实际上为每个看着你的人进行渲染。”

用户眼睛视图数据可能来自两方面：①头显内置四颗眼动追踪摄像头进行实时记录；②苹果的写实Avatar Persona。根据这些数据源，Vision Pro将会以最小的延迟创建眼睛区域的数字图像，然后将其扩散到不同视角进行渲染。

由于Eyesight复杂度很高，所以在Vision Pro的真机佩戴活动中，暂未有该功能的实际体验展示，估计苹果还在进行相应的技术调整。根据一些专业用户反馈，这项技术仍具有一定的局限性，如眼部区域的图像看起来十分浑浊并且分辨率很低。

图源：苹果

不过，苹果坚信围绕这项技术的努力是值得的，因为苹果正试图打破VR头戴设备虚拟与外界交流的藩篱。Rockwell指出，“你可以以自然的方式与进入房间的每个人进行互动，这真的很了不起。当人们看到它时，他们会认为该设备是透明的，而且它让你觉得并不会与人分开，这是我们所要做的事情的一个基本价值。”

除了显示用户眼睛外，Eyesight还有自动淡入或者淡出图像的能力，这具体取决于你全神贯注于沉浸式内容还是与附近的人进行互动。如果有人靠近，此人会自动出现在你的视图当中。

Epic Games联合奥克兰大学创立增强现实中心，推动AR/VR研究

Epic Games近日宣布与奥克兰大学、创意研究学院（CCS）和区域行业参与者联盟的合作伙伴达成合作，创立增强现实中心（Augmented Reality Center，简称ARC）。为学生提供与教师和行业专家一同参与AR/VR研发的机会。

图源：Epic Games

ARC的沉浸式实验室可以进行工业环境中注重日常应用的触觉手套、各种头显和3D投影等沉浸式技术。应用场景不限于与汽车制造商合作的沉浸式虚拟展厅、模拟真实工厂、改善员工培训提高装配技能等。ARC的另一个关键目标是创建该领域所需的教育项目，并协助行业伙伴在该领域开展可落地的项目。

该校工程和计算机科学学院院长Louay Chamra博士认为：“人们经常把STEM和工业设计看作是独立的领域，但当我们把这些学科协同起来，以提高效率和推动我们周围的工业发展时，我们可以创造更强大的机会。”

据悉参与ARC合作的教育界和工业界的企业包括：ABB Inc.、AM General、Continental、General Motors、Hirotec America、KUKA Robotics、Magna International、MAHLE Industries、Rave Computer、Siemens、US Military Ground Vehicle Systems以及Epic Games等。

Epic通过其Epic MegaGrants计划提供支持，该计划旨在鼓励来自各行各业的创作者，使用虚幻引擎开展了出色的项目，或者增强了3D图形社区的开源能力。

Meta Quest把使用年龄限制降低至10岁

此前，Meta头显在使用条款中规定，产品“应该限制13岁以下的儿童使用”，如今，Meta把这一限制放宽到了10岁。

为此，Meta针对这批10-12岁的用户出台了针对性的措施，这些儿童账户需交由家长设置特定的界面以及使用权限。

家长账户可控制某些应用程序的访问权限、头显使用时长等。此外，这一类账户推送的内容全都符合ESRB和IARC等机构的分级规定。

当用户年满13岁，其账户将变成青少年账户，孩子可以自行使用，但家长仍具有控制权。

当然，其VR社交平台Horizon Worlds的使用年龄依旧保持在13+。

图源：Meta

WhatsApp正在测试兼容Meta Quest平台

据报道，Meta 旗下的 WhatsApp Messenger 正在 Android 测试版中添加一项新功能，让用户可以用 Meta Quest 设备登录 WhatsApp。

根据 WABetaInfo 的说法，可以将现有的 WhatsApp 帐户链接到具有此功能的 Meta Quest 设备。目前，虽然有些用户通过强制安装的方式，在虚拟现实设备上使用 WhatsApp，但这并不是官方支持的方法。

图源：techlusive

如果这项新功能正式推出，用户就可以方便地在 Meta Quest 设备上本地使用 WhatsApp 了。报道还称，这项功能目前还在开发阶段，预计将在未来的更新中向 Beta 测试人员开放。此外，据报道，WhatsApp 还在向 iOS 和 Android 的部分 Beta 测试人员推送新的视频消息功能。

索尼公开《Tiger Blade》《Wanderer》重制版等4款全新PS VR2游戏

继5月25日的PlayStation Showcase发布会后，索尼又在官方博客公开了4款未来将登陆PS VR2的游戏新作。

▊Pixel Ripped 1995

开发商： ARVORE

发售时间： 即将发售

《Pixel Ripped》系列的第二作，向16位和32位游戏主机的时代致敬。主角是一位名叫David的11岁游戏高手，他将与电子英雄Dot一起踏上冒险之旅，在虚拟现实的世界中挑战各种怀旧感十足的经典游戏玩法。PS VR2版将抛开原版60帧的限制，以120帧带给玩家更丝滑的游戏体验。

▊The 7th Guest VR

开发商： Vertigo Games

发售时间： 2023年

《The 7th Guest》是上世纪90年代的经典超自然题材解谜游戏，讲述失踪已久的富豪Henry Stauf的大宅除了迎来6位访客，还有神秘的第7位访客，而毛骨悚然的故事也就此展开。

VR版将通过各种技术重新呈现，包括采用“幽灵立体影像捕捉技术”来呈现3D即时动作图形，使玩家在游戏中可以从多角度观察这些栩栩如生的角色；结合PS VR2版的眼动追踪技术，让玩家通过定睛观察房间里的特定线索和区域，深入研究谜题错综复杂的细节。

▊Tiger Blade

开发商： Ikimasho

发售时间： 2023年

本作旨在还原韩国新黑色动作电影里酷炫且刺激的战斗，主角是一名隶属于地方组织“老虎帮”的刺客，奉命前往敌对组织窃取神秘包裹，结果发现目标竟然是一只被所有帮派所觊觎的幼虎。

玩家能穿梭在氛围独到的场景中，从恶棍们的围追堵截中杀出一条血路。战斗时要刀枪并用，还有绳索可以勾住远处的物体，且游戏中的各种动作均会伴随着韩国原创嘻哈歌曲的节拍，刺激肾上腺素飙升。

▊Wanderer: The Fragments of Fate

开发商： Mighty Eyes

发售时间： 2024年

《Wanderer》（译名：漫游者）是2022年初推出的VR冒险游戏，凭穿越时空的故事和独特的互动玩法饱受赞誉。如今这款佳作将在次世代VR设备上迎来重新诠释。

《Wanderer: The Fragments of Fate》（译名：漫游者 命运碎片）的画面质感大幅提升，充满了令人叹为观止的视觉效果，玩家可以游泳、跳跃、蹲伏、攀爬、摆荡，以真正的冒险方式穿越时空，体验各种人物的不同故事。作为重制版，本作还将加入3个全新关卡，PS VR2版则会结合触觉反馈技术等硬件特性，进一步提升沉浸感。

苹果眼动追踪新专利曝光，可确定用户对空间3D物体的注视端点

近日，美国专利商标局正式授予苹果公司一项重要的眼动追踪专利，该专利涉及一种确定注视端点的方法和装置，特别是用于确定用户主体对空间3D物体的注视端点。

苹果公司的授权专利涵盖了一种用于确定主体注视端点的系统，该系统包括一个眼动追踪单元，适于确定主体的一只或多只眼睛的注视方向；一个头部追踪单元，适于确定包括头部和/或眼动追踪单元相对于参考坐标系的位置和方向；一个3D场景结构表示单元，该单元通过现实世界场景的物体在参考坐标系中的坐标来表示其3D位置和/或其3D结构，从而提供该场景的3D结构表示；计算单元，用于根据注视方向、眼动追踪器位置和3D场景结构表示来计算注视端点，和/或根据注视方向、眼动追踪器位置和3D场景结构表示来确定主体正在注视的3D场景中的物体。

通过使用3D表示法、眼动追踪器和头部追踪器，不仅可以确定2D平面上的注视点，还可以确定主体正在注视的物体和/或3D中的注视端点。

根据一个实施方案，该系统包括一个模块，用于计算场景的3D结构表示的物体上的注视端点，其中所述注视端点是根据注视方向与3D结构场景表示中的物体的交点计算的。

注视方向与3D表示的交集提供了一种几何方法来计算注视 “hits”或与3D结构相交的位置，因此提供了真实的注视端点。因此，可以确定场景中3D物体上的真实注视端点。

根据一个实施方案，该系统包括一个模块，用于根据主体两只眼睛的注视方向的交叉点计算注视端点，和/或一个模块，用于根据计算的注视端点和现实世界场景中物体的3D位置和/或3D结构确定主体正在注视的物体。

通过使用视差来计算主体眼睛的注视方向的交点，可以确定注视端点。然后，这个注视端点可以用来确定用户正在注视的物体。

根据一个实施方案，被注视的物体通过选择其3D位置和/或结构最接近计算出的注视端点的物体被确定为主体正在注视的物体。

根据一个实施方案，该系统进一步包括一个场景摄像头，适于从任意视角获取场景的一个或多个图像；一个模块，用于将3D注视端点映射到由场景摄像头拍摄的场景图像的图像平面上。

通过这种方式，不仅可以确定3D结构上的3D注视端点，而且还可以确定由场景摄像头拍摄的任何场景图像上的相应位置。这样就可以确定由摄像头从任意角度拍摄的场景图像中的注视点，换句话说就是形成一个任意的位置。

根据一个实施方案，场景摄像头的位置是已知的，或由一些位置或物体跟踪机制确定，并且通过执行3D注视端点对所述场景摄像头图像的投影来进行映射。

这是一种从3D注视端点推导出摄像头在任意位置拍摄的场景图像中的对应点的方法。

根据一个实施方案，该系统进一步包括：一个用于基于3D结构表示生成从任意视角看到的场景图像的模块；一个用于将3D注视端点映射到由场景图像生成模块生成的图像上的模块，其中，该映射是通过将3D注视端点执行投影到由所述场景图像生成模块生成的场景图像上而进行的。

以这种方式，可以不通过使用场景摄像头拍摄图像，而是通过基于3D结构表示来生成任意的场景图像。在该场景图像中，可以通过将注视端点投射到场景图像上或通过例如突出显示来指示或可视化注视端点或被注视对象。

根据一个实施方案，所述眼动追踪器是一个头戴式眼动追踪器；所述场景摄像头是一个头戴式场景摄像头。

此外，如果眼动追踪器是头戴式的，那么头戴式追踪器也自动传递眼动追踪器的位置/方向。对于场景摄像头来说也是如此。利用头部追踪器确定的头部位置（位置和方向），可以根据头戴式眼动追踪器在坐标系中确定的注视方向，确定头部追踪器的参考坐标系中的相应注视方向。

头部追踪器提供的位置也通过给定的设置自动提供眼动追踪器的位置，其中眼动追踪器固定在头部并与头部有确定的空间关系，例如，通过安装框架将其安装在用户头部。

根据一个实施例，专利所述3D结构表示单元包括3D场景结构检测单元，该单元适于确定场景的物体的3D结构和位置或其在参考坐标系中的几何表面结构，以获得真实世界场景的3D结构表示。

图源：patentlyapple

苹果公司的专利图2示意性地说明了一种注视端点确定系统。

苹果公司的专利3示意性地说明了根据本发明的另一个实施方案的注视端点确定系统。

专利图2进一步说明了3D模型/参考模型是在实际注视测量之前使用3D结构检测器“离线”创建的（图2上半部分中的步骤a）。

然后，可以将注视端点映射到由场景摄像头拍摄的场景图像上。为此，可以使用任何摄像头的位置和参数将3D结构映射到二维场景图像的3D投影中。通过这种方式，可以将视线撞击3D结构的位置映射到由场景摄像头拍摄的场景图像的相应位置。这一映射过程在图2中步骤b中得到了示意性的说明，它显示了3D结构到场景图像的映射过程（例如通过使用3D投影执行）。