英伟达Omniverse，数字孪生“地球”

2021-11-16 10:06

VR陀螺

关注

文／VR陀螺小钻风

当元宇宙之火熊熊燃烧时，今年4月英伟达CEO黄仁勋在主题演讲中大谈特谈，顶着“工程师元宇宙”出道的Omniverse开始落地，但元宇宙一词却在黄仁勋新一轮GTC大会的主题演讲中销声匿迹。

图源：英伟达

Omniverse似乎向人们证明了，我就是我，不一样的烟火，有没有元宇宙加身，是不是所谓的元宇宙概念，不影响我存在的价值，以及我将为未来世界带来的改变。

黄仁勋：用USD统一3D格式，虚拟世界将像网站一样不断涌现

整场主题演讲，黄仁勋只字未提元宇宙，Omniverse、虚拟世界与数字孪生却贯穿全程。黄仁勋的描述之下，2D信息将向3D转变，我们将迎来众多3D的虚拟世界。黄仁勋在演讲中说“互联网改变了一切”显然是轻描淡写了。他表示，我们如今一直是互连的，互联网本质上是这个世界的数字表达，主要是指2D信息，即文本、语音、图像、视频。如今我们已拥有了创建全新3D世界或为物理世界建模的技术，而这一切即将发生改变。这些虚拟世界将遵守物理定律，亦或不遵守，在那里，我们可与朋友或者是AI，将像在网络上那样用超文本从一个世界跳到另一个世界。在黄仁勋的描述中，这个新世界的规模将比物理世界大很多。

图源：英伟达

我们将购买3D的商品，就如同现在买2D歌曲或买本书那样，在这个世界里，我们也能购买、持有或出售房产、家具、汽车、奢侈品和艺术品。在虚拟世界中，创意人员将制造出比物理世界更为丰富多彩的东西，正是为此，英伟达为这些虚拟世界的建设者构建了Omniverse，一些虚拟世界将为聚会和游戏而建立，但是，科学家、创意人员和企业也将可以借此大量建造其他虚拟世界。虚拟世界将如同今天的网站那样不断涌现。

图源：英伟达

而且作为虚拟世界构建引擎，与游戏引擎大不相同的是，Omniverse是面向数据中心规模设计的，有朝一日，有望达到全球数据规模。在演讲中，黄仁勋向我们展示了基于Omniverse的多个模拟案例，包罗万象，从宏观到微观，从天气到工厂，从物理学到生物学再到通信学，出现在生活生产的各个领域当中：仓库、工厂、物理与生物系统、5G边缘、机器人、自动驾驶汽车，甚至是虚拟形象的数字孪生。

图源：英伟达

这些模拟或者说虚拟世界的重要现实意义，在于除了大大提高建模效率，还能将模拟结果应用于真实世界，让真实社会生产实现降本增效。黄仁勋说：“我们可以创造地球的数字孪生模型，它可以持续运行以预测未来，用观测到的数据进行校准并改进预测然后再次预测。” 如此丰富的虚拟世界，要靠什么来实现连接？Omniverse平台副总裁Richard Kerris在回答元宇宙与Omniverse之间的关系表示，元宇宙需要解决的一个问题，是基础的连接问题，早期互联网以html作为连接基础，用以说明文字、图形、动画等等，如今的3D世界、虚拟世界则可以借助在通用3D格式USD基础上构建的Omniverse形成连接。

黄仁勋做了一个比喻：USD之于Omniverse就像HTML之于网站。Omniverse的门户是USD（通用场景描述），本质上是一个数字虫洞，将人和计算机连接到Omniverse，并将一个Omniverse世界连接到另一世界，USD之于Omniverse就像HTML之于网站。

图源：英伟达

基于USD的Omniverse可以让设计师能够在共享空间中进行协作，一名设计师在一个世界中所做的更改会实时更新给所有相关联的设计人员，本质上就像3D设计的云共享文档。 Omniverse将彻底改变全球4000万3D设计师的协同合作方式，公司可以在Omniverse中建造虚拟工厂并使用虚拟机器人进行运营，虚拟工厂和机器人则是其物理复制品的数字孪生。我们可以看到，结合上一次GTC的演讲，黄仁勋眼中的虚拟世界以及元宇宙，很大程度上就是围绕着Omniverse，以及基于Omniverse的数字孪生。 Omniverse今年4月正式与大家见面，经过半年时间，Omniverse又有了哪些新的动向，本次的GTC给出了答案。

新增AI虚拟化身创建平台．．．．．．英伟达正式推出Omniverse企业版

这届GTC英伟达正式推出了Omniverse企业版，与其一同到来的，还有以Omniverse Avatar、Omniverse Replicator为代表的系列新功能与更新。用于创建AI虚拟化身的平台Omniverse Avatar 黄仁勋的主题演讲，除了一些有关黄仁勋是真是假，有几分钟是真的“后遗症”探讨外，最吸引观众的是黄仁勋数字孪生体：卡通版的虚拟大头黄仁勋的出场——Toy－Jensen（黄仁勋称其为Toy－me）。

虚拟黄仁勋短短几分钟的展示，便给观众留下了深刻印象。虚拟黄仁勋“在现场”与真人对话，从谈论气候变化到太空探索都能对答如流，并且从肢体动作到嘴部活动均十分自然。而这正是英伟达Omniverse Avatar的杰作。 Omniverse Avatar是一个生成交互式AI虚拟化身的技术平台，它能够连接英伟达在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术，并且一切都是实时的。“我们正在构建一个会对话的虚拟形象，名字叫Toy－Me，你会看见语音理解，基于目前训练的最大模型的自然语言处理，使用我自己声音合成的语音、角色动画以及基于光线追踪的精美图像。一切都是实时的。而这背后实现所使用的技术包括： ● 语音识别基于英伟达Riva● 自然语言理解基于Megatron 530B大型语言模型● 推荐引擎由英伟达Merlin提供● 感知功能来自用于视频分析的计算机视觉框架英伟达Metropolis● 虚拟化身动画则由AI赋能的2D和3D面部动画和渲染技术英伟达 Video2Face和Audio2Face?驱动。这些技术被集成在一个应用，并使用英伟达统一计算框架进行实时处理。而在这个平台上创建的虚拟化身，是具有光线追踪3D图像效果的交互式角色，可以“观察、讨论”各种主题，以及合理地理解表达意图。黄仁勋在上次的GTC演讲中表示：“智能虚拟助手的前景一片光明。Omniverse Avatar将我们的基础图像、模拟和AI技术结合在一起，打造出一些有史以来最复杂的实时应用。协作机器人和虚拟助手的案例令人难以置信，影响深远。”

（一）用于训练AI的Omniverse Replicator合成数据生成引擎

Omniverse Replicator是一款性能强大的合成数据生成引擎，能够生成用于训练深度神经网络的物理模拟合成数据。黄仁勋在演讲环节展示了基于Omniverse Replicator的成果：用于承载自动驾驶汽车数字孪生的虚拟世界——NVIDIA DRIVE Sim™和用于可操纵机器人数字孪生的虚拟世界——NVIDIA Isaac Sim™。使用这些数据构建的自动驾驶汽车和机器人可以在一系列虚拟环境中掌握技能，然后再应用到物理世界中。

图源：英伟达

英伟达模拟技术和Omniverse工程副总裁Rev Lebaredian表示：“通过Omniverse Replicator，我们能够创建多样化、大规模、精确的数据集来构建高质量、高性能和安全的数据集，这对于AI来说至关重要。” 除以上两项重要功能增加之外，Omniverse还进行了系列包括VR／AR在内功能更新，包括： ● NVIDIA CloudXR 是一个企业级沉浸式串流框架，已经集成到 Omniverse Kit（用于构建原生 Omniverse 应用程序和微服务的工具包），允许用户以交互方式将 Omniverse 体验串流至他们的移动 AR 和 VR 设备。
● Omniverse VR 推出领先的完全图像、实时光线追踪 VR – 支持开发者在平台上构建自己的 VR 工具，最终用户可以直接享受 VR 功能。
● Omniverse Remote 提供 AR 功能和虚拟摄像头，支持设计师查看他们通过 iOS 和 Android 设备全光线追踪的资产。
● Omniverse Farm 允许团队同时使用多个工作站或服务器，为渲染、合成数据生成或文件转换等任务提供支持。
● Omniverse Showroom 作为 Omniverse 公测版中的应用程序提供，允许非技术用户使用 Omniverse 技术演示，展示平台的实时物理和渲染技术。黄仁勋表示：“我们的虚拟世界模拟引擎Omniverse贯穿了整个主题演讲。机器人、自动驾驶车队、仓库、工厂、工业厂房和整个城市，都将在Omniverse数字孪生中完成创建、训练和运行。”

（二）除了Omniverse之外，黄仁勋还发布了新的超级计算机

“我们的上一台超级计算机名为Cambridge 1，即是C－1，这台新的超级计算机命名为E－2，Earth Two，能够在Omniverse中以Million－X百万倍的速度运行。”其还表示，云计算和机器学习正在重塑数据中心，科学领域基于深度学习的软件革命正在发生，其次是推动力，深度学习的兴起引发了现代AI革命，从根本上改变了软件。深度学习编写的软件具有高度并行性，这使其更有助于GPU加速，最后，通过尝试学习编写的AI软件预测结果的速度能够比人工编写的软件快1000至10000倍，这彻底改写了我们解决问题的方式。从以上一系列Omniverse的相关动作可以看出，黄仁勋正在构建一个宏大的未来愿景——Earth Two，地球二号，在虚拟世界中构建一个数字孪生的地球。

数字孪生“地球”后，哪些领域将被改变

VR陀螺认为，数字孪生将是未来连接虚拟与现实的底层基础，结合AI、IoT、VR和AR技术，在获取信息、传递信息、远程沟通、模拟训练等诸多场景中起到重要作用。英伟达正在构建这个基础，从行业应用出发，以降本增效为前提落地到产业中来。未来，这些场景将串联起来，形成一个庞大的虚拟世界。 Omniverse正在如何改变工作，英伟达用一系列案例进行了举证说明。在汽车领域，如宝马集团展示了雷根斯堡工厂的数字孪生，工程师们正在使用基于Omniverse构建的Isaac Gym来训练机器人。宝马是第一家使用NVIDIA Omniverse来设计整个工厂端到端数字孪生的汽车制造商。据了解，其全球生产网络中的数千名规划师、产品工程师、设备经理和精益专家能够在同一个虚拟环境中进行协作，可在工厂实际建成或集成新产品之前，对极其复杂的制造系统进行设计、规划、工程、模拟和优化。宝马集团负责生产业务的董事会成员Milan Nedeljkovic表示：“NVIDIA Omniverse和NVIDIA AI让我们能够模拟我们生产网络中的所有31家工厂。整座工厂模型中的所有元素都可以被模拟，包括工作人员、机器人、建筑物和装配部件等，这为虚拟工厂规划、自主机器人、预测性维护和大数据分析等大量AI用例提供了支持。这些创新将减少规划时间、提高灵活性和精确度，最终将规划流程的效率提高30％。Omniverse带来了变革，为我们所在的行业树立了协作平台的标杆。” 通信领域，爱立信（Ericsson）也在使用Omniverse构建数字孪生环境，以配置、运营和持续优化其5G天线和无线电天线，其在未来5年内将在全球部署1500万个5G基站。在Omniverse中，爱立信构建的城市规模的模型在建筑物、植被和树叶材质上具有物理级准确性，然后，添加每个发送端的精确位置、高度和天线模式等无线网络组件。爱立信构建了一个自定义的Omniverse扩展程序使其能够集成无线电传电传播数据，并利用Omniverse的RTX加速光线追踪，来快速可视化和计算城市中每个点的信号质量。由于Omniverse材质具有物理级准备性，因此反射的强度也是精确的。天线波束形和信号路径可以得到精确仿真和可视化。广告营销领域，全球知名的营销服务机构WPP集团借助NVIDIA Omniverse平台以完全虚拟的制作方式取代传统的现场制作方式，从而彻底改变广告内容的制作方式。由于新冠疫情隔离措施的实施，WPP团队无法为客户拍摄外景广告。他们使用NVIDIA Omniverse平台合作设计、构建和模拟了一个逼真的虚拟森林，这使得他们无需亲自深入森林进行现场拍摄。

Hogarth全球首席执行官Richard Glasson表示：“Hogarth每年为客户管理超过1500个拍摄项目，Omniverse改进了我们的工作方式，使位于整条工作流水线中不同节点的多位艺术家能够在同一时间、从全球的任何一个地点对同一个场景开展虚拟协作。这极大地减少了我们的碳排放量，实现了具有可持续性的制作方式。” 在天气预测场景中，研究人员利用欧洲中期天气预报中心的ERA5大气数据训练Physics－ML模型，该模型在128个A100 GPU上训练需要4小时，训练后的模型能以30公里的空间分辨率预测飓风的严重程度和路径，原本需要7天才能完成的预测如今在一个GPU上只需四分之一秒，数年后，数据有望在Omniverse中运行的地球数字孪生，并且会有一组Physics－ML模型用于预测气候。如今，Omniverse已经逐渐渗透至建筑工程、媒体娱乐、制造业、游戏开发等多个领域，并在变革传统工作流程，结合AI和机器人，黄仁勋认为在不久的将来，将会有数十亿机器人帮我们做事，有些是实体机器人，但大多数是数字虚拟机器人，一些虚拟机器人将实现完全自动，其他一些是半自动，甚至人机交互运行，即“人机回圈”（教会机器人与人协同工作）。

图源：英伟达

在会上，黄仁勋也展示了结合机器人的多个场景。如机器人助手Tokkio在点餐场景和自动驾驶场景中的应用，这是一个Metropolis应用程序，是一个对话操作台，对于智能零售、免下车和客户服务非常有用。在点餐场景中，这个小动画机器人可以与客户进行眼神交流，无论是语音识别，还是能够推断意图和操作的自然语言对话管理器推荐或自然语音，Tokkio均可以在大约2秒内做出响应。