大数据|一文读懂元宇宙，AI、灵境计算...核心技术到人文生态机器学习|人工智能|数据分析

自从元宇宙首次在科幻作品《血崩》中被提出已经过去了整整30年。元宇宙，基于计算技术，意在将人们对现实世界的体验，上升到更高维度。从人文的角度，元宇宙覆盖了社交、游戏、艺术、教育等寰宇人生的方方面面。而从技术层面，这一概念的引出催生了更多新兴业态的大爆发。
元宇宙为什么在当今的时间点迎来了爆发？为什么NFT是通往元宇宙的不同道路？灵境计算的核心技术是什么？AR头戴显示作为元宇宙最重要的外设硬件之一，有哪些工业上的进展和应用？而在丰富多彩的微观世界中，生物医药中的蛋白质编码等AI技术和元宇宙又擦出了怎样的火花？
所有这些问题都在“2022北京智源大会-AI与元宇宙”专题论坛上得到了解答，来自于香港和内地的不同行业领域专家分享了他们对于以上问题的探索和思考。
整理：李梦佳、沈磊贤
排版：付思雯
论坛专家名单：
郭毅可 | 香港浸会大学副校长，英国帝国理工学院数据科学研究所所长
柴舸洋 | Tagging 创始人& CEO，香港区块链协会联合主席，香港政协青年联会副主席
胡事民 | 清华大学计算机科学与技术系教授
王涌天 | 北京理工大学杰出教授
陈宇综 | 深圳湾实验室资深研究员
王宇航 | 核桃河图联合创始人兼中国区总裁
识破天机，揭秘元宇宙
郭毅可 | 香港浸会大学副校长，英国帝国理工学院数据科学研究所所长
研究背景及意义
根据Gartner 新兴技术炒作周期曲线，元宇宙概念目前正处于炒作的顶峰。毋庸置疑的是，元宇宙已经成为当前最炙手可热的概念。新冠时代，物理距离被封印，世界正处于零距离时代的开端。从根本上讲，元宇宙是一种去中心化的自治组织（DAO）。它不仅彻底改变了数字世界的底层基础设施，还彻底改变了物理层，以及它们之上的所有服务和平台、数据处理的方式。本报告主要阐述元宇宙的底层逻辑和未来前景。
研究方法
1．元宇宙的诞生背景：为什么在现在的时间点迎来了爆发？
后疫情时代催生了新技术、社会发展和新的经济模式，新的规范得以诞生。在不考虑信息安全的情况下，我们可以在网络上迅速组织社交单位或组织。零距离社会所引发的社会现象比全球化更大。在零距离社会中，人可以瞬间动态地组织自己的社会单元，元宇宙是这种社会的重要部分。
2．元宇宙的底层基础：涉及到哪些关键组成部分和技术？
为了实现零距离世界的愿景，三大支柱技术是：AI、DAO、虚拟化。DAO 是一项基础性技术，用于组织基于互联网的社会。区块链是实现 DAO 的核心技术，可以实现对资产的加密保护。我们可以借助区块链技术将数据组织起来，形成数据资产。虚拟化是对现实世界的数字化，旨在让现实世界成为可以在互联网上传输的对象。人工智能则赋予了虚拟实体以智能，让虚拟实体可以感知、思考、做出决策、行动。

文章图片

3．元宇宙的研发：如何开展相关研究？
元宇宙研究方兴未艾，具体而言，我们可以从内容生成、核心技术、基础设施三个方向展开元宇宙研究。首先，我们需要在保障个人隐私的前提下实现源代码、数据、内容的共享。从技术层面上说，元宇宙的实现有赖于分布式治理、区块链、网络技术、芯片技术、脑机接口、虚拟化技术、AI 技术等领域的发展。从基础设施上来说，元宇宙的实现与 Web 3.0 的构建息息相关。

文章图片

总结及展望
元宇宙是一个新兴的概念，这个概念的意义广泛，实际上是形成新的零距离社会的网络生态，包括了很多技术，包括区块链、人工智能、虚拟化等。我们需要将这些意义重大的技术完全解放出来，从一个更宽阔的角度去看它，这才是真正的互联网新时代，元宇宙的生命力也更强大。
通往元宇宙的不同道路——之国内数字藏品与海外NFT的发展现状
柴舸洋 | Tagging 创始人& CEO，香港区块链协会联合主席，香港政协青年联会副主席

研究背景及意义
元宇宙里面第一个应用就是NFT，为什么它是通往元宇宙的不同道路？很重要的因素就是非同质化的底层技术可以做到元宇宙的去中心化，NFT是一个数字资产。国内外环境不同，国外称为NFT，国内称为数字藏品。本次报告主要分析了国内数字藏品与海外NFT的发展现状。
研究方法
NFT是一场革命，它有非同质化的特殊属性和凭证，和艺术品有一个天然的结合。NF（Non-Fungible)的意义在于让那些?活中随处可?的事物被赋予了“唯?性”，进?产?“艺术性”与“交易价值”。NFT的爆发和用户心理有很强关联，包括投资，社交等。中国注册的数字藏品交易平台超过了300多家，国内更多是联盟链为主，谢绝了二次交易，只有收藏或者转让的用途。因为限制了二次交易属性，所以交易价值并不是很高。海外NFT虽然发展得很快，但是缺乏政府监管。未来元宇宙概念下会诞生很多新的消费场景，这种消费场景是虚实交互。为了让国内数字藏品行业更良好地发展，我们需要探索新的场景，“以虚促实“，关注品牌的价值，实现虚拟物品和品牌的联动，并且更多地关注元宇宙的社交属性。

文章图片

总结及展望
“以虚促实”让数字藏品走向品牌营销新场景。元宇宙是非常好的概念，但是无需炒作，在中国土壤必定也会有元宇宙场景、产品诞生。新兴一代创业者和从业人员需要打造的是跟线下、实体和真实世界有联动、有纽带的元宇宙。

从图形学到灵境计算
胡事民 | 清华大学计算机科学与技术系教授

研究背景及意义
计算改变了人类文明的进程，计算技术和系统每10-15年会发生一次重大变革。从计算技术角度来讲，VR/AR技术对计算带来的变革是未来最重要的事情，称之为灵境计算。这是一种计算形态的变化。灵境计算的核心技术是什么？从图形学角度来看，涉及到灵境构建，即真实世界的数字化、虚拟场景的合成、虚拟人与化身等；灵境和现在世界之间又需要理解和交互，涉及到场景语义理解、场景交互、心理计算；又需要平台和软硬件的支撑，包括图形平台、AI框架、芯片、VR/AR设备、操作系统等。本次报告主要探讨了相关核心技术。
研究方法
灵境构建：针对人、物、场景进行数字化和虚拟化，为灵境提供“客观物理世界”。我们首先可以基于视觉相机扫描，采用三维重建技术实现对真实世界的数字化，其次需要提取虚拟对象关联关系，快速生成合理的虚拟三维场景，最后利用AI技术，通过便捷设备采集图像重建精度，人脸的几何恢复与编辑纹理材质，实现高效和规模化的虚拟化身的生产。

文章图片

理解与交互：首先在语义场景理解等方面，可以通过视觉等感知通道，采用深度学习方法，理解场景中的基本语义单元，支持精准交互。其次，人交互意图分析和交互误差建模可以让虚拟环境交互更“贴心”，更“省力”。此外，灵境空间是一个虚拟场景，我们需要建立灵境空间对心理影响的可计算模型，实现虚拟内容的心理影响度量和虚拟内容可操控性。并通过灵境空间对人心理影响的可计算模型，实现虚拟内容心理影响度量和虚拟内容的可控生成。

文章图片

平台与框架支撑：灵境计算的操作系统正处于探索阶段，技术软硬件平台都面临“卡脖子”问题。图形平台中，代表性的业界平台主要是国外的Unity、Unreal，占有率超过50%。AI框架是目前灵境计算里面非常核心的支撑技术。计图是国内首个高校主导的开源深度学习框架，提出了两个非常重要的创新: 统一计算图和元算子融合。
总结及展望
【大数据|一文读懂元宇宙，AI、灵境计算...核心技术到人文生态】灵境计算是相关软硬件瓶颈突破后的必然，有望成为后疫情时代的工作和生活的新形态，但有大量问题尚未解决。AI框架是灵境计算最主要的支撑，未来的图形平台，灵境中的理解和交互，必将构建在AI框架上。
增强现实头戴显示技术进展及其在工业领域中的应用
王涌天 | 现任北京理工大学杰出教授、光电学院和计算机学院博士生导师，北京市混合现实与新型显示工程技术研究中心主任

研究背景及意义
增强现实头戴显示是实现元宇宙的重要外设硬件。自本世纪初，北京理工大学就开始对增强现实（AR）技术进行深入研究和系统探讨，是国内该领域的开拓者之一。本报告阐述了AR头戴显示的各种技术要求，列出了各类主流AR头戴显示光学解决方案、对应的微显示器件并剖析其优缺点，讨论了AR显示产业发展现状，以及北理工实验室与合作伙伴将基于头戴显示的AR用于工业领域的多个案例。
研究方法

增强现实显示技术要求和方案分类

首先，头戴设备的光学要求涉及到视场角、分辨率、出瞳直径、出瞳距离、光能利用率、视度匹配、体积和重量等因素。显示效果方面，还包括清晰度、亮度、色彩、均匀性、对比度等因素，总体而言是一个设计难度很高的光学系统。
具体光学解决方案包括Birdbath（一个共轴的折反射式光学系统）。典型产品包括联想Mirage AR和ThinkReality A3。自由曲面，包括自由曲面反射和自由曲面棱镜。波导方案，分为几何波导和衍射波导，其中衍射波导又分为浮雕光栅波导（微软Hololens 2）和全息光栅波导。

文章图片

微显示及AR显示产业现状

头戴设备当中的微显示器有多种不同的形式，包括DLP，LCoS，LBS，MicroOLED，MicroLED。匹配光学方面，大部分适用于各种类型。除了MicroOLED之外，只能匹配光效比较高的光学系统（Birdbath以及自由曲面）。
报告介绍了目前市场上比较成熟的AR头显产品，及其光学性能比较。Birdbath AR头显包括联想、太平洋未来科技、nReal、影创等公司的产品。

文章图片

文章图片

自由曲面棱镜产品包括影目，高通和爱普生。其中高通产品使用了北理工实验室的光机。几何波导AR头显（Lumus）和浮雕光栅波导（微软Hololens 2）。清华大学精仪系孵化的至格公司和WaveOptics（英国公司，后被美国Snapchat收购），在全息衍射光波导方面比较突出。

文章图片

文章图片

几何波导AR头显（Lumus）和浮雕光栅波导（微软Hololens 2）
此外，自由曲面增强现实最新进展，最新的三片式共体设计解决了早期设计透视畸变的问题，降低设计难度，提高了像质。
王涌天教授汇报了和合作伙伴联想、亮风台等在增强现实用于工业领域的应用。增强现实技术在太空舱狭小空间的装配，飞机连接器装配、飞机航电检测，电力智能巡检，远程异地协同设计、远程质量检测等方面起到重要的作用。
飞机连接器多达4000个，装配工作量巨大，而且一个连接器多达100个孔，孔间距小于1mm，装配工作复杂。基于增强现实和计算机视觉定位识别技术，实现了线缆自动识别，连接器孔位自动配对，以及智能辅助信息指导。单个连接器装配时间从大约2小时缩短至30分钟，操作人员从3人减少为1人。

文章图片

总结及展望
总结来看，超轻薄、高性能、高光效近眼显示技术是AR实现大众应用的关键一环。AR眼镜已经进入多种解决方案竞相发展、百花齐放、突飞猛进的新阶段，目前研究者已提出并实现了一种三片式自由曲面AR光学系统方案，有效降低透视畸变，提高成像质量。基于AR眼镜的工业应用欣欣向荣，前景广阔，将有力支撑元宇宙技术发展。
生物医药AI与元宇宙技术
陈宇综 | 深圳湾实验室资深研究员、医药健康技术与工程研究所课题组长

研究背景及意义
元宇宙，基于计算技术，意在将人们对现实世界的体验，从体验现实上升到超现实，某种意义上是从高维多元视角阅历寰宇人生。其拓展性的工作覆盖社交、购物、定居、艺术、教育、竞技体育等各个人文领域，甚至旅游自然和太空探索，乃至进一步探索平行宇宙和人类的意识世界。除了宏观，元宇宙也可以拓展到微观世界。微观视角下的生命，比如涉及到生命的编码DNA，干细胞与生存，肠道菌与健康，多巴胺与感知等等。丰富多彩的微观世界，利用AI技术可以将其引入到元宇宙当中。

文章图片

文章图片

研究方法
陈宇综认为，利用创新AI方法，实际上就是把无序的生物数据变成有序的图像。在医疗影像AI、组学AI、蛋白质AI、药物AI等方面均有相应的应用。
陈宇综团队进一步开拓了基于生物医药AI的创新元宇宙技术。例如，蛋白质编码中含有美丽的结构，基于蛋白质序列可以转化为美妙的声音，即生命之韵。AI可以通过学习编码背后的理化性质，解读蛋白质音乐。这项工作刊登在福布斯杂志上（Making Proteins Sound More Musical）。

文章图片

微观视角下，蛋白质本身的形态很美，基于此陈宇综团队创作出诸多蛋白质美术作品，包括环形蛋白、雪树状蛋白、DNA复制之花等等。

文章图片

同样地，以基因组、多巴胺、干细胞等为素材可以创造出微观元宇宙的诸多艺术表现形式。如图，将每个人放在基因银河系的背景中。每一个亮点代表每个人的基因组。右图，2万个基因密布在水晶球上，紫色或者粉红色的点，代表基因所在的状态，可以反映出一个人的健康状况。

文章图片

文章图片

总结及展望
基于AI深度学习人群组学，基因编码，以及食品药物大数据，应用浸入式VR/MR/AR技术，展示生命体在微观基因组世界中的星座位置和微观状态图，基因在基因码空间中的方位和特征识别图，食品药物在化学空间中的布局和功效辨认图。以这些元素为基础，可构建丰富多彩奇幻绝伦的元宇宙生命体的多维度微观世界。通过寓教于乐的方式，辅助了解生命和健康，解析健康和行为势态，探索食品和药物康养治疗的有效途径和机理，更好地开发元宇宙的巨大潜能。
国产开源3D图形化编程平台为未来AI及元宇宙开创“便捷通路”

王宇航，核桃河图联合创始人兼中国区总裁
在人工智能时代深入应用到各个行业的背景下，首个国产开源3D图形化编程平台即将应运而生。这一技术研发不仅打破了目前国内创客图形化编程仍以国外开源工具为主，导致核心的代码模块库和底层运算逻辑无法按需丰富或修改现状，同时将传统2D图形编程提升为基于3D引擎的新型编程语言，增加更加多元、可视的控制代码块，使得编程场景逐渐逼近仿真的现实世界。
这一突破预示着现有编程应用的格局将被打破，从而带来全新、高效、应用性更加广泛的3D图形化编程平台。多端编程操作的功能不仅可以让创作更加简单便捷、最大化激发创客的创作动力，更搭载了多元化生产工具，使得创作中对于未来应用场景、跨平台服务环境的接驳能力大大加强。
圆桌讨论：畅想AI与元宇宙的未来
郭毅可 | 香港浸会大学副校长，英国帝国理工学院数据科学研究所所长
柴舸洋 | Tagging 创始人& CEO，香港区块链协会联合主席，香港政协青年联会副主席
胡事民 | 清华大学计算机科学与技术系教授
陈宇综 | 深圳湾实验室资深研究员
王涌天 | 北京理工大学杰出教授
Q：元宇宙的话语权问题，怎么样对现在还众说纷纭的东西有一个比较明确的自己的定义？

王涌天教授认为我国现在的科技实力完全可以自己创词或者创造自己的话语权，没有必要盲目跟风国外。柴舸洋认为“元宇宙”这个词太大，但是带动了很多人往更好的互联网环境发展，我们更应该其技术本身。陈宇综研究员强调了药物研发中知识产权保护需求特别强，共享知识产权如何分配界定的问题在制药领域确实现在没有好的解决方案。胡事民教授认为话语权最本质的是技术内涵到底是什么。明白这一点之后，中国的科学家和企业能不能在这些关键技术环节上占领一席之地，我们就可以立于不败之地。
Q：元宇宙的核心技术内涵是什么？
郭毅可教授强调了VR虚拟和互联网的交融，世界的数字化，数据资产，和安全性，并认为区块链+互联网未来会更多基于区块链支持天然非中心形式。柴舸洋从区块链的角度解释了链安全性、中心化机构审计、跨链的重要性。王涌天教授认为新一代交互非常重要。增强现实要广泛应用特别是要大众应用的话，首先当然要解决眼镜的轻薄问题、供电问题、续航问题、隐私问题、交互问题。陈宇综研究院强调了元宇宙这种新的社会形态在人的心理、精神状态等方面有很大影响。
Q：如何共同努力建立一套生态系统？
胡事民教授认为生态系统一方面取决于技术本身能不能有自己独到的地方帮助我们建立生态，另一方面需要大家有一种共识，可能因为政府引导，可能因为学术界共同的观点或者企业界共同发展的愿景。王涌天教授认为政府要引导大家建立一个国内自主知识产权的生态。柴舸洋认为这个生态需要不同类型专业人士非常多，比如需要设计和美术各方面人员支撑包括游戏化、属性、经济体系。郭毅可教授认为我们可以在各种行业上形成行业应用的环境，包括技术标准化、应用产品等。
推荐阅读