曾几何时,元宇宙和如今大火的ChatGPT一样,在各行各业中刮起了所向披靡的科技狂潮。在时间的沉淀后,如今望眼回看,仅仅两年时间,那些创造并实践元宇宙技术的创业者们正在悄悄改变着我们身边的世界。
本栏目通过元宇宙的主要参与者之一NVIDIA,与其初创加速计划的3家会员公司进行了深度的交流。他们将带我们不难发现“元宇宙”不单单是一个遥不可及概念,在你我未曾想到的领域里,它正在开花结果,不断地创造各种可能性。
心咚科技的CEO黄靖时,致力将公司打造为元宇宙中的牛顿,心咚的核心优势来自心咚科技独有的物理引擎和全球最大的材料数据库。其中心咚物理引擎是一款云原生实时材料解算引擎,通过实时解算材料参数,高质量的还原其物理特性。而材料数据库则是其建立的全球最大的数字材料大模型,可以涵盖90%以上的材料数据。借助心咚科技的技术,将过去需要几个小时进行的渲染工作减少至数分钟甚至实时解算。
而现在,为了让更多人了解心咚科技,借助ChatGPT爆火的当下,黄靖时又给公司做了一个形象的比喻,就是“MaterialGPT”。当你输入任何材料后,就可以实时渲染物理模型,以此来实现对材料的所见即所得。
实际上,心咚科技的客户也已经从服装行业拓展至包括游戏开发、影视特效、数字人直播、甚至是半导体材料等行业。“我们最大的价值实际上的意思就是依托近40TB的材料大模型,赋能用户把天马行空的想法呈现出来。”
黄靖时表示,心咚科技的物理引擎,可以彻底改变创作者的工作流。比如,对于缺乏材料物理特性认知的游戏美工而言,如果追求真实仿真,就需要反复尝试,而借助心咚科技,只要输入想要的材质,就可以实时建模所需要的材质。更重要的是,以往建模需要数个软件,并且渲染时间比较久,如果穿模还要重新渲染,而采用心咚科技所见即所得的引擎和材料模型后,只需要鼠标拖拽即可,而无需渲染等待,从而彻底改变了创作流程。
随着元宇宙内容的不断丰富,心咚科技的业务覆盖能力也随之愈来愈普遍。黄靖时举了一个心咚科技客户的案例,这是一家好莱坞影视公司,其所渲染的一套服装在电影中非常受欢迎,因此企业决定把这套服装开发成实体周边。然而当时的服装是美工和设计师想象出来的,所以很难能找到现实的物理材料。最终,他们找到了心咚科技,依据数据推理出了一套材料原型,并依托心咚在服装面料行业的积累找到了合格的供应商,从而完成了虚实产业相互赋能。
而这种构建更大的朋友圈,打通虚拟和现实产业链,是黄靖时一直以来的心愿。也正因此,心咚科技正在将产品与NVIDIA Omniverse元宇宙开发平台对接。黄靖时表示:“Omniverse和USD的发展,解决了数字资产不兼容和流通性障碍。未来随着生态的逐渐繁荣,相信未来实时渲染工作流将会变得更轻松。”
“通过毫无妥协的高表现力人声,解除演唱能力的羁绊,释放人们的音乐想象力。”北京时域科技有限公司联合创始人/CTO赵文骁在ACE Studio产品上线时如是说。
时域科技是一家专注于 AI 领域的科技公司,致力于让 AI 满足人类的情感需求,通过“富情感”人声合成技术,赋予 AI 表现情感的能力。时域科技服务以“游戏”+“虚拟偶像”为主的元宇宙业务客户,为AI虚拟人提供独特的情感价值。
在接受采访时,时域科技一直强调“富情感”,其是全球唯一在全种类AI人声(歌声、语音、非语义人声)上均实现丰富情感细节的团队。
早在AI技术火热之前,语音合成技术就已经诞生多时,但AI合成语音和人声的区别还是很明显就听出来了,尤其是在情感表现力最丰富的歌唱领域更容易区分。而“真实”的模拟人声正是时域科技的人声合成系统的过人之处,以下是一段时域科技引擎合成的人声Demo,亲自聆听一下你也会有相同的答案。
在产品侧方面,时域科技提供了包括AI歌声合成软件ACE Studio、Pocket Singer,用户数已达数百万,他们中既有专业的音乐创作者,也有单纯喜欢二次元的爱好者,无论用户来自什么领域,都能借助AI,实现自身的音乐创作梦想。另外,公司即将上线AI陪伴产品《他》,通过AI声线混合技术,实现细腻而富有情感的AI语音,成为沟通用户与虚拟的“他”的情感媒介,为用户更好的提供更多的情绪价值。
除此之外,时域科技还为B端合作伙伴包括腾讯、洛天依、环球音乐、乐元素、哇唧唧哇等合作,提供人声定制以及人声合成接口调用等服务。
谈及人机交互,就必须提到如今大热的ChatGPT。赵文骁表示,ChatGPT作为一个语言模型,并不具备发声能力,但人声合成可以补齐这一短板,使得人工智能更方便的与人交流,同时也可以为一些视觉障碍患者提供服务。ChatGPT还能够最终靠语言模型来学习和理解语音中的情感和语气,使得语音合成的效果更加自然、真实和生动。“随着ChatGPT应用越来越广,将会显著改善语音合成的应用场景,例如智能客服、虚拟助手、语音交互等领域,对于人声合成的需求也会促进增加,利好人声合成市场。”他说道。
歌声合成技术从拼接合成、参数合成到如今时域科技所采用的神经网络合成,离不开引擎与算法的发展,同时也离不开硬件的发展。时域科技歌声合成引擎所采用云端部署方式,正是使用了NVIDIA A10 GPU作为推理芯片,由韵律模型、唱法模型、音色模型、参数模型等多个高性能模型组成,以实现各种复杂的合成任务。
赵文骁介绍道,在引擎的迭代与部署过程中,团队面临了调用延迟、模型协同、模型可热插拔与版本管理等多个挑战。为了应对这些挑战,时域科技算法团队和NVIDIA技术团队沟通合作,采用NVIDIA TensorRT对模型进行推理加速,利用NVIDIA Triton推理服务器进行部署。经过优化,歌声合成的耗时降低28%,单机GPU利用率提升25%,同时也明显提高了模型迭代效率。同时,在NVIDIA Inception 团队的技术上的支持下,时域科技在Omniverse 平台上线了国内首个歌声合成插件,具备音色混合功能,与Audio2Face结合,使得虚拟人演唱制作变的更加容易。
2018年成立KIRI之时,还没有元宇宙概念。三位年轻的小伙子只是单纯的想降低3D扫描重建的成本与门槛,从而让更多3D艺术家和3D创作者们可以自由创建3D数字资产。
目前,KIRI推出的KIRI Engine APP是业界第一批,同时也是海外安卓端下载量和搜索量第一的3D扫描APP,KIRI Innovations创始人兼CEO王正男认为,公司能够迅速抢占3D重建技术的风口,正是因为对行业的长期坚持与耕耘。
2019年,KIRI开发出了一款名为Phiz的低成本激光3D扫描仪,结合手机能轻松实现相对低成本的3D扫描。这个众筹项目一经推出,便获得了广大3D爱好者的认可,并成为2019年众筹资金最多的3D扫描仪项目,也正因此积累了大量热衷于3D创作的用户。
这次成功的众筹,使KIRI Innovations的CEO王正男切实感受到低价3D扫描的广阔需求。而将KIRI进一步推向市场风口的,是2021年NeRF技术的诞生,基于NeRF技术,公司开发了KIRI Engine,逐步降低了硬件成本。NeRF可以简要概括为用一个MLP神经网络隐式地学习一个静态3D场景,再直白点就应该利用一组照片进行3D重建。相比于传统的Photogrammetry技术,NeRF具有诸多优点,尤其是对于表面缺乏纹理特征的物品来说,NeRF技术能实现更好的3D重构。同时,随着云计算的逐步成熟,也使KIRI可以更高效的进行云端渲染。
王正男介绍道,NeRF算法在相机位姿计算以及MLP计算方面,需要消耗大量的算力和内存资源。KIRI借助NVIDIA的Instant NeRF技术,以及KIRI独有的算法,将需要CPU的诸如相机位姿等计算通过GPU完成,从而提高3D重建的效率。KIRI的相机位姿计算引擎是目前唯一不需要LiDAR就能轻松实现精准3D重构的技术,并被NeRFStudio 团队正式认可为 NeRF 输入的可靠来源。
NeRF的横空出世,给了3D数字资产创作最好的发展空间,而通过逐步降低门槛,也让KIRI的用户群逐步扩大,目前已达数十万之多。而其用户也广泛涵盖包括VR/AR内容生成、游戏建模、视觉特效、室内设计甚至是数字博物馆创作等领域。而从KIRI近年来的发展速度上来看,并没有受到所谓“元宇宙寒潮”的影响。“今年2月,Three.js的下载量是去年同期的3倍,能够正常的看到如今3D市场依然火热。可能有一些投资者不看元宇宙这个赛道,但3D交互这个需求始终存在,并且是不可逆的。”王正男坚信,人与人的交互方式势必会从过去5000年所一直保留的2D方式向3D转变。
王正男正在努力将KIRI Engine接入Omniverse,以服务更多的用户群。“我们和Omniverse相同,都为广泛的3D艺术家、3D创作者和3D开发者服务,在这样的平台上最能找到志同道合的朋友。”王正男说道。
在2023 CES上,王正男就感受到了NVIDIA生态的力量。当公司将“NVIDIA初创加速计划”以及NVIDIA的Logo放到公司的展台上时,很多不是3D领域的观众也愿意前来咨询。“因为NVIDIA的背书,可以让我们更有底气面对用户及外界。”
这些创业者天马行空的想法以及其产品所带来的震撼力为市场注入着新鲜的血液和蓬勃的生机。在他们的背后,NVIDIA初创加速计划也持续提供着包括产品折扣、技术上的支持、市场宣传、融资对接以及业务推荐等方面的助力,加速着创业企业的成长。
如果你希望更多了解关于 AI 创业,NVIDIA 开发平台和热点应用,NVIDIA 初创加速计划生态的相关信息,一定别错过本次GTC首次针对中国创业生态订制的特别会议——AI 初创企业在中国市场的发展和机会。NVIDIA初创加速计划生态合作伙伴,NVIDIA技术专家,初创加速计划会员以及创投联盟的投资人代表共聚一堂,针对中国环境下初创企业的现状和未来,最新平台、技术、热点应用,以及围绕AI创业企业如何抓住市场动态进行了深度的探讨。此外,您还可以探索超过 650 场会议、培训及演示等,内容均由全球专家提供,涵盖从 AI 入门到高性能计算、云技术、元宇宙,生成式AI等众多前沿研究领域。
下一篇:TE Connectivity连续第九年入选“全球最具商业道德企业”
AI能应用的领域可不止游戏,最近英伟达开拓了AI新道路,与美国放射学院(ACR)达成合作伙伴关系,致力于为医疗人员提供更迅速有效的图像处理方案。 据了解,目前该项技术仍在测试当中,英伟达与ACR将测试试点定在了俄亥俄州立大学、马萨诸塞州综合医院和妇女医院临床数据科学中心这三个地点进行,并最终于5月18日至22日在华盛顿的ACR展会上正式登场。 AI能推进医疗技术的发展,在医疗史上应该是一个了不起的里程碑,很多通过传统放射手段都不能发现的病应该能更加有效判断了,对我们这些对着X光片看半天也看不懂的人也会有很大的帮助吧。
向美国放射学院提供AI工具 /
谷歌 的机器学习利器Cloud TPU将首次全面对外开放。 谷歌 传奇芯片工程师Jeff Dean连发了十条twitter宣布了这一消息,第三方厂商和开发的人能每小时花费6.5美元来使用它,但需要先行填表申请。下面就随网络通信小编共同来了解一下相关联的内容吧。 此前,TPU都被用于 谷歌 内部产品,随着Cloud TPU的开放,这在某种程度上预示着AI芯片和公有云市场将迎来新的变局。 谷歌同时发布了Cloud TPU的beta版,这一版本通过谷歌云平台提供,可以帮助更多机器学习专家更快地运行模型。Cloud TPU是谷歌设计的硬件加速器,专为加速、扩展特定的TensorFlow机器学习工作负载而优化。 “把自用的TPU开放出来
根据市场研究机构IHS Markit的数据,Nvidia于2017年首次凭借芯片销售量跻身全球前十大半导体供货商;而该前十大榜单上只有该公司与高通(Qualcomm)是严格意义上的无晶圆厂(fabless)芯片设计企业。 IHS Markit指出,Nvidia的2017年销售总额为85.7亿美元,足以让该公司排名全球第十大芯片供货商;但IHS技术、媒体和电信部门总监兼首席分析师Len Jelinek表示, Nvidia的崛起让台湾无晶圆厂芯片设计业者联发科(MediaTek)跌出前十大榜单。 Qualcomm、Nvidia和联发科是曾经进入全球前十大榜单的芯片供货商中,仅有之几家严格意义上的无晶圆厂芯片供货商;联发科曾在2014年
嵌入式AI边缘智能系统用,加速机器人&机器视觉设备部署 ——2022研华工业物联网在线论坛 边缘智能系统包含了边缘AI + 边缘计算,在设备侧进行推理和部署深度学习模型,降低网络延迟和带宽的消耗。 研华提供多种嵌入式AI解决方案,在多种应用场景下,来满足AI应用对低成本、低延迟、高性能的边缘AI要求。 7月14日,研华邀请了英伟达、用友两家合作伙伴的的资深专家,共同解读为了应对边缘AI的发展与挑战,NVIDIA适用于机器视觉的平台优势、研华多样的嵌入式AI解决方案及客户分享的实际应用案例。 本期精彩看点 机器视觉行业的挑战与机遇 NVIDIA AI平台构建的优势 研华基于N
在一个正常运作的资本主义经济环境,一家具创新能量的公司会协助开创新市场,对新技术或产品研究开发大举投资,因而击败竞争对手或将之逼到墙角,并从中创造获利,这在当前科技产业中若要找到范本, NVIDIA 无疑当之无愧,因 NVIDIA 不仅协助开创将加速运算导入全球数据中心的新市场,如今也正借此为公司创造获利,并掌握相当先进的前瞻技术,因而有助 NVIDIA 在可预见的未来于这块市场站稳脚步。下面就随网络通信小编共同来了解一下相关联的内容吧。 根据The Next Platform网站报导,NVIDIA借由在其数据中心产品线中推出Tesla加速器产品线,充分有助该公司在全球这块潜在达300亿美元规模的市场中囊括很大一块市占率,这块市
华尔街投资机构兴起AI研究浪潮,看好AI(人工智能)将驱动科技业新成长动力,尤其看好半导体上游,点名Intel(英特尔)、 Nvidia(辉达);研究顾问公司Wiseguy指出,AI将是全球发展最快技术之一。 Wiseguy预期至2023年AI市值将达142亿美元,年复合成长率17.2%。 研究机构IDC看好AI发展,随着各产业积极投资人工智能解决方案,预计2016~2021年复合成长率达50.1%。 IDC表示,人工智能解决方案在所有行业中逐步扩大,带来非常大成长机会,如在医疗诊断和治疗;医疗保健今年在AI投资超过10亿美元,并为目前实际案例中增长快速领域,包含提供自动化诊断或治疗系统成为重大投资项目。 制造业提高良率 其他
5月8日消息,据国外新闻媒体报道,来自中国台湾主板厂商的消息称,显卡厂商Nvidia正与英特尔商讨合作事宜。 该消息称,Nvidia将向英特尔提供图形处理器技术。目前,双方已经达成了数项协议,具体的协议内容还不清楚。近日,Nvidia还与英特尔在台湾的合作伙伴举行了会谈,并对有关问题进行了讨论。 目前,英特尔正在加紧研发图形处理器技术,因此与Nvidia合作是合乎情理的。自从AMD并购ATI之后,Nvidia与英特尔合作就被业界所看好。 而事实上,Nvidia也已不再是AMD的头号芯片组供应商了,其的业务重心也逐渐倾向于英特尔。此前有消息称,Nvidia今年将面向英特尔平台推出的重要的整合芯片组MCP73,该产品线将至少包括三个
6月9日消息,预计明年推出的USB 3.0标准被业界寄予厚望,而AMD和Nvidia指责英特尔在该标准的制定过程中排挤其它竞争对手,为此它们试图联手另起炉灶,创建第二套USB 3.0标准标准,然而这一“无奈”之举只能使用户受损。 据国外新闻媒体报道,英特尔去年曾展示过USB 3.0连接器和附加卡。USB 3.0 是下一代高速连接标准,预计将于2009年推出。该标准的重要意义在于,未来的几乎所有的PC及外设之间的连接都一定要遵循这一标准,该标准下的数据传输速率可达目前广泛采用的USB 2.0的10倍,即每秒达5GB。 早在1995年,USB标准的制定和推广机构——“USB执行论坛”就是由Intel联合微软等业界巨头组建的
ADI世健工业嘉年华——深度体验:ADI伺服电机控制方案
解锁【W5500-EVB-Pico】,探秘以太网底层,得捷电子Follow me第4期来袭!
在2024年国际消费电子展(CES)上,全球知名的楼宇管理系统提供商霍尼韦尔宣布了两项重要的战略合作,分别与恩智浦和ADI签署合作备忘录。这两 ...
苹果笔状控制器专利曝光:能拆分,配合 Vision Pro 头显等设备使用
1 月 12 日消息,根据美国商标和专利局(USPTO)近日公示的清单,苹果公司获得了控制器相关的设计专利,采用 Apple Pencil 的笔状设 ...
尼得科株式会社的集团公司尼得科仪器株式会社(旧日本电产三协)开发出了可支持收付双方进行电子支付的紧凑型非接触式IC读卡器。据日本经济 ...
物联网 (IoT) 和嵌入式连接专家移远通信日前宣布推出一款新型“经济高效”LoRa 模块移远 KG200Z,该模块围绕意法半导体 STM32WLEx ...
豪威集团发布单芯片 LCOS 面板 OP03050,用于下一代智能 AR / XR / MR 眼镜
1 月 11 日消息,豪威集团今日在CES 2024展会发布了新品 OP03050。这是一款低功耗、小尺寸硅基液晶(LCOS)面板,在单个芯片中集成了 ...
消息称三星下半年推出 Flex Magic 头显:基于高通骁龙第二代 XR 2+ 平台、对标苹果 Vision Pro
Cadence 发布面向 TSMC 3nm 工艺的 112G-ELR SerDes IP 展示
1月22日下午14:00Mouser携手Maxim邀您观看有奖直播:深入浅出可穿戴健康监测
【ST板卡来了(下)】 品读STM32实战经验,汲取FAE经验闯关去抽奖
下载有礼:看“智””造“热”侦探 FLIR ETS320 红外热像仪如何纠错!
Silicon Labs EFM32PG22开发套件 传你所思 创你所想!申请进行时!
站点相关:综合资讯传感器RFID生物识别网络传输电源管理处理器物联网安全行业规范创新应用可穿戴设备智能家居智能工业智能交通物联网百科相关展会专家观点射频