VR大潮来袭 看声网Agora.io实时语音如何让玩家“声临其境”

  4月28日,全球最大规模的移动互联网行业盛会——GMIC 北京2016(全球移动互联网大会)在北京国家会议中心正式拉开大幕。本次大会以“Mobile Infinity(世界的共振)”为主题,邀请了数万名来自移动互联网的业界领袖、领军企业、开发者,分别就VR、人工智能、移动医疗、互联网金融、智能汽车等行业发展趋势展开了深入探讨和交流。作为全球实时云开创者,声网Agora.io也受邀出席了本次盛会,声网Agora.io首席音频工程师高泽华在大会上针对当前大热的VR和游戏产业,发表了《声网Agora.io实时语音:带着最好的武器去战斗》的演讲,为在场的VR和游戏应用开发者分享了在VR和游戏中如何运用高质量的实时语音互动,创造更“声临其境”的玩家体验,帮助用户提高VR画面体验的沉浸感和游戏交互性。

  高泽华在演讲中指出,在目前异常火爆的VR虚拟现实技术应用的交互体验中,语音识别和音效一直是一个行业难题,直接影响到了人们的使用体验,声网Agora.io语音SDK采用全球独有的32khz超宽频音质,是普通电话音质的4倍,并提供多声道音效系统,实现VR体验中的“听声辩位”,堪比3D音效。更重要的是,实时语音还可以完美的与游戏背景音乐融合,大大增加了用户的临场感。除了音频处理上的优化,声网Agora.io依托全球部署的虚拟通信网络,确保为游戏应用提供不卡、不掉线、超低延迟的体验,特别针对网络状况不好情况下的独特优化,可极大提高游戏应用和游戏直播的互动性。这一“重量级武器”,开发者只需要30分钟集成即可轻松完成。

  VR+游戏大热 实时语音对话提高实时互动效果

  VR虚拟现实技术之所以受到用户的热烈追捧,原因之一就是其利用VR设备(VR头显、PC端头盔、VR一体机)给人们带来的炫酷、逼真的360°全沉浸式视听体验,让人们从感官上仿佛置身于一个虚拟世界。这种沉浸感和临场感主要就是通过人们的视觉追踪和听觉辨位来实现,二者相互配合,缺一不可。目前能够将用户带进虚拟现实场景的视觉技术已经相当成熟,比如利用VR头盔,用户可以通过头部运动来追踪一个运动中的物体,但是听觉部分还存在诸多问题,诸如声音毫无方向感,无法精准定位空间位置,甚至无法实现基本的听音辨位等,这使得听觉与视觉无法实时配合,严重影响了用户的沉浸感体验。

  针对这一音效痛点,声网Agora.io给出了多声道音效系统这一解决方案。通过集成语音通话SDK,获得拥有实时高清音质、32khz超带频的语音编解码器NOVA,可以实现VR画面中声音的立体化环绕,让用户感受到来自四面八方环绕的声音,同时通过智能化回声消除和降噪功能,让用户可以通过声音精准定位空间位置,实现良好的画面沉浸感受。

  目前VR音效技术还处在比较早期的研究阶段,声网Agora.io会积极与VR企业保持沟通,根据VR应用产品的迭代和创新节奏,不断丰富自家的编解码器,以推出更加适合企业需要的音效处理技术。

  说到VR,人们最先想到的应用行业就是游戏,VR技术与传统游戏的天然契合性,可以说让已经渐成红海的游戏产业迎来了“第二春”。在演讲中,高泽华也分享了声网Agora.io实时语音技术给游戏应用,尤其是手游的实时互动性带来的有益改变。实际上,声网Agora.io已与北京竞技时代科技有限公司(简称竞技时代),也就是全球VR电竞大赛(WVA)的主办方进行了合作,目前声网Agora.io和竞技时代共同致力于开发VR电竞直播项目,将实现WVA赛事万人同时在线观看。VR电竞直播将从第一视角、第三视角、上帝视角等为用户提供独特的多人对战体验,让用户全方位感受与众不同的逼真超炫酷的“声影结合”VR直播技术。

  目前,受限于手机终端,手机游戏主要通过文字、图片等IM通讯进行互动,游戏和社交不能同时进行,玩家交互体验碎片化。而通过集成声网Agora.io的语音通话SDK,玩家就可以通过实时语音进行交流,双手得以解放,游戏、社交可谓两不耽误。

  这一实时互动功能的实现,得益于声网Agora.io高容量、高可靠的网络支持和低延时通话质量的有力保证。目前,声网Agora.io在全球部署了近百个数据中心和近千台服务器,以保障实时的数据传输质量;另外声网Agora.io还集结了全球最顶尖的互联网和通信科学家,包括前苹果视频核心算法工程师等,通过深厚的行业积淀,不断优化实时通话质量,为用户提供良好的实时通话体验。

  目前声网Agora.io的实时音视频通话技术已经在小米枪战等游戏中发挥作用。小米枪战是一款竞技动作类手游,玩家之间可以自由组队并肩作战,在高度紧张的对抗作战氛围中,队友之间的默契配合和实时互动非常重要。通过声网Agora.io的实时语音通话技术, 玩家之间可以不限地域、不限国界地进行无障碍沟通,随时随地实现语音互动,尽情享受游戏所带来的紧张刺激。

  除了动作枪战手游,声网Agora.io的实时语音技术在策略对战、大型副本等多种游戏形式中同样具有丰富的使用场景,可以提供一对一、一对多、多对多的实时语音通话服务。

  语音视频SDK完全开放 拥抱所有合作伙伴

  据有关数据统计,2015年我国VR虚拟现实市场总规模为15.8亿元,2016年将达到68.2亿元,增长率达331.6%,预计到2020年,市场规模将达到918.2亿元,年复合增长率达125.3%。可以看出,虽然目前VR产业还处于市场初期,但是前景巨大,尤其是随着VR技术的不断成熟,以及远程医疗、在线教育、电商、视频直播、游戏等目标市场商用化的实现,其将迎来爆发式的快速发展期。而借助这一趋势,声网Agora.io的实时语音通话服务也将迎来重大市场机遇。

  VR技术的目标市场与声网Agora.io高度重合,也无疑将促进VR技术与实时音频技术的融合,降低开发者的技术门槛,帮助双方技术在共同目标市场的普及和应用。

  事实上,声网Agora.io一直秉承着开放的精神与各种新兴技术、合作伙伴展开合作,这从其产品架构的设计和商业模式上就可见一斑。

  为了方便开发者快速集成,声网Agora.io将实时语音和视频通话服务打包成一个极简的SDK,开发者只要到cn.agora.io注册30分钟即可完成集成,另外SDK还适配所有主流平台,以及4000多款Android移动终端设备,方便开发者在各种平台上自由研发;商业模式上,声网Agora.io对中小开发者推行几乎“免费”的策略,每月前10000分钟语音和视频均免费,超过这一使用时长后,语音每1000分钟,收费约0.99美元(约人民币6块),视频每1000分钟,收费约3.99美金(约人民币24块)。这一价格只是传统电话的1%,是其他网络电话的50%甚至更低。

  据了解,目前声网Agora.io的语音通话SDK已经被集成在小米视频电话、小米游戏、金蝶云之家、Cmune、Hellotalk、Wowtalk、行程宝、直播易、洋葱TV、Enter达人、口语聊等App中,覆盖社交、企业服务、游戏、远程医疗、在线旅游等多个领域。