腾讯与一家音频大厂联手推黑科技,它能解决开发者头疼的语音、音频兼容难题

文/ 菲斯喵 2019-05-28 11:34:03

游戏中开启了语音,结果背景音乐和游戏音效都消失了。这类语音与音频的冲突情况,在多人联机游戏中,是不少玩家会遇到并向开发者反映的问题。

1.jpg

为追求沉浸式游戏音频体验,游戏大作通常会投入高额成本,去制作优质的音频素材。比如《COD》系列,其音频设计师为了模拟二战枪械声音,就曾专门去博物馆借真枪录音。但语音与音频彼此不兼容的情况,尤其会破坏游戏的完整性与沉浸式音频体验,因此这个问题不容忽视。

不过对开发者来说,既要保证玩家得到最好、最完整的音频体验,又要兼顾通畅的实时语音体验,这是一个并不那么好解决的技术难题。

游戏中实时语音与音频一体化的难点在哪?

从技术角度来说,目前的手机硬件与系统特性决定了实时语音与音频体验难以兼顾。

通常情况下,手机系统选用电话音量来播放通话语音,而游戏音频则通过媒体音量播放,两者音量大小独立控制。而在游戏场景中加入实时语音之后,游戏就会切换音量类型播放,进而造成播放音量和音质的跳变,玩家在游戏中不得不接受双声道音频降损为单声道、通话异常等非常糟糕的体验。

3.jpg游戏音频与游戏语音相互独立,引入一系列问题

FPS、战术竞技游戏或许最受这个问题的困扰。因为在这些游戏中,枪声、脚步声等音频的方位,是玩家非常重要的辅助信息,但是当玩家打开游戏内置实时语音功能时,这些为了沉浸体验专门制作的游戏音频会丢失或减弱,整个游戏音质进入到“打电话”级别。

哪怕现有技术可以做到游戏中的实时语音调用媒体音量播放,但由于缺乏回声抵消和降噪处理——回声抵消算法需要精确地了解播放需要的声音和采集需要的声音,而这在传统的游戏开发模式下几乎不可能实现,这会导致游戏中参与多人语音的玩家音频相互渗漏混响,极大影响游戏体验。

对于上述情况,哪怕玩家采用第三方语音沟通,依然会损害游戏音频。

面对这个技术难题,目前有什么解决方案?

针对社交游戏语音通话和游戏内音频一体化处理的技术难题,腾讯云GME团队、腾讯音视频实验室与Audiokinetic公司进行合作,推出了Wwise+GME联合解决方案。

其中Wwise将会利用空间音频,效果器渲染,动态混音等技术为游戏提供沉浸式声音体验,GME的自研音频算法将会负责解决不同通话场景下的语音频果问题,并针对游戏场景背景音频做出特别优化。

https://v.qq.com/x/page/p087527ziaw.html

游戏音频与游戏语音音量类型不同,麦克风打开后游戏音频效果变差

https://v.qq.com/x/page/j0875odvblg.html

使用Wwise+GME联合解决方案可实现游戏音频和语音的完美融合(建议戴上耳机收听)

Wwise+GME的技术联合,相当于把“实时语音或离线语音”和“游戏音频”两条原本并不相熟的独立管线进行了完美融合:通过上、下行链路的技术处理方案,有效解决游戏玩家打开麦克风后引起的播放音量和音质跳变等问题。

2.jpgWwise+GME联合解决方案

在上行链路中,玩家本地的聊天语音流会经过“GME声音采集插件”发送给Wwise,基于Wwise提供的声音频果处理和空间定位功能,游戏端会根据玩家所处的实际环境和需求来对语音流进行处理。处理后将带有特定场景位置信息的的语音流通过“GME网络发送插件”发送至部署在云端的服务器中,进而发送到远端玩家的终端。

在下行链路中,因为下行链路会收到所有队友的N路语音流,此时游戏端根据每一路接收语音在游戏中的实际情况,在“GME网络接收插件”接收语音流后,将语音流通过Wwise进行处理,然后通过“GME播放插件”在本地设备播放。

具体而言,游戏音频策划师只需要在Wwise编辑器里把这两条音频链路的结构搭好,创建Event来控制两条语音链路的开始、停止、暂停和恢复等操作,然后为各个平台生成SoundBank语音及控制库。

4.jpg

之后游戏开发人员在制作游戏时,将本地玩家在游戏中的人物角色绑定到发送链路的相关事件,其它队友在游戏中的角色分别绑定到指定的接收链路的相关事件,从而实现不同音频控制互不干扰。

5.jpg

通过GME和Wwise引擎的数据流交互,游戏逻辑就可以像处理普通游戏中的声音一样来根据游戏场景处理语音数据,规避玩家在实时语音时音量类型跳变的情况发生。

Wwise+GME联合解决方案的优势是什么?

游戏语音的处理有特定的门槛。除了采集、处理、编码传输等技术能力和经验之外,还需要很强的工程实力:解决几千种机型的适配和音频兼容性问题,以及高并发、低延时的处理能力。

经验方面,GME服务过数亿用户级产品,在游戏场景音频编解码器关键技术指标,均处于业界领先水平。

Audiokinetic公司开发的Wwise游戏音频引擎能够显著提升音频创作效率,深受音频创作者的喜爱。在移动游戏市场,像《王者荣耀》、《PUBG》等高品质的音频背后,就有Wwise的技术身影。

作为融合两家技术优势的产物,Wwise+GME联合解决方案具有很强的问题针对性,可以帮助开发者,快速解决实时语音与游戏音频之间的兼容矛盾。这套方案同时具备“开发量小、接入门槛低、可实现全托管、弹性伸缩扩容”等接入优势,可以让开发者将更多精力和资源投入在游戏核心玩法的研发和设计中。

沉浸式音频对游戏来说,是良好体验不可或缺的一环,而随着实时语音通话在游戏中成为了常态,它对开发者做好两者的兼容提出了更大的挑战。在未来,腾讯与Audiokinetic推出的Wwise+GME联合解决方案,或许会有更为广泛的需求和应用。

Alex Matveev
2022-06-06 16:27:13
不合规
审核中
@苏某某: 她在音乐方面的喜好,以及对天文的兴趣,也源于这部动画的影响。一直很喜欢爵士乐的她突然开始想
乐方面的喜好,以及对天文的兴趣,也源于这部动画的影响。一直很喜欢爵士乐的她突然开始想,没有系统了解过此类音乐的她怎么会喜欢上 呢?后来听完《美少女战士》原声带后才发现,“原来我在那么小的时候
评论全部加载完了~