你是否经历过这样的场景：当你正处于“停电”状态，指挥队友有序向“敌人”后方前进时，你的声音突然消失，让你陷入孤立无援的境地因为你无法联系你的队友，你就会失去你的朋友。比赛，不得不吞下失败的苦果……
随着手游产品的爆发，游戏内语音交流已成为各国玩家社交的必需品，也成为定义“优质游戏”的重要因素之一。近年来，游戏内语音交互已成为许多游戏厂商的重要因素。关注的焦点。
近日，腾讯游戏发布了最新的游戏语音技术解决方案。腾讯游戏Photon S Studio 《和平精英》团队携手腾讯AI Lab、腾讯游戏CROS GVoice（腾讯游戏语音）团队，在基于深度学习的语音编解码方面不断取得突破。将AI Codec应用于《和平精英》款游戏，在业界率先实现AI Codec更低码率、更高质量的语音编码，成为首款将AI Codec技术全面应用到游戏语音领域的产品。
弱网络环境下的语音通信成为“勒索”的痛点
iiMedia Consulting此前对手游社交相关数据的统计显示，近40%的玩家因为社交因素选择游戏； 15.6%的玩家因为社交性差而选择离开游戏。因此，提升游戏的社交属性成为了各大游戏厂商的重要任务。
作为减少玩家“孤军奋战”感觉的有效手段，游戏语音自问世以来就受到了玩家的喜爱。手游时代，玩家对手机游戏语音传输的质量、延迟时间、使用环境等提出了改进意见。要求越来越高。
事实上，实时语音通讯技术在业界并不是一个新鲜话题，但游戏中的实时语音通讯不仅仅是简单的实时通话。 “好”的声音最重要的是聆听质量满足人的听觉要求。在此前提下，传输码率越低，用户消耗的流量就越少；占用的计算能力越少，CPU的能耗就越低。越少。
游戏语音传输技术发展至今，一直在两个方面寻求突破。
首先是如何在网络较弱的恶劣环境下保证语音通信的顺畅。这是游戏语音技术面临的重要问题。在相同的收听质量下，语音信息的比特率越低，其传输的一致性就越有保证。也就是说，低码率更适合弱网络环境。
其次，算力的损耗也是游戏语音需要考虑的因素。由于重型游戏对CPU运算能力的要求较高，如何利用语音功能尽可能降低CPU占用率，同时保证用户的沟通体验，又不会过度挤压游戏运算和运算资源，就成为其中之一。的关键.
人工智能为游戏声音添加“BUFF”
当语音激活、游戏社交成为迫切需求时，国内外众多科技公司也开始涉足这一领域。
在保证语音质量的前提下，传统的音频解码技术Codec致力于使用更少的网络带宽资源和更低的传输比特率来传递更加保真的语音信息。随着深度学习技术的发展，完全基于神经网络的语音编码器逐渐取代了传统的基于信号处理的方法，成为业界前沿的解决方案。在此基础上，基于人工智能技术演进的AI Codec也越来越受到业界的关注。
为了在游戏内语音交互中加入人工智能“BUFF”，游戏行业也做出了很多尝试。例如，业界常用的Opus声音编码格式在低比特率语音信息的传输中表现并不理想。 2019年，业界出现了一些超低码率的AI Codec，可以以极低码率压缩语音，但恢复的语音质量并不理想。
谷歌也将目光投向了这一领域。 2021年初，谷歌发布了基于自回归网络的AI Codec Lyra。 Lyra可以在低码率传输的同时保证音效，但无法提供高质量的实时通信，且算法存在延迟。半年后，谷歌发布了新的AI Codec模型SoundStream。与Lyra相比，SoundStream提高了语音传输质量，但由于模型复杂度较高，无法在大多数手机上流畅运行。
首款游戏移动端AI Codec语音技术上线《和平精英》
与此同时，国内厂商也在积极探索更好的游戏内语音交互解决方案。
作为国内领先的战术竞技手游，《和平精英》一直致力于提升游戏品质，优化玩家游戏体验。其中，游戏语音因其应用场景众多，使用率非常高。语音质量对核心游戏体验有着至关重要的影响。一直是《和平精英》团队最关心的功能。
2021年底，《和平精英》团队携手腾讯AI Lab、CROS游戏语音GVoice团队，正式成立GVoice AI Codec研发项目。新项目基于腾讯音频及语音处理Oteam在语音编解码方向的技术积累，致力于实现高质量、低成本、码率低功耗的实时游戏语音环境。通过针对游戏场景的深度优化，GVoice AI Codec在游戏场景下的语音处理算法比传统即时通讯软件具有更好的音质表现，并且在弱网环境下，以低码率保证音质表现不受影响。确保它可以在移动设备上运行。
腾讯游戏语音GVoice是腾讯游戏CROS针对游戏打造的语音解决方案。数据显示，GVoice服务目前覆盖全球200多个国家和地区，日活跃用户超过3亿。相关解决方案已应用于《和平精英》 《英雄联盟手游》 《天涯明月刀手游》等数千款游戏。 GVoice AI Codec技术也将逐步扩展到其他游戏中，以提高语音通信的流畅度，改善弱网络环境下的用户体验。
据了解，GVoice AI Codec通过自主研发的编解码模型算法实现了传输带宽的压缩，并用5-12kbps的AI Codec替代了原来的24kbps Opus。用户的主观听觉体验没有明显差异。这意味着GVoice AI Codec在保证音质的同时，传输码率较低，流量也较少。
在算力消耗方面，GVoice AI Codec需要采用这种计算复杂度和资源占用极高的编解码方式，通过模型压缩、量化、并行计算、移动终端指令集适配等工程措施，不断降低算力和消费。资源开销满足移动终端实现的要求。数据显示，GVoice AI Codec在一加3手机上进行双工通话测试，与Opus格式相比，CPU使用资源提升约2.3%。在iPhone 6s 下测试时，使用GVoice AI Codec 后CPU 使用率增加了约1.3%。这说明GVoice AI Codec用极低的CPU占用率增幅，换来了手机较低流量的高质量实时通话。
（左图为原始语音，右图为GVoice AI Codec编码解码后的语音。从波形来看，右图语音保真度较高，主观听感接近原演讲）
《和平精英》应用GVoice AI Codec技术后，整体语音服务质量得到进一步提升。首先，通过优化语音流量，GVoice AI Codec可以大幅提升玩家在交通、户外活动等弱网络环境下的语音流畅度，避免激烈战斗时麦克风故障和中断。其次，由于采用了AI模型算法，GVoice AI Codec相比传统语音算法将改善人类语音传输。在《和平精英》中，玩家之间的语音沟通效果将更加清晰，无论是战术配合还是多人聊天。所有人都有更好的社交体验。项目组在不同噪声环境、各种游戏场景下进行了多轮语音测试，结果显示获得了较好的玩家反馈。
从游戏开发的角度来看，GVoice AI Codec在《和平精英》上的成功落地，为更多游戏语音技术研发成果的落地奠定了基础，使得将相关技术扩展到更多游戏中成为可能。
没有社交，没有游戏。可以预见，随着云游戏、VR/AR等更多游戏品类的出现，GVoice AI Codec技术也将在更多品类的游戏体验中发挥越来越重要的作用，成为新的行业标准。
