RTE2024：聚焦Gen AI时代的RTE，声网发布RTE+AI能力全景图

　　。总体而言，云的产品形态，本质是计算和传输的平衡。贾扬清指出，在 AI 云的形态下，实时的交流和智能的结合在用户体验环节非常重要。毫不夸张的说，实时将直接与生产力划上等号。

　　企业在构建自己的大模型自主性上，到底该如何决策？贾扬清强调，企业应该将开源和闭源大模型都纳入考虑范畴。采用开源模型+定制化的优势不仅仅是具备更强的可定制性，还有更低的成本以及更高的速度，开源+定制化能够达到比闭源模型更好的效果。

　　在已经到来的 AI 时代，现代化基础设施应该是什么样？声网首席科学家、CTO钟声提到，大量用户设备往往会先接入边缘节点、并在需要的时候再接入云端，数据将在端设备、边缘节点和云之间往返传递。AI 时代的数据中心会包含以大量异构算力组成的超级计算集群。但是，停留在仅依赖超级计算集群的系统是远远不够的，万亿参数、多模态引入所造成的高昂计算成本、缺乏机制约束的数据隐私保护、几秒钟的延时都将阻碍大模型的普惠，极大地限制其在很多场景下的应用。

　　钟声认为，分布式端边云结合的 AI 系统将有效解决这些痛点。这个系统将把计算和传输在各节点做合理地配置，系统会智能地以自适应的方式把任务编排到端与边上执行，非常有效地降低了成本，同时提供了更低延时、更高网络抖动容忍度、优秀的抗噪声能力，并且完整的用户数据只会保留在端上。

　　分享过程中，钟声还在大会现场演示了一个由STT、LLM、TTS 、RTC四个模块组成的端边结合实时对话AI智能体，这也是全球首次有厂商在比日常实际场景更具挑战的环境下展示实时AI 对话能力。大会现场观众规模超过千人，面临复杂的噪声、回声、麦克风延迟等困难，但智能体与钟声的互动仍然表现出了优秀的对线G网络环境下实现了流畅、自然、有趣的双向实时对话，对话模型的极快响应速度、及时打断与被打断的自然程度、对抗噪声能力、遵循语音指令做等待能力都非常突出。

　　正如钟声在最后分享的，随着端设备的多样化以及能力的提升，AI 基础设施会变得更优化合理，使得 AI 无处不在，AI助理、AI分身帮助我们有效缓解时间稀缺性，改善工作效率和生活体验。

　　AI 的6000亿美元难题，一直都是整个行业非常关心的话题，在圆桌讨论环节中， 五位嘉宾一起探讨了从 AI 基础设施到 AI 商业化落地的机会与挑战。

　　针对商用大模型和开源大模型未来的发展趋势，贾扬清分享了两个核心观点：其一，同等质量模型的Size会变得越来越小，计算效率会越来越高，模型架构也会变得更加开放和标准。其二，除了极少数头部公司之外，越来越多的企业会采用开源架构来做下一代模型。因此，开源架构的应用会变的越来越普遍，通过开源架构训练出来的模型也都会有各自不同的风格。

　　王铁震则表示，我们将在未来看到越来越多 Infra 和 Realtime 的工作，大家不仅需要关注开源模型本身，还需要重视开源模型的基础设施和数据闭环，才能把开源模型跑得更好、更快。Realtime 需要TTS、也需要大模型，如果能够通过一些方式放在一起，放在边缘侧、离用户更近的地方，才能产生非常好的效果。

　　关于如何看待音多模态模型的实际应用潜力，魏伟表示，随着多模态的出现，生成式人工智能的边界一定会被继续拓展，并加速这一产业的变革。从产品和用户服务过程中魏伟发现，文本、语音、音乐、这些模型可以很好的帮助艺术、影视、音乐等领域的创针对大模型技术巨大的成本使用问题，曾国洋，随着技术的前进，算力一定会变得越来越便宜，相同能力的模型规模也会变得越来越小，但算力成本优化会最终转化为训练更强大的模型。真正达到 AGI 水平之前，我们只能感受到模型在变得越来越强，很难感受到成本的变化。他还提到，由于面壁智能是做端侧模型的，所以很关注如何让模型在端上跑得更快，在实际部署过程中，他们会用各种量化压缩甚至是稀疏化方法去优化实际部署的开销。

　　总结来说，Tony Wang 认为想要推动 AI Infra 到模型、再到商业化落地，技术驱动和成本是最核心的两个点。此外，在产品真正走向市场的过程中，流量和口碑也是关键。

　　过去十年，声网不仅见证并推动了 RTE 从一个理念变成一个行业的过程，更身体力行的打破了国内实时音领域无行业会议、无专业书籍、无专业媒体及社区的三无状态。自此，RTE 大会迈入第10年，行业首本系统介绍实时互动的技术型科普图书于今年8月正式出版，RTE开发者社区也正在秉持着“开放、连接、共创” 的理念加速实时互动和 AI 的共生。

　　未来，声网将继续和大家一起，站在全新的起点、拥抱繁荣且充满挑战的 AI + RTE 新时代。