为业务场景打造技术矩阵，网易智企畅谈融合通信与 AI 商业化 ...

落蕊重芳

在 QCon 全球软件开发大会 2022·上海站上，一场特殊的专题吸引了与会者的目光。
与其他以个人身份参与的出品人不同，《融合通信技术探索与 AI 技术商业化实战》这一专场的出品人是一个略显神秘的“技术俱乐部”——网易智企技术委员会。
设立 7 大分委会，专注前沿技术的协同式创新

网易智企技术委员会是由网易智企内部各个事业部研发代表组成的全公司技术工作的保障机构和技术标准审议机构。委员会为提升网易智企研发组织效能而生，专注于前沿技术的协同式探索，以提升企业自我创新能力和产品开发能力为宗旨，促进公司技术进步，下设有音视频、大前端、服务端、大数据、AI、QA 和效能七大分委会，是推动网易智企整体技术实力增长的重要驱动力量。
网易智企技术委员会自成立以来，已取得了一系列成果。以开源协同为例，网易智企于今年推出了一项“易+”开源计划，并先后开源了网易会议组件、低延时直播方案、GameSentry 工具。其中，网易会议组件能帮助各行各业用户快速构建稳定可靠、高清易用的专属会议系统；低延时直播方案成为业界首个开源的低延时直播方案，推动着直播行业的整体发展；GameSentry 则是游戏安全战场的“哨兵”，守护游戏安全的第一道防线。
这是网易智企技术委员会协同共创的一个缩影，将内部技术和经验转化为外部生产力，促进内部研发效能提升，推动业务快速发展。
在 QCon 上海站，网易智企技术委员会首次化身为专题出品人，畅谈融合通信技术与 AI 商业化最佳实践。


畅谈融合通信技术与 AI 商业化的最佳实践

云通信技术创新与人工智能技术实践是网易智企长期深耕的重要技术领域，也是业内高度关注的技术热点。
本次专题由网易智企技术委员会与 InfoQ 联合打造，围绕融合通信技术的落地实践与 AI 技术商业化实践两大主题，邀请了来自网易智企的四位专家，分别分享 AI 生产增效、新型 IM 系统建设与优化、4K/8K RTC 技术、AI 赋能 SaaS 场景等主题，赢得了现场观众的热情参与互动和广泛好评。




1 AI 服务效率升级，在智能数字内容风控中实践 AI 生产增效

音视频等感知类人工智能算法在实际业务应用过程中，标注数据的收集与积累、模型的训练与调优、线上服务部署与管理等生产过程的效率仍待提升。随着应用的深入与规模的扩大，生产效率已经成为人工智能商业化过程中的关键因素。
本场专题论坛上，网易智企算法专家李雨珂博士带来了题为《AI 服务效率升级，在智能数字内容风控中实践 AI 生产增效》的演讲，分享网易易盾如何通过技术驱动效率升级来生产出更普惠的人工智能服务能力。


李雨珂博士表示，基于 AI 的数字内容风控技术发展历经坎坷。网易易盾经过长期算法调优和技术沉淀，逐渐积累了很好的数据收集渠道、硬件部署能力、算法定制方案等资源，如今已经达到了出色的实用效果。最近，团队将工作重心更多转移到了 AI 生产效率优化方面，并在数据获取、算法方案与服务部署三大层面积累了充足的经验。


在数据获取方面，网易易盾升级了数据流程，在流程前期通过学习方式的改进寻找更有效的标注方法，之后通过多模态融合和跨模态检索等方式提升数据的收集效率，最后基于这些数据的特点设计更优异的训练方法。在数据生成方向，网易易盾还会同其他图文生成方向的团队做联动研究。
算法方案部分，团队区分了简单案例和复杂案例，分别采取对应的处理方案，例如复杂案例会进入更深层次的网络做更精细的判断。团队还发展了一体化的解决方案，引入了弱监督方法与二次识别判断。训练方法也做了对应设计，通过联合训练保障了较好的学习连续性。


服务部署层面，团队通过动态输入与多实例操作大幅提升了整体计算性能，再结合 GPU 计算优化等手段控制了硬件投入成本。总结而言，网易易盾基于动态和细粒度的思想来做了数据收集整理、网络推理和服务调度，实现了生产增效的目标。
未来，网易易盾会继续改进服务加速框架，改善多模态方案，并提升知识融合能力，希望能在面对新的业务需求时快速发展对应的生产能力，并将这些技术成果反馈给社区和更多用户。
2 新型 IM 系统建设和，呼叫场景优化的探索及实践

在业务出海热潮背景下，行业对通信技术的深度融合与优化提出了更高要求。与此同时，IM 即时通讯业务也产生了新的形态，需要通信云厂商发展对应的解决方案。
本专题论坛上，网易云信服务器开发专家曹佳俊发表了题为《新型 IM 系统建设和呼叫场景优化的探索和实践》的分享，介绍网易云信在呼叫场景优化、类 Discord 系统建设等方面的技术探索和落地实践。


曹佳俊介绍，呼叫是融合通信的典型应用场景之一，涉及业务非常广泛，非常值得进行深入优化。呼叫能力的优化痛点主要有提升呼叫的到达率/接通率，以及降低呼叫的延迟/首屏时长。
● 针对前者，网易云信通过在线实时通知、离线推送、自定义通道和运营商线路四板斧，全面提升了呼叫到达率；
● 针对后者，通过分析呼叫的流程和各流程的特点和耗时分布情况，针对呼叫信令服务器、RTC调度服务器和 RTC媒体服务器分别采取了不同的优化策略，从而降低了呼叫延迟，提升了首屏速度。


与此同时，面向跨国/出海场景，网易云信还通过对呼叫信令服务器进行技术架构升级，通过服务下沉和边缘直连等多种技术手段，优化了出海场景的呼叫信令服务器的呼叫延迟。
网易云信还探索开发了类 Discord 的 IM 圈组产品的 PaaS 能力。团队设计的圈组产品与 Discord 类似，使客户能够很简单快速地接入服务。


曹佳俊认为，圈组系统不同于传统的群组和聊天室，他已经不仅仅是一个简单的新型 IM 系统，更是一个复杂的社群系统；在技术上，同样也有一些新的挑战，包括以下关键系统的建设：成员关系系统、消息系统、身份组权限系统等。
圈组和 RTC 的融合也是圈组系统建设中的重要一环，两者的融合不仅仅是业务上的融合，更需要底层技术的打通。网易云信通过 QChatMedia 这样的插件化的模块来引入 RTC 能力，用户可以按需选择；此外，通过底层打通账户系统、关系链、权限系统、房间/信令等，从而避免业务方在上层进行复杂的业务逻辑封装。
曹佳俊最后表示，融合通信是一个很广泛的概念，今天只是选取了呼叫和圈组两个点进行了介绍，网易云信未来将不断打磨技术，努力提供更优质的通讯服务，伴随客户一同成长。
3 4K/8K RTC 技术探索及实践

随着通信技术发展成熟，4K/8K 超高清实时音视频通信技术业已成熟，行业需求纷至沓来。云游戏、远程协作、远程医疗等业务都需要低延时、高流畅的 4K/8K RTC 技术支持。
专题论坛上，网易云信音视频引擎开发专家朱明亮在题为《4K/8K RTC 技术探索及实践》的分享中总结了网易云信视频引擎在这一领域的成果经验。


目前，行业对 4K/8K 超高清通信技术的需求主要集中在云游戏、远程医疗、远程协作几个方面。网易云信针对行业需求开发了新一代音视频 SDK 架构，而 4K/8K 主要涉及上行 Pipeline 的改造，优化点集中在桌面捕捉、摄像头采集、前处理、编码、VQC 几个层面。


4K RTC 在桌面端针对 Windows 和 Mac 平台落地。网易云信设计了两大平台的硬件编解码实现，优化了桌面捕捉流程。具体的优化层面包括屏幕共享模块、视频前处理、 大小流（Simulcast）机制、视频质量控制（VQC）策略、网络和服务端等。经过优化，桌面端 4K 60 帧捕捉的 CPU 消耗降到 15%，GPU 编码消耗约 73%，可实现稳定 的 60fps 采集、编码和发送。


网易云信还应客户要求，进一步探索和实现了 8K RTC 摄像头采集流程。团队优化了摄像头捕捉模块和常规的实现方案，优化后在 Intel 集显平台上达到了 8K@20 fps 的实际编码发送能力。进一步提出新方案，摄像头直接发送原始码流，同时充当采集和编码模块，可提升8K RTC的流畅度，且能自适应网络。VQC 模块直接作用到 Camera 模块，可控制摄像头的分辨率、帧率、码率等参数，还加入了关键的 IDR request 功能，使实时会议中新加入的用户无需等待即可看到画面。
网易云信与新华三共同打造的“医科通”产品，已落地到了多家三甲医院，满足了多科室远程会诊、跨院远程诊疗等业务需求。朱明亮最后表示，网易云信的 4K RTC 技术已经可以满足客户对 4K@ 60 fps 的业务需求，而 8K RTC 技术未来将同合作伙伴共同开拓更多极致高清商业场景。
4 AI 技术如何赋能，服务营销一体化 SaaS 场景

近两年，AI 普遍应用于企业与消费者沟通的场景，但在利用 AI 辅助营销和服务客户的过程中，看到成效的并不多。
本专题论坛的最后，网易云商自然语言处理专家冯旻伟带来了题为《AI 技术如何赋能服务营销一体化 SaaS 场景》的分享，聚焦于智能服务和营销行业面临的挑战，以及 AI 技术赋能企业变革和业务创新的路径。


冯旻伟认为，AI 技术在 SaaS 行业中的落地在当前形势下正面临瓶颈，需要更加关注客户自身痛点和需求。总结而言，客户主要面临 AI 技术不够成熟、建设成本高、应用门槛高这三大问题。网易云商给出的对应解决方案就是通过 AI 降本增效、拓展行业边界和加快业务出海速度。


AI 技术可以替代人类完成很多重复简单任务，并协助人类执行复杂任务。例如智能客服机器人可以提取人工客服对话关键信息，构建知识库，扩展机器人的自动回答能力，从而实现降本增效目的。AI 技术还可以利用数据分析挖掘海量信息的价值，协助客服部门从成本中心向利润中心转型。


在出海场景，网易云商通过 AI 技术提供了多语种处理能力，并协助客户解决了海外智能客服场景接入的问题。
冯旻伟接下来总结了大模型技术和生成式 AI 两大前沿 AI 技术为企业带来的机遇。网易云商认为，由于大模型技术构建成本较高，中小企业难以负担，因此 SaaS 场景中主要需要关注大模型的平民化和必要性。生成式 AI 是最近热度非常高的另一大前沿技术。生成式 AI 可以应用在图像生成、文本和语音生成等场景，对内容创作甚至整个 AI 产业都会产生深刻影响。例如，未来 AI 从业人员可以使用生成模型来生成大多数训练数据。大幅减少数据的采集与购买成本。
总结来看，SaaS 行业正在面临非常激烈的竞争，AI 技术要落地就需要证明自身能够提供清晰的价值。冯旻伟认为，SaaS 服务方可通过上述三大发力点探索 AI 落地，并持续关注大模型技术和生成式 AI 技术的发展。
尽管 QCon 上海站《融合通信技术探索与 AI 技术商业化实战》专场现场已落幕，网易智企会将本次专场所有讲师的内容干货整理编排，以便更全面地分享给大家，欢迎持续关注。

希望在身边

不错 支持下

静一面虚妄

小白一个 顶一下