6 月 1 日，阿里云宣布通义大模型进展，聚焦音视频内容的 AI 新品“通义听悟”正式上线，成为国内首个开放公测的大模型应用产品。
AI 新品“通义听悟”上线
听悟融合了十多项 AI 功能，可以全面提升知识从音视频向图文形态转化的效率。除了“听力好”，能高准确度生成会议记录、区分不同发言人，这个 AI 助手“悟性也极高”，大模型可以一秒给音视频划分章节并形成摘要、总结全文及每个发言人观点、整理关注重点和待办事项。大模型一键提取 PPT、针对多个音视频内容向 AI 提问、概括特定段落等功能近期也将上线。
图：阿里云 CTO 周靖人（左），听悟技术负责人鄢志杰（右）
针对一些细分场景，听悟还设置了不少“宝藏功能”：打开 Chrome 插件，外语学习者和听障人士可以借助双语悬浮字幕条随时随地看无字幕视频，日程时间冲突时，听悟还可成为职场人士的“开会替身”，在静音情况下入会 AI 可代为记录会议、整理要点；转写结果可下载为字幕文件，方便新媒体从业者视频后期制作；听悟梳理的问答回顾可以让记者、分析师、律师、HR 等群体整理访谈更高效。
另一显著优势是，听悟与阿里云盘打通，一键就能转写云盘上的音视频内容，公测期间注册的听悟用户后续还将获得更大的阿里云盘存储空间，在云盘内在线播放视频时也可自动出字幕。
据周靖人介绍，听悟集成了阿里最先进的语音和语言技术。其内置阿里新一代工业级语音识别模型，识别准确率在多个权威中文数据集上名列第一；融合自研语音语义多模态说话人算法，能对 10 人以上说话场景进行角分；接入通义千问大模型后，能够对上万字的音视频内容进行摘要总结，事实准确与要点完备性国内领先，支持跨多音视频内容的精准问答理解。
听悟技术负责人鄢志杰则对记者表示，通义听悟的前身是阿里云内部一个名为“听悟”的产品，主要为投资部、HR 等部门做项目会议的音频转写功能，在 2022 年，这款产品的潜力逐步被挖掘，内部开始思考其工具属性是不是要发生变化。
阿里云通义千问大模型特色
阿里云通义千问大模型是一种大规模预训练模型，旨在解决智能对话、知识图谱推理和其他多模态任务。大模型的一个关键特性是能力泛化，能够适应各种新情景和任务，而不仅仅局限于训练时所遇到的特定任务。这一点使得通义千问大模型在各种不同的应用场景中都可以发挥其优势。通义千问大模型具有几个主要特性。首先，它具有强大的知识理解和获取能力。无论是结构化知识还是非结构化知识，模型都能有效理解和抽取，提供精确和准确的答案。其次，模型具有卓越的泛化能力，无需进行特定任务训练即可进行多模态理解和推理。此外，模型还能够根据给定的情境理解用户的需求，提供相关的、准确的答案。最后，模型具有显著的自适应能力，可以根据不同的应用场景和用户需求进行自我调整。
动辄超千亿参数的大模型研发，不是单一的算法问题，也不是靠简单堆积 GPU 就能实现的，这是囊括了底层算力、网络、存储、大数据、AI 框架、AI 模型等复杂技术的系统性工程，需要 AI- 云计算的全栈技术能力。阿里是全球少数在这几个领域都有深度布局、长久积累的科技公司之一，也是为数不多拥有超万亿参数大模型研发经验的机构。
算力层面，亚洲第一、全球第三的云计算服务商阿里云，为阿里大模型的研发提供了国内实力最强的算力体系支撑。阿里云拥有中国唯一自研云操作系统飞天，单集群可达 10 万台规模，千亿级文件数，EB 级别存储空间。阿里云已在全球建立了 28 个数据中心，是亚洲规模最大的云计算平台。2021 年 12 月，国际权威机构 Gartner 发布报告，全面评估全球顶级云厂商整体能力。阿里云 IaaS 基础设施能力拿下全球第一，在计算、存储、网络、安全四项核心评比中均斩获最高分。
周靖人称，各行各业的生态伙伴都可以结合自己的行业知识及场景需求，对千问大模型进行再训练和精调，打造专属大模型，并集成进自己的行业整体解决方案中。千问专属大模型具有定制化、易集成、可微调、强安全等特点。
专属大模型训练过程中，阿里云如何保障伙伴和企业的数据安全？周靖人表示，阿里云将提供安全可隔离的专属数据存储空间，通过服务器端加密机制，实现高安全性、高合规性的数据保护。伙伴和企业可以上传自己的行业数据，并调用千问进行重新训练。这些数据不会被用于训练通用版的千问大模型，阿里云和任何第三方都无法触碰。
训练完成后，通过完善前端提示工程，专属大模型还可以通过 Web 界面和专属 API 向垂直领域的各类企业、开发者提供应用服务，比如通晓行业知识的智能客服、导购、咨询专家、创作助手、工业 机器人 等。
文章由芯榜独家报道
原文链接：https://caifuhao.eastmoney.com/news/20230602103158761413950
