市面上的语音助手大多先把人声转成文字,交给文本大模型处理,再合成语音读出来。由前推特联合创始人 Jack Dorsey 推动的语音模型 Dessa 绕开了这一步,让对话能力直接从声音中学。Dessa 是 Block 旗下的研究团队,只做 AI 研究,直接向创始人汇报;Block 的主要业务是 Square、Cash App 等支付产品。

绕开文字的语音模型,与正在提速的语音助手

团队给出的理由是,文字会过滤掉大量信息:一句话被固定成静态字符,而声音每次响起都不相同。据 Block 介绍,Dessa 能边听边说、自然插话,会给出“嗯”“是的”这类附和,还能在一台配备 M4 Max 芯片的 MacBook Pro 上本地运行。训练细节和模型规模尚未公开,外界难以判断这条“语音到语音”路线的上限。

同一时期,商业模型走的是另一条路。10 月中旬,OpenAI 更新语音模型 GPT-Live,改善了 ChatGPT 客户端里多语言口音的自然度,并在开发者 API 中新增九款音色,包括日韩口音英语,支持用文字描述定制声音。几乎同时,xAI 推出主打实时端到端语音交互的 Grok Voice 3.0。与 Dessa 完全不碰文字不同,这类模型更看重文本推理底子与原生语音能力的结合。特斯拉车主可以直接在车机上和 Grok 对话,不必打开手机 app。

这些模型优化的一个关键点是半秒钟。打字时多等半秒影响不大,通话里半秒沉默就可能改变对话走向,Grok Voice 3.0 的评测中,半秒正是优化目标。车载空间和客服热线是目前的主要场景。据 xAI 披露的内部运营数据,这套系统除处理大量特斯拉车内对话外,还承担 Starlink 每天约 2 万通客服来电,约七成问题无需转接人工即可办结。

语音电脑在科幻作品中早有想象:《银翼杀手》里 Deckard 对着图像分析仪下口令,《Her》中的 Samantha 从执行指令的机器变成陪伴者。早年的手机语音助手只能设闹钟、查天气,智能音箱最常做的也是放音乐和倒计时。直到大语言模型与语音 Agent 结合,机器才开始听懂自由的口语,能帮用户收发短信、预约餐厅,也能按开发者的口头描述调用编程工具修改代码。