点任意格子播放,再点一次暂停。格子下方的“读错率”是用语音识别转写后按拼音比对的结果,越低越好;超过 10% 通常能听出明显错字、漏字或乱读。
按段落逐段合成后拼接(和 App 里实际的做法一样),播放时高亮当前段落,点段落可跳转。
同一段戏,旁白、女主、男主、系统提示各用一个音色,逐句合成再拼起来。“原始拼接”是模型直接输出;“响度对齐”切掉句子两头多余的静音,把每句音量调到一致,换人时多停 0.2 秒。角色是手工标注的,这里只看配音效果。
前面的克隆用的是 AI 生成的参考音。这里换成模型仓库自带的公开示例录音(第一行可以听原声),每个模型读同一段 168 字原文。格子里的数字是和原声的声纹相似度,0.8 以上基本可以认为是同一个人。克隆真人声音用于产品时必须取得本人授权。
克隆类模型需要先给一段参考音。这里用 OmniVoice 的声音设计按“性别 / 年龄 / 音高”生成了五段参考音,再交给每个克隆模型去模仿,保证对比公平。实际产品里可以换成真人录音。
单路在 RTX 4090(24 GB)上实测。“实时率”= 生成耗时 ÷ 音频时长,1 以下才能边生成边播放。显存是 PyTorch 向显卡申请的峰值。“单路成本初算”按整章单路耗时 × ¥2.08/小时算,并发后会更低,压测完成后以压测为准。
主要原因是许可证不允许商用、不支持中文,或者体量太大不适合听书场景。