自今年5月宣布原国际版APP下架与国内版合并后,B站在出海之路上又有新动作。在今年世界人工智能大会上,B站公布全新自研的“AI原声翻译功能”,该功能具备多种“黑科技”,有望为其海外市场开拓注入强大动力。
合并APP后,B站公布AI原声翻译功能
今年5月,哔哩哔哩宣布将下架原国际版APP,与国内版合并为一个统一APP,其出海下一步备受关注。在今年的世界人工智能大会上,B站公布了为服务海外用户而全新自研的「AI原声翻译功能」。此功能除了自动擦除中文字幕改为英文、弹幕翻译及各类按钮英文适配等基础文本互译外,还能完美还原UP主的声线、音色、气口,非传统机器音翻译,同时基于翻译语言进行口型模拟。这意味着中文用户观看外语UP主视频或海外用户观看中文UP主视频时能无差别体验原汁原味的“本地化”翻译视频。后续,B站还将视需求把日语等语言加入该功能中,持续扩展在海外市场的适配能力。
多项技术助力,攻克功能核心挑战
据悉,B站「AI原声翻译功能」中,跨语言声音还原技术源自内部代号为「IndexTTS2」的语音生成模型 。该模型引入新颖、通用且兼容自回归架构的语音时长及情感控制方法,支持指定token数量,精确调控语音时长,降低翻译任务难度,还对情感表达与说话人身份有效解耦,高质量复刻原片语音情感。为攻克在游戏、二次元等专名梗点密集领域中原风格精准保留与语音时长完美对应的核心挑战,B站技术团队基于大语言模型(LLM)构建翻译引擎,独创性基于语音时长匹配、原声翻译标准与UP主独特风格构建多目标奖励模型,并采用对抗式强化学习(RL)训练驱动模型持续进化与精准适配。同时,引入Deep Research深度挖掘技术,解决专有名词与流行梗点的翻译难点,确保译文准确、地道、传神。字幕擦除部分结合先进的多模态大模型OCR技术和基于STTN网络的视频重绘技术,实现字幕区域的精准检测与高还原度擦除。
功能引发关注,或成出海关键一步
B站的“AI原声翻译功能”引发广泛关注。有观点认为,该功能是B站加速“出海”的关键一步。过去,语言一直是B站内容出海的“绊脚石”,优质视频因翻译粗糙在海外遇冷,UP主做多语言版本费时费力。如今有了AI“一键搞定翻译 + 配音 + 口型”,相当于给内容开了“无障碍通道”,中国的搞笑日常、知识干货、生活技巧等内容,或许能更顺畅地被全球网友看到。不过,也有人担心AI复刻声音可能会被滥用。
以上文章由 AI 总结生成