fishspeech是一款创新的开源TTS解决方案，支持中文、日语和英语的语音合成，并能基于热门角色生成声音。是Fish Audio开发的开源文本转语音模型。经过十五万小时的数据训练，熟练掌握中文、日语和英语，语言处理能力接近人类水平，声音表现形式丰富多变。作为一个仅有亿级参数的模型，能够在个人设备上轻松运行和微调，成为私人语音助手。

一、基本功能

1. 文本转语音：能将输入的文本快速转换为自然流畅的语音，支持多种语言文本输入。
2. 零样本&小样本TTS：只需10-30秒的声音样本，即可生成高质量语音，满足语音克隆需求。
3. 多界面支持：
   WebUI：基于Gradio的网页用户界面，兼容Chrome、Firefox、Edge等主流浏览器。
   GUI推理：提供PyQt6图形界面，可与API服务器无缝协作。
4. 自定义训练：用户可上传自己的语音样本，或选择海量音色库中的人物音色，还能点击“构建声音”标签进行声音训练，支持私有训练。
5. 超高准确率：在5分钟的英文文本上，字符错误率（CER）和词错误率（WER）仅约2%。

二、技术特点

1. 多语言支持：支持多达13种语言，包括英语、中文、日语、韩语、法语、德语、西班牙语等。
2. 低显存需求：仅需4GB显存即可在个人设备上运行和微调。
3. 先进架构：
   DualAR架构：采用串行快速慢速双自回归架构，增强了序列生成任务中分组有限标量向量量化的稳定性，同时保持高保真输出。
   FFGAN：开发了一种新的声码器架构，基于GFSQ，实现了卓越的压缩比和接近100%的码本利用率。
4. 大规模预训练：使用了100万小时的多语言训练数据，使模型能够学习到语音的细微差别和复杂模式。
5. 快速推理：延迟低于150ms，满足即时语音克隆的需求。
6. 开源共享：代码和预训练模型完全开源，开发者可以自由探索、修改和定制。

三、不足之处

1. 资源需求矛盾：虽然最低系统配置要求不高，但要实现高速推理比较吃资源。
2. 字符长度限制：对字符长度的支持有限，每次文本转换的长度较短。
3. 生僻词处理欠佳：在处理生僻词时可能存在一些问题，语音合成效果可能不如常见词汇。

四、应用场景

1. 智能助手和聊天机器人：为Siri、小爱同学等虚拟助手提供自然、富有表现力的声音，提升用户交互体验。
2. 无障碍技术：为视障人士提供高质量的文本朗读服务，帮助他们更便捷地获取信息。
3. 教育领域：创建个性化的语音教学内容，支持语言学习和远程教育，如制作英语听力材料等。
4. 内容创作：为播客、有声书和视频配音提供便捷的语音生成工具，降低创作成本。
5. 游戏开发：为游戏角色生成动态对话，增强游戏的沉浸感，比如为角色扮演游戏中的NPC配音。
6. 客户服务：在自动化客户服务系统中提供自然的语音交互，提高服务效率和质量。