ai怎么训练声音ai怎么训练声音变声
发布网友
发布时间：2024-07-03 19:29
我来回答
共1个回答
热心网友
时间：2024-08-11 11:14
1.
投喂声音首先，要找到一个可用的AI语音模型。考虑到实际情况，模型需要有三个特点：好上手、免费、效果好。目前，主流的AI语音模型分为两种路线，SVC和TTS。SVC全称Singing Voice Conversion，是指在不改变文字内容的情况下，转换声音，比如让伍佰去唱王菲的歌。TTS全称Text-to-Speech，翻译过来叫做文本生成音频。这种方式大家比较熟悉，抖音上，有许多应用TTS技术的视频。比如配着大叔口音的搞笑视频，再比如主人公叫小帅、小美的三分电影解说。特点就是声音带着机械感，可选模板比较少。而我们要做的AI定制声音，是TTS的高级进化版，想用谁的声音朗读，就可以用谁的声音。实现这个效果，第一步就是“投喂声音”。先做一些前期准备，AI想学习你的声音，首先要听你的声音片段。对声音数据的要求是无杂音、清晰、wav格式，单段时间长度在2秒以上，10秒以内。如果是苹果手机录制，录音文件格式是m4a，需要用音频转换工具进行转换。如果是网上下载的声音，比如周杰伦的声音，那么要用音频切分工具，对声音数据进行切分，保证正常时长之内。当你准备好2-10段投喂声音(素材越多，声音越准，但不要超过10段)，就可以进行下一步了。
2.
启动模型投喂声音准备完毕之后，开始训练声音，我们选用的训练模型是“有手就行”，一款免费的国产声音训练模型。“有手就行”部署在百度平台飞桨上，相当于我们的模型远程运转在百度云服务器中。让我们开始吧，在 搜索框里输入 “【有手就行】使用你自己的声音做语音合成”。双击项目，进入项目页面，点击右上角的运行一下，启动项目。期间会跳出运行环境选择的弹窗，这一步最好选择32G或以上的环境运行，最大限度减少微调过程的报错次数。需要注意的是，使用服务器，需消耗算力卡点数，每天用户可获得8点免费额度，点数消耗完，则需要充值。如果是测试使用，免费算力点已经足够。操作完成后，你会跳转到main.ipynb界面，之后鼠标下滑，直到看见“3.安装试验所需环境”。把鼠标放到【】上，会显示播放的标志，双击，静待它自己加载，通常运行时间在150秒左右，一定要耐心等待安装完毕，再进行接下来的操作。显示“运行时长”，“结束时间”后，代表环境运行成功，才可以进行接下来数据训练。在页面左侧找到untitled.streamlit.py，双击文件。接下会跳转到全部是代码的界面，不懂代码不要紧，点击界面上方的浏览器打开，就可以进入数据微调的可视化界面。值得注意的是，摩登AI团队在测试时，使用苹果自带的浏览器Safari经常加载失败，所以在实验时，为了减少失败次数，可以直接选择Chrome浏览器进行尝试。
3.
模型训练接下来按照可视化界面步骤逐一操作。上传数据集，也就是你前期准备好的投喂音频，并检验数据是否合格。这一步就是看音频有无杂音，音频长度、格式是否合规等。数据全部通过后，会显示数据检验成功，请执行下一步，并显示有效音频数量。微调训练阶段就是让AI学习你上传的音频数据的音色、音调等信息。音频数量越多，训练次数越多，最后生成的效果当然也就越好。不过整个过程根据网速、CPU大小不同，所需时间长短不同。
4.
AI发声训练完成后，点击导出模型，你已经拥有了自己的声音AI。你只需要选择合适的声码器，输入想要的文字，最后点击合成，就可以完成音频制作。不同的声码器生成出的声音质量和生成速度都有差别。接下来展示一下摩登AI团队训练的结果。数据样本为10条，训练步数为100，声码器选择PWGan，朗读文本为“欢迎小伙伴们关注我们，我们会持续更新关于人工智能的内容。”这是使用作者布知的声音，生成的AI语音，大家听听，感觉像不像真人?这是用我们老板声音，训练出来的AI语音，老板不太专心，录音质量较差，投喂的声音数量较少，效果是这样...
训练声音的方法因应用不同而异，以下是一些常见的训练声音的方法：
1. 语音识别训练：使用大量标注数据训练模型，使其能够理解和识别人类语言。
2. 语音合成训练：使用大量语音数据和相应的文本标注来训练模型，使其能够生成高质量的语音。
3. 声音识别训练：使用大量标注数据训练模型，使其能够识别不同声音的来源和含义。
4. 声音合成训练：使用大量声音数据和相应的文本标注来训练模型，使其能够生成高质量的声音。
5. 声音分类训练：使用大量标注数据训练模型，使其能够对不同类型的声音进行分类，例如音乐、环境声、人声等。
这些方法中，训练数据的质量和数量对训练结果的影响非常大，因此需要花费大量的时间和精力来收集和标注数据。同时，还需要选择合适的模型和算法，以及调整各种参数来优化训练效果。
