Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

怎么获得自定义“关键词”识别模型? #127

Open
BarryKCL opened this issue Feb 24, 2023 · 13 comments
Open

怎么获得自定义“关键词”识别模型? #127

BarryKCL opened this issue Feb 24, 2023 · 13 comments

Comments

@BarryKCL
Copy link

我用TTS(100个发音人左右)生成自己的“关键词”数据,训练之后发现效果不太好。

@xingchensong
Copy link
Member

你说的关键词是指热词吗?

如果是热词,可以参考WFST的方案 https://mp.weixin.qq.com/s/5FLXU-jUjUVcpXtQaJbhfA

如果是命令词这种,建议自己用手机实际录制一些

@BarryKCL
Copy link
Author

再训练好的开源数据集模型上,添加TTS造的"唤醒词"以及少量录制的数据,fineturn得到自定义的唤醒词模型,这个方案可行吗?

@mlxu995
Copy link
Collaborator

mlxu995 commented Mar 11, 2023

可以试一下,直觉上我认为最终的效果跟你用的开源数据集有很大关系。数据越多并且关键词种类越多最终 finetune 的效果应该会越好

@BarryKCL
Copy link
Author

请问noise_lmdb文件要怎么获取?

2 similar comments
@BarryKCL
Copy link
Author

请问noise_lmdb文件要怎么获取?

@BarryKCL
Copy link
Author

请问noise_lmdb文件要怎么获取?

@duj12
Copy link
Contributor

duj12 commented Jun 3, 2023

Maybe you can try this PR. #135

@xing-bing
Copy link

再训练好的开源数据集模型上,添加TTS造的"唤醒词"以及少量录制的数据,fineturn得到自定义的唤醒词模型,这个方案可行吗?

你尝试的效果怎么样,我用tts生成的关键词音频效果不太好

@coreeey
Copy link

coreeey commented Sep 10, 2024

再训练好的开源数据集模型上,添加TTS造的"唤醒词"以及少量录制的数据,fineturn得到自定义的唤醒词模型,这个方案可行吗?

你尝试的效果怎么样,我用tts生成的关键词音频效果不太好

你好,请问你用的是什么TTS工具?

@xing-bing
Copy link

再训练好的开源数据集模型上,添加TTS造的"唤醒词"以及少量录制的数据,fineturn得到自定义的唤醒词模型,这个方案可行吗?

你尝试的效果怎么样,我用tts生成的关键词音频效果不太好

你好,请问你用的是什么TTS工具?
调的百度,讯飞,腾讯的语音合成接口合成的

@coreeey
Copy link

coreeey commented Sep 12, 2024

再训练好的开源数据集模型上,添加TTS造的"唤醒词"以及少量录制的数据,fineturn得到自定义的唤醒词模型,这个方案可行吗?

你尝试的效果怎么样,我用tts生成的关键词音频效果不太好

你好,请问你用的是什么TTS工具?
调的百度,讯飞,腾讯的语音合成接口合成的

用不同接口的TTS交叉验证结果不太好吗?还是用麦克风出来的效果一般?

@xing-bing
Copy link

再训练好的开源数据集模型上,添加TTS造的"唤醒词"以及少量录制的数据,fineturn得到自定义的唤醒词模型,这个方案可行吗?

你尝试的效果怎么样,我用tts生成的关键词音频效果不太好

你好,请问你用的是什么TTS工具?
调的百度,讯飞,腾讯的语音合成接口合成的

用不同接口的TTS交叉验证结果不太好吗?还是用麦克风出来的效果一般?

训练完实际测试的时候唤醒率不高,五成左右吧,合成的还是和真人语音频谱有区别。

@coreeey
Copy link

coreeey commented Sep 12, 2024

再训练好的开源数据集模型上,添加TTS造的"唤醒词"以及少量录制的数据,fineturn得到自定义的唤醒词模型,这个方案可行吗?

你尝试的效果怎么样,我用tts生成的关键词音频效果不太好

你好,请问你用的是什么TTS工具?
调的百度,讯飞,腾讯的语音合成接口合成的

用不同接口的TTS交叉验证结果不太好吗?还是用麦克风出来的效果一般?

训练完实际测试的时候唤醒率不高,五成左右吧,合成的还是和真人语音频谱有区别。

ok

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

6 participants