Datasets utilizados para o treino
Bom dia, gostaria de saber quais foram os datasets utilizados para o treino desse checkpoint.
No dataset linkado na página desse checkpoint aqui no HuggingFace, é dito que é um dataset derivado do CommonVoice 20.0. Entretanto, aqui é dito que é um dataset formado por CommonVoice + Facebook.
Assim, queria saber quais datasets foram utilizados, suas versões, e quantidade de áudios e horas, pois desejo replicar o experimento.
O do Facebook voce pode encontrar aqui no hugging face, e o commonvoice, s'o coloquei 10k pois pra subir mais tem que pagar, mas no dataset tem o python que utilizei para montar a versao completa, basta baixar do commonvoice e escolher os com mais de 2 upvotes, e validar se nao estao com portugues de portugal, usando o python, voce consegue juntar varios audios da mesma pessoa para deixar com 25s.
facebook
https://huggingface.co/datasets/facebook/multilingual_librispeech/viewer/portuguese/train
juntar commonvoice, pra ficarem com 25s
https://huggingface.co/datasets/firstpixel/pt-br_char/blob/main/merged_clips.py