[Tutorial] Como dublar jogos com IA - método fácil

[srchronotrigger]

Prezados, como é de conhecimento geral, recentemente uma onda de jogos dublados por inteligência artificial surgiu na cena RomHacking brasileira, e por meio do esforço de alguns romhackers, jogos como Skyrim, Elden ring e Black puderam mais uma vez alcançar um aspecto glorioso, um brio, para com nós meros gamers e fãs dessas franquias.

Entretanto, tais ferramentas de IA não são tão acessíveis ou fáceis de serem usadas por iniciantes, o que pode frustrar alguns que possuem a intenção de iniciar ou utilizar tais recursos em seus projetos, nesse sentido, gostaria de compartilhar uma ferramenta que possivelmente será do interesse de nosso meio. Trata-se da Coqui TTS que possui uma versão disponível online com interface interativa, a XTTS.

O uso da ferramenta é simples e intuitivo, ao acessar o site da mesma temos as seguintes opções:

- Em Text Prompt é onde colocaremos a fala traduzida do personagem, aquilo que queremos que seja dito em português ou em outra língua desejada.

- Em Language deve ser indicada a língua a do áudio a ser gerada, português 'pt' possivelmente é o que interessa a maioria deste fórum.

- Em Reference Audio deverá ser enviado um arquivo de demonstração da voz a ser clonada, não é necessário que esteja em português, mas é recomendado que seja um áudio puro sem nenhum som de fundo.
Importante! Repare que alguns formatos irão gerar a mensagem 'Erro' ao iniciar o processo, isso ocorre, pois alguns jogos utilizam codecs e compressões diferentes, eu recomendo que vocês convertam o áudio de demonstração para .wav com codificação Signed 16-bit PCM, tal formato está disponível em softwares como o Audacity/Tenacity.

- Em Use Microphone for Reference você pode gravar um áudio do seu microfone caso deseje clonar a própria voz ou de outra pessoa.

Quanto as caixas de seleção:

☑️ Use Microphone: Marque-a para usar o microfone como fonte do áudio de referência.
☑️ Cleanup Reference Voice: Marque-a para casos que o áudio de referência possuir ruídos, ela tentará melhorar isso.
☑️ Do not use language auto-detect: Marque-a para desativar o autorreconhecimento da língua do áudio de referência.
☑️ Agree: Marque-a para concordar com os termos de uso da aplicação.

Feita a configuração desejada basta apertar em Send e aguardar o processo ser concluído, um áudio será gerado tanto em .wav quanto em .mp4, talvez seja necessário trabalhar ele em algum software de edição como o Audacity/Tenacity e possívelmente será necessário gerar o áudio diversas vezes até obter um resultado satisfatório.

No mais é isso, a ferramenta se encontra no seguinte endereço:

https://huggingface.co/spaces/coqui/xtts

caso esteja fora do ar, utilize algum dos espelhos abaixo:
[spoiler]
https://huggingface.co/spaces/Olivier-Truong/XTTS_V2_CPU_working
https://huggingface.co/spaces/kerncraze/XTTS_V1_CPU
[/spoiler]

Vale apena a usar? Tire suas próprias conclusões:

espero que seja útil para o propósito de vocês e que 2024 seja recheado de novas dublagens! 

Feliz ano novo para vocês pessoal, Deus abençoe cada um de vocês, bem como suas famílias.

[Oximaru]

Cara que legal, essa ferramenta não conhecia!
Vou dar uma olhada nela.
Muito obrigado por compartilhar!
Feliz ano novo.

[huskie]

Pessoalmente, desaprovo completamente dublagem artificial. Tira a oportunidade de muita gente e ainda tem o fator de na maioria das vezes usar vozes de pessoas que não permitiram isso.

[srchronotrigger]

Cara que legal, essa ferramenta não conhecia!
Vou dar uma olhada nela.
Muito obrigado por compartilhar!
Feliz ano novo.

Fico feliz que tenha gostado, Feliz ano novo pra ti e boa sorte nos teus projetos! ;)

Pessoalmente, desaprovo completamente dublagem artificial. Tira a oportunidade de muita gente e ainda tem o fator de na maioria das vezes usar vozes de pessoas que não permitiram isso.

Eu entendo o embate ético que há em torno do assunto, mas também compreendo que independente disso é uma tecnologia que não irá parar seja pro bem ou pro mal, veja bem, eu por ensinar como usar uma das ferramentas não necessariamente implica que eu esteja incentivando a usar de modo antiético, pois quem daria esse uso é o próprio usuário que tem poder de o fazer de maneira responsável, por exemplo, um modo de uso possível seria gerar uma voz no Elevenlabs com a ferramenta Voice Design e após isso clonar a voz que foi gerada, na teoria não seria uma voz pertencente a uma pessoa real, mas ainda sim a IA foi treinada com samples reais em algum momento.

A minha opinião é que desde que a própria fonte e o alvo seja o mesmo jogo não seria algo antiético, pois você restringiu o uso a alterar aquilo que já estava no jogo e se a dublagem mantém o sentido original você somente traduziu o que aquela voz diz, fora que quem dublou originalmente já tinha cedido o direito para uso no jogo mesmo que não dessa forma, no final acaba que é um mod, nesse sentido, alterar os jogos é o mesmo que já fazemos aqui e como tal, não sabemos se o autor gostaria ou autorizaria que nós alteremos seu jogo e assim é com as falas dos personagens.

Também há outros pontos éticos a serem levantados, usar vozes de outros projetos, de pessoas não públicas ou mesmo de indivíduos que já morreram ao meu ver já começa a entrar em um campo mais cinzento e que começo a questionar se é correto ou ético. Mas claro, há pessoas que aceitam conceder suas vozes pra esses fins, o Bruce Willis por exemplo recentemente vendeu os direitos de uso da imagem dele para esse fim, não duvido que há alguns que o fariam de maneira pública, já que se tu usa um programa qualquer de TTS você já está usando vozes de pessoas que a cederam pra uso público de certo modo.

Mas em fim, é algo complexo que demanda muito discurso e que não vai parar, é possível usar de maneira ética com autorização ou clonando a própria voz, meu desejo é que pelo menos nesse contexto, este tutorial seja usado apenas para dublar os jogos com base na voz que já está no jogo.

lhe desejo um feliz e próspero ano novo.

[Nykolas André]

Rapaz isso ai é puro ouro!

parabens pelo tutorial....

as vezes é melhor uma comidinha simples caseira... só o basico, mas feito com amor; do que um puta banquete feito de qualquer maneira....

na minha opniao a qualidade desse metodo de ia é totalmente aceitavel =D

[srchronotrigger]

Rapaz isso ai é puro ouro!

parabens pelo tutorial....

as vezes é melhor uma comidinha simples caseira... só o basico, mas feito com amor; do que um puta banquete feito de qualquer maneira....

na minha opniao a qualidade desse metodo de ia é totalmente aceitavel =D

Fico feliz que tenha gostado! Penso da mesma forma que você, é mais viável ter um método básico, mas que você fará um romhacking bem feito verificando arquivo por arquivo e gerando várias vezes, do que ter um método complexo que faz tudo, porém você faz sem revisar. (Não é uma indireta, nem uma crítica destrutiva, por mais que saíram algumas dublagens com algumas falhas, só estou chamando atenção para a importância de uma revisão bem feita.  )

Certamente o ideal seria treinar a voz de um personagem com uma quantidade boa de arquivos, mas para quem não o pode fazer por limitação de hardware ou simplesmente falta de conhecimento técnico ter essa opção com certeza já ajuda.

[Hyd~]

Pessoalmente, desaprovo completamente dublagem artificial. Tira a oportunidade de muita gente e ainda tem o fator de na maioria das vezes usar vozes de pessoas que não permitiram isso.

Tu quer o joãozinho que está fazendo uma fantradução/hack de graça pague um estúdio de dublagem, ou faça ele mesmo com o celular e chame a família toda pra atuar?

E sobre ser contra usar vozes de quem não permitiu, tu sabe que as empresas donas dos jogos também não permitem tradução/romhacking né xD

[huskie]

Pessoalmente, desaprovo completamente dublagem artificial. Tira a oportunidade de muita gente e ainda tem o fator de na maioria das vezes usar vozes de pessoas que não permitiram isso.

Tu quer o joãozinho que está fazendo uma fantradução/hack de graça pague um estúdio de dublagem, ou faça ele mesmo com o celular e chame a família toda pra atuar?

E sobre ser contra usar vozes de quem não permitiu, tu sabe que as empresas donas dos jogos também não permitem tradução/romhacking né xD

Ninguem precisa pagar um estudio para dublar jogos traduzidos por hobby. Verifique e vais encontrar diversos exemplos de jogos dublados em casa com boas dublagens. Um exemplo que cito que fizemos recentemente eh o Jersey Devil de PSX (estou sem acentos no Linux de PS4)..

[Mysteriozo]

Pessoalmente, desaprovo completamente dublagem artificial. Tira a oportunidade de muita gente e ainda tem o fator de na maioria das vezes usar vozes de pessoas que não permitiram isso.

Não vai tirar a oportunidade de ninguém, pois é uma atividade não remunerada. Fora que a maioria dos jogos dublados por IA são jogos que normalmente a pessoa teria paciência de organizar um projeto de dublagem devido à vasta diversidade de áudios e vozes diferentes.

[Elizomar]

Pessoalmente, desaprovo completamente dublagem artificial..

Macaco mijão  , sua importância com "direitos autorais" é muito nobre. Fico imaginando você pensando sobre quando está mexendo em uma rom original.

Sabemos que é possível criar vozes sintéticas usando a própria por meio da IA, basta fazer uma voz grossa e/ou fina, pronto criou-se a voz masculina e feminina. Agora se vai ser do bom gosto da maioria já é outros 500 (nem todas as traduções romhack o são).

Acredito que cedo ou tarde tu mesmo irás testar a ferramenta, nem que seja para satisfação pessoal.