por Natália Meira

Para avaliar o modelo, o  DeepFaceLab foi comparado com outras estruturas de troca de faces comumente usadas e obteve desempenho competitivo entre eles sob condições experimentais idênticas.

Os resultados foram obtidos de exemplos de diferentes expressões, formas de rosto e iluminações. A Figura 1 abaixo demonstra resultados de troca de faces comparando DFL com outros projetos open source (DeepFakes, Nirkin e Face2Face) retirados do conjunto de dados FaceForensics ++.

Para comparar os resultados com vídeos do FaceForensics ++, o DFL utilizou o SSIM para comparar a similaridade da estrutura e a perda perceptual para comparar diferenças de alto nível, como discrepâncias de conteúdo e estilo, entre o indivíduo-alvo e o indivíduo trocado.

Comparando com os baselines Deep-Fakes e Nirkin, foram calculadas a média e a variância das medições nos 100 quadros (amostragem uniforme ao longo do tempo) dos primeiros 500 vídeos no FaceForensics ++, calculando a média entre os vídeos. A Tabela 1 mostra que o DFL é mais hábil em reter a pose e a expressão do que as baselines.

Para comparar os efeitos visuais, foram realizados estudos de ablação em três partes essenciais: estrutura de rede, paradigma de treinamento e restrição de espaço latente. Os autores aprimoraram as estruturas para DFHD e LIAEHD adicionando mais camadas de extração de recursos e blocos residuais do que a versão original. Os resultados quantitativos da ablação são relatados na Tabela 2.

Assim, para os autores, o DFL se tornou o sistema de troca de faces mais maduro do mundo devido ao seu longo progresso de desenvolvimento, como por exemplo, o fornecimento de diferentes métodos de segmentação de face e de ferramentas eficientes desenvolvidas de acordo com os requisitos dos usuários.

O DFL oferece suporte a conjuntos de dados em grande escala, até 100 mil imagens. Com a grande quantidade de dados, os resultados finais tendem a alcançar qualidade significativa, com a possibilidade de troca de rosto, manipulação de lábios, substituição de cabeça, etc.

O surgimento do DFL adicionou a indústria do entretenimento um alto valor econômico ao substituir o ator dublê por estrelas pop, uma vez que, produções relacionadas ao deepfake cresceram exponencialmente, produzindo deepfakes de alta qualidade.

A rápida evolução do DeepFaceLab o tornou uma ferramenta de troca de faces popular na comunidade de profissionais de aprendizado profundo, tornando o entretenimento deepfake uma tendência nas mídias sociais.

O DeepFaceLab é um código open source, e você pode encontrá-lo aqui: <https://github.com/iperov/DeepFaceLab>.

Referência: PEROV, I.; GAO, D.; CHERVONIY, N.; LIU, K.; MARANGONDA, S.; UMÉ, C.; JIANG, J; RP, C.; ZHANG, S.; WU, P.;  ZHANG, W. (2020). Deepfacelab: A simple, flexible and extensible face swapping framework. arXiv preprint arXiv:2005.05535