DeepFaceLab: framework de troca facial – PARTE 3

On 16 de outubro de 2021 by Natalia Meira

por Natália Meira

Para avaliar o modelo, o  DeepFaceLab foi comparado com outras estruturas de troca de faces comumente usadas e obteve desempenho competitivo entre eles sob condições experimentais idênticas.

Os resultados foram obtidos de exemplos de diferentes expressões, formas de rosto e iluminações. A Figura 1 abaixo demonstra resultados de troca de faces comparando DFL com outros projetos open source (DeepFakes, Nirkin e Face2Face) retirados do conjunto de dados FaceForensics ++.

A comparação da DFL com os projetos open source de troca de face
Figura 1 – A comparação da DFL com os projetos open source de troca de face.

Para comparar os resultados com vídeos do FaceForensics ++, o DFL utilizou o SSIM para comparar a similaridade da estrutura e a perda perceptual para comparar diferenças de alto nível, como discrepâncias de conteúdo e estilo, entre o indivíduo-alvo e o indivíduo trocado.

Comparando com os baselines Deep-Fakes e Nirkin, foram calculadas a média e a variância das medições nos 100 quadros (amostragem uniforme ao longo do tempo) dos primeiros 500 vídeos no FaceForensics ++, calculando a média entre os vídeos. A Tabela 1 mostra que o DFL é mais hábil em reter a pose e a expressão do que as baselines.

Resultados quantitativos da troca de faces em imagens faciais do FaceForensics ++
Tabela 1 – Resultados quantitativos da troca de faces em imagens faciais do FaceForensics ++.

Para comparar os efeitos visuais, foram realizados estudos de ablação em três partes essenciais: estrutura de rede, paradigma de treinamento e restrição de espaço latente. Os autores aprimoraram as estruturas para DFHD e LIAEHD adicionando mais camadas de extração de recursos e blocos residuais do que a versão original. Os resultados quantitativos da ablação são relatados na Tabela 2.

Experimentos de ablação de diferentes estruturas de modelo (com GAN e TrueFace).
Figura 2 – Experimentos de ablação de diferentes estruturas de modelo (com GAN e TrueFace).
Resultados de ablação quantitativa em imagens faciais FaceForensics ++.
Tabela 2 – Resultados de ablação quantitativa em imagens faciais FaceForensics ++.

Assim, para os autores, o DFL se tornou o sistema de troca de faces mais maduro do mundo devido ao seu longo progresso de desenvolvimento, como por exemplo, o fornecimento de diferentes métodos de segmentação de face e de ferramentas eficientes desenvolvidas de acordo com os requisitos dos usuários.

O DFL oferece suporte a conjuntos de dados em grande escala, até 100 mil imagens. Com a grande quantidade de dados, os resultados finais tendem a alcançar qualidade significativa, com a possibilidade de troca de rosto, manipulação de lábios, substituição de cabeça, etc.

O surgimento do DFL adicionou a indústria do entretenimento um alto valor econômico ao substituir o ator dublê por estrelas pop, uma vez que, produções relacionadas ao deepfake cresceram exponencialmente, produzindo deepfakes de alta qualidade.

A rápida evolução do DeepFaceLab o tornou uma ferramenta de troca de faces popular na comunidade de profissionais de aprendizado profundo, tornando o entretenimento deepfake uma tendência nas mídias sociais.

O DeepFaceLab é um código open source, e você pode encontrá-lo aqui: <https://github.com/iperov/DeepFaceLab>.

Referência: PEROV, I.; GAO, D.; CHERVONIY, N.; LIU, K.; MARANGONDA, S.; UMÉ, C.; JIANG, J; RP, C.; ZHANG, S.; WU, P.;  ZHANG, W. (2020). Deepfacelab: A simple, flexible and extensible face swapping frameworkarXiv preprint arXiv:2005.05535

Deixe um comentário

O seu endereço de e-mail não será publicado.