DeepFaceLab: framework de troca facial – PARTE 1

On 24 de setembro de 2021 by Natalia Meira

por Natália Meira

A aprendizado profundo fortaleceu o domínio sobre tarefas de visão computacional nos últimos anos, principalmente, na manipulação de imagens digitais. Uma das tarefas que evoluiu de forma promissora foi a troca de rosto humano, que coloca um rosto original sobre outro de destino, preservando as características faciais, movimentos faciais e expressão do rosto de destino.

As técnicas de manipulação da troca de rosto conhecidas como DeepFakes são implementadas pelas Redes Neurais Adversariais (Generative Adversarial Networks – GANs), que estão cada vez mais realistas até mesmo para ser distinguivel pela visão humana.

Essa técnica de troca de rosto já é difundida facilmente por aplicativos em que usuários criam imagens e vídeos falsos sem esforço. As consequências do uso dessas tecnologias de geração e modificação de conteúdo podem afetar a qualidade do discurso público, pois a DeepFake pode ser utilizada como fonte de desinformação, manipulação, assédio e persuasão e a identificação destas mídias manipuladas ainda é um desafio técnico.

O artigo “DeepFaceLab: Integrated, flexible and extensible face-swapping framework” implementou o DeepFaceLab com os dados do DFDC, uma competição de milhões de dólares lançada pelo Facebook e Microsoft com objetivo de detecção de mídia anti-falsificação.

O DeepFaceLab (DFL) consiste, então, em um projeto open source para deepfake usado para criar vídeos de troca de rosto de alta qualidade, e tem como objetivo despertar ainda mais a consciência das pessoas sobre os vídeos de manipulação facial e fornecer comodidade para os pesquisadores de detecção de falsificação. Um exemplo da aplicação é mostrado na Figura 1 abaixo:

deepfacelab, troca facial, GANs, visão computacional
Figura 1: Resultados de troca de rosto gerados pelo DeepFaceLab. Esquerda: Face de origem. Meio: face de destino para substituição. Os resultados aparecem à direita, demonstrando que o DeepFaceLab pode lidar com oclusão, iluminação ruim e face lateral com alta fidelidade.

Características do DeepFaceLab

O sucesso do DeepFaceLab decorre de um design que equilibra velocidade e facilidade de uso e o crescimento da visão computacional em: reconhecimento facial, alinhamento, reconstrução e segmentação. Existem quatro características principais por trás da implementação:

  • Conveniência a DFL se esforça para tornar o uso de seu pipeline, incluindo carregamento e processamento de dados, treinamento de modelo e pós-processamento, o mais fácil e produtivo possível;
  • Amplo suporte de engenharia – algumas medidas práticas foram adicionadas para melhorar o desempenho;
  • Extensibilidade – os usuários são livres para substituir qualquer componente do DFL que não atenda aos seus requisitos, pois a maioria dos módulos DFL são projetados para serem intercambiáveis, e;
  • Escalabilidade – o DFL fornece uma série de medidas para limpar conjuntos de dados que possuam situações complexas nos vídeos de entrada. Isso confere ao DFL escalabilidade robusta e capacidade para suportar conjuntos de dados em grande escala e conduzir troca de faces com qualidade.

O DeepFaceLab é um código open source, e você pode encontrá-lo aqui: <https://github.com/iperov/DeepFaceLab>.

Referência: PEROV, I.; GAO, D.; CHERVONIY, N.; LIU, K.; MARANGONDA, S.; UMÉ, C.; JIANG, J; RP, C.; ZHANG, S.; WU, P.;  ZHANG, W. (2020). Deepfacelab: A simple, flexible and extensible face swapping frameworkarXiv preprint arXiv:2005.05535.

Deixe um comentário

O seu endereço de e-mail não será publicado.