Identificação de artefatos visuais em faces sintéticas por meio de transfer learning e IA explicável: uma abordagem investigativa com ResNet50 e Grad-CAM

Página do item simplificado
dc.contributor.advisor1MEDEIROS, Iago Lins de
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/7024608706674939
dc.contributor.advisor1ORCIDhttps://orcid.org/0000-0003-4758-0519
dc.creatorCANTÃO, Camily Furtado
dc.creator.Latteshttp://lattes.cnpq.br/7101283992363781
dc.date.accessioned2026-08-13T13:54:25Z
dc.date.available2026-08-13T13:54:25Z
dc.date.issued0026-06-14
dc.description.abstractThe advanced development of generative Artificial Intelligence technologies has led to the creation of widely accessible hyper-realistic synthetic content, solidifying deepfakes as a concrete threat to information integrity, privacy, and cybersecurity. This work investigates the use of Computer Vision and Explainable Artificial Intelligence (XAI) to identify visual features and structural artifacts associated with AI-generated sound images. To this end, a methodological pipeline was structured, composed of three macro-steps: curation of a balanced dataset of 10,000 real and synthetic material images, managed by the Roboflow platform; training of a binary classifier based on the ResNet50 architecture using Transfer Learning, executed on the Kaggle platform with NVIDIA Tesla T4 GPU support; and application of the Grad-CAM (Gradient-weighted Class Activation Mapping) algorithm to generate heatmaps that externalize the regions crucial for the model's decisions. As a preliminary exploratory study, an experiment was conducted with the YOLOv8 architecture, which revealed high computational cost and a lack of native spatial interpretability mechanisms, motivating the adoption of ResNet50 as the main methodological tool. The final classifier achieved an accuracy of 92.30%, an F1-Score of 92.29%, and an AUC-ROC of 0.9758, with no significant bias between classes. The heat maps generated by Grad-CAM revealed that the model directed its attention, in an anatomically coherent manner, to the central region of the face specifically the eyes, nose, and mouth in the synthetic images, regions consistent with the facial fusion artifacts described in the forensic literature. The results demonstrate that the c-ombination of Computer Vision and XAI offers not only high discriminative capacity but also transparency and auditability indispensable for digital forensics applications, overcoming the operational limitations of purely classificatory models.
dc.description.resumoO desenvolvimento acelerado das tecnologias de Inteligência Artificial generativa levou à criação de conteúdos sintéticos hiper-realistas amplamente acessíveis, consolidando os deepfakes como uma ameaça concreta à integridade da informação, à privacidade e à segurança cibernética. Este trabalho investiga o uso de Visão Computacional e Inteligência Artificial Explicável (XAI) para identificar características visuais e artefatos estruturais associados a imagens faciais geradas por IA. Para isso, foi estruturado um pipeline metodológico composto por três macroetapas: a curadoria de um conjunto de dados balanceado contendo 10.000 imagens faciais reais e sintéticas, gerenciado pela plataforma Roboflow; o treinamento de um classificador binário baseado na arquitetura ResNet50 utilizando a técnica de Aprendizado por Transferência (Transfer Learning), executado na plataforma Kaggle com suporte de GPU NVIDIA Tesla T4; e a aplicação do algoritmo Grad-CAM (Gradient-weighted Class Activation Mapping) para gerar mapas de calor que evidenciam as regiões determinantes para as decisões do modelo. Como estudo exploratório preliminar, foi conduzido um experimento com a arquitetura YOLOv8, que revelou alto custo computacional e ausência de mecanismos nativos de interpretabilidade espacial, motivando a adoção da ResNet50 como principal ferramenta metodológica. O classificador final alcançou uma acurácia de 92,30%, um F1-Score de 92,29% e uma AUC-ROC de 0,9758, sem viés significativo entre as classes. Os mapas de calor gerados pelo Grad-CAM revelaram que o modelo direcionou sua atenção, de forma anatomicamente coerente, para a região central da face especificamente os olhos, o nariz e a boca nas imagens sintéticas, regiões consistentes com os artefatos de fusão facial descritos na literatura forense. Os resultados demonstram que a combinação entre Visão Computacional e XAI oferece não apenas elevada capacidade discriminativa, mas também a transparência e a auditabilidade indispensáveis para aplicações de perícia digital, superando as limitações operacionais de modelos puramente classificatórios.
dc.identifier.citationCANTÃO, Camily Furtado. Identificação de artefatos visuais em faces sintéticas por meio de transfer learning e IA explicável: uma abordagem investigativa com ResNet50 e Grad-CAM. Orientador: Iago Lins de Medeiros. 2026. 47 f. Trabalho de Curso (Bacharelado em Engenharia da Computação) – Faculdade de Engenharia da Computação, Campus Universitário de Tucuruí, Universidade Federal do Pará, Tucuruí, 2026. Disponível em: https://bdm.ufpa.br/handle/prefix/9923. Acesso em:.
dc.identifier.urihttps://bdm.ufpa.br/handle/prefix/9923
dc.rightsAcesso Abertopt_BR
dc.rights.licenseAttribution-NonCommercial-NoDerivs 3.0 Brazilen
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/br/
dc.source.uriDisponível na internet via Sagittapt_BR
dc.subjectDeepfakes
dc.subjectResNet50
dc.subjectTransfer learning
dc.subjectInteligência artificial explicável
dc.subjectGrad-CAM
dc.subjectExplainable artificial intelligence
dc.subject.cnpqCNPQ::ENGENHARIAS
dc.subject.cnpqCNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO
dc.titleIdentificação de artefatos visuais em faces sintéticas por meio de transfer learning e IA explicável: uma abordagem investigativa com ResNet50 e Grad-CAM
dc.typeTrabalho de Cursopt_BR

Arquivo(s)

Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
TC_IdentificacaoArtefatosVisuais.pdf
Tamanho:
1.19 MB
Formato:
Adobe Portable Document Format
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
1.84 KB
Formato:
Item-specific license agreed upon to submission
Descrição:
Baixar

Aparece na Coleção

Faculdade de Engenharia da Computação - FECOMP/CAMTUC
Logo do RepositórioLogo do Repositório