Estudo empírico do aprendizado de redes neurais artificiais com base no princípio do gargalo da informação

Este trabalho estuda o comportamento das representações internas de Redes Neurais Artificiais utilizando técnicas baseadas em informação. Essa abordagem considera que, durante o processo de treinamento, o modelo absorve e comprime progressivamente a informação dos dados de entrada ao mesmo tempo que se torna competente em processar a saída, preservando apenas seus aspectos relevantes. Foram conduzidos experimentos com modelos do tipo Multilayer Perceptron (MLP) e Convolutional Neural Networks (CNN) utilizando dois conjuntos de dados distintos. Os resultados reforçam os comportamentos esperados. Assim, este estudo contribui para o entendimento teórico do funcionamento interno de redes neurais profundas, oferecendo subsídios para tornar seus processos mais transparentes.