Um estudo da Universidade de Oxford investigou por que as redes neurais profundas (DNNs), utilizadas na inteligência artificial moderna, são tão eficazes em aprender com dados.
A pesquisa, publicada na revista Nature Communications, revelou que essas redes possuem uma “navalha de Occam” embutida, o que significa que, ao lidar com múltiplas soluções para os dados de treinamento, as DNNs tendem a preferir as soluções mais simples.
Esse viés para a simplicidade ajuda as redes a generalizar melhor para novos dados, evitando o overfitting, especialmente quando os dados seguem padrões simples, como muitos dados do mundo real.
Leia mais:
- IA vai tomar seu lugar? Veja funções impactadas e como se preparar
- 5 formas de usar as IAs para te ajudar nos estudos
- 5 melhores cursos de IA para iniciantes
Detalhes do estudo
- A pesquisa revelou que, embora as DNNs possam ajustar qualquer tipo de função aos dados, elas naturalmente favorecem funções mais simples, que são mais fáceis de descrever.
- Esse viés simplificador ajuda as redes a evitar soluções complexas que, embora se ajustem bem aos dados de treinamento, podem ter um desempenho ruim em dados não vistos.
- Os pesquisadores também descobriram que essa preferência pela simplicidade tem uma propriedade única: ela neutraliza o aumento exponencial de soluções complexas à medida que o sistema cresce, permitindo que as DNNs identifiquem soluções raras e simples que se generalizam bem.
No entanto, quando os dados são mais complexos e não seguem padrões simples, as DNNs não se saem tão bem. Alterações nas funções matemáticas utilizadas pelas redes também mostraram que pequenas mudanças nesse viés podem reduzir significativamente a capacidade de generalização das DNNs.
O estudo ajuda a “abrir a caixa preta” dos modelos de IA, proporcionando uma melhor compreensão de como as DNNs chegam a suas conclusões.
Além disso, sugere que o viés para a simplicidade nas DNNs pode refletir princípios fundamentais da natureza, com paralelos entre o aprendizado de máquinas e processos evolucionários.
Os pesquisadores acreditam que suas descobertas abrem novas possibilidades para explorar essas conexões, que podem ajudar a explicar fenômenos biológicos, como a prevalência de simetria em proteínas.
Tags: