Siga o Olhar Digital no Google Discover
Um estudo da Universidade de Oxford investigou por que as redes neurais profundas (DNNs), utilizadas na inteligência artificial moderna, são tão eficazes em aprender com dados.
A pesquisa, publicada na revista Nature Communications, revelou que essas redes possuem uma “navalha de Occam” embutida, o que significa que, ao lidar com múltiplas soluções para os dados de treinamento, as DNNs tendem a preferir as soluções mais simples.
Esse viés para a simplicidade ajuda as redes a generalizar melhor para novos dados, evitando o overfitting, especialmente quando os dados seguem padrões simples, como muitos dados do mundo real.
Leia mais:
- IA vai tomar seu lugar? Veja funções impactadas e como se preparar
- 5 formas de usar as IAs para te ajudar nos estudos
- 5 melhores cursos de IA para iniciantes
Detalhes do estudo
- A pesquisa revelou que, embora as DNNs possam ajustar qualquer tipo de função aos dados, elas naturalmente favorecem funções mais simples, que são mais fáceis de descrever.
- Esse viés simplificador ajuda as redes a evitar soluções complexas que, embora se ajustem bem aos dados de treinamento, podem ter um desempenho ruim em dados não vistos.
- Os pesquisadores também descobriram que essa preferência pela simplicidade tem uma propriedade única: ela neutraliza o aumento exponencial de soluções complexas à medida que o sistema cresce, permitindo que as DNNs identifiquem soluções raras e simples que se generalizam bem.
No entanto, quando os dados são mais complexos e não seguem padrões simples, as DNNs não se saem tão bem. Alterações nas funções matemáticas utilizadas pelas redes também mostraram que pequenas mudanças nesse viés podem reduzir significativamente a capacidade de generalização das DNNs.
O estudo ajuda a “abrir a caixa preta” dos modelos de IA, proporcionando uma melhor compreensão de como as DNNs chegam a suas conclusões.
Além disso, sugere que o viés para a simplicidade nas DNNs pode refletir princípios fundamentais da natureza, com paralelos entre o aprendizado de máquinas e processos evolucionários.
Os pesquisadores acreditam que suas descobertas abrem novas possibilidades para explorar essas conexões, que podem ajudar a explicar fenômenos biológicos, como a prevalência de simetria em proteínas.
Tags: