Inteligência artificial (IA) precisa de treinamento para ser útil. Treinamentos precisam de dados. Conforme modelos de IA esgotam os dados disponíveis on-line – e enfrentam restrições cada vez maiores de acesso – podem recorrer a conteúdo gerado por IA. E o que acontece quando IA treina IA? Colapso.
É o que alerta um estudo publicado recentemente na revista Nature. Segundo a pesquisa, um modelo de IA colapsa quando seu desempenho piora a ponto de ele produzir apenas conteúdo sem sentido. E é o que tende a acontecer quando o treinamento de uma IA depende de conteúdo gerado por outra (ou outras).
Treinar IA vai ficar cada vez mais difícil, diz pesquisador envolvido no estudo sobre colapso
A internet é um oceano de dados, informações, conteúdo – tudo matéria-prima para treinamento de IAs. Mas a abundância desse material, que aumenta a cada dia, não facilita o treinamento de modelos. Na verdade, pode dificultar.
Com o tempo, esperamos que seja mais difícil treinar modelos, mesmo que provavelmente tenhamos mais dados (…) Vai ser mais difícil encontrar conjuntos de dados que não sejam enviesados.
Ilia Shumailov, pesquisador na Universidade de Oxford e coautor do estudo, em entrevista ao Euronews
A pesquisa constatou que, após alguns ciclos de modelos de IA gerando e sendo treinados com conteúdo gerado por IA, os sistemas começam a cometer erros significativos e produzir conteúdo sem sentido.
Leia mais:
- Pesquisa brasileira: drones e IA monitoram descarte ilegal de lixo
- Como impedir que seus dados sejam usados para treinar ChatGPT, Google Gemini e outras IAs
- 5 dicas para se proteger ao usar ChatGPT, Google Gemini e outras IAs
Estágios de colapso
O colapso de um modelo de IA é definido por dois estágios, segundo a pesquisa. “O primeiro é o estágio inicial, quando um modelo aprende com outro modelo e você observa uma redução na variância [dos resultados]”, explica Shumailov.
Neste estágio, aspectos a princípio não totalmente compreendidos pelo modelo original também serão mal compreendidos pelo modelo subsequente. Isso resulta numa superamostragem dos aspectos bem compreendidos enquanto se negligencia outros importantes por não estarem claros para o modelo inicial.
Depois, vem o estágio tardio do colapso, quando modelos de IA não são mais úteis devido aos erros introduzidos pelos modelos anteriores nos dados usados em seu treinamento.
À medida que os dados são continuamente produzidos e reciclados, os modelos começam a interpretar mal a realidade e a cometer mais erros. Quando os modelos colapsam, a principal preocupação é que a taxa de melhorias em seu desempenho possa diminuir. Aí, adeus utilidade. E olá, nonsense.
Tags: