Siga o Olhar Digital no Google Discover
A OpenAI, startup que criou o ChatGPT, anunciou hoje a criação de uma nova equipe dedicada a avaliar, analisar e investigar modelos de inteligência artificial (IA) para proteger contra o que descreve como “riscos catastróficos”. A equipe de Preparedness (algo como “prevenção”) será liderada por Aleksander Madry, diretor do Centro de Aprendizado Máquina Implementável do MIT.
Ofertas
Por: R$ 36,21
Por: R$ 24,96
Por: R$ 9,90
Por: R$ 5,86
Por: R$ 113,70
Por: R$ 6,90
Por: R$ 3.099,00
Por: R$ 3.324,00
Por: R$ 799,00
Por: R$ 241,44
Por: R$ 388,78
Por: R$ 2.159,00
Por: R$ 188,99
Por: R$ 45,00
Por: R$ 379,00
Por: R$ 1.239,90
Por: R$ 943,20
Por: R$ 798,99
Por: R$ 199,00
Por: R$ 476,10
Por: R$ 1.139,05
Por: R$ 949,00
Por: R$ 119,90
Por: R$ 398,99
Por: R$ 79,90
Por: R$ 222,11
Madry ingressou na OpenAI em maio como “diretor de Preparedness”, de acordo com o LinkedIn. As principais responsabilidades da equipe serão rastrear, prever e proteger contra os perigos dos futuros sistemas de IA, que vão desde sua capacidade de persuadir e enganar humanos (como em ataques de phishing) até suas capacidades de geração de código malicioso.
Leia mais:
- Entenda a diferença entre o Bard do Google e o ChatGPT da OpenAI
- LuzIA é confiável? Veja se você pode acreditar no que a IA escreve
- ChatGPT com problemas? Veja como resolver
Algumas das categorias de risco que o grupo foi encarregado de estudar parecem mais distantes do que outras. Por exemplo, em um post no blog, a OpenAI lista ameaças “químicas, biológicas, radiológicas e nucleares” como áreas de grande preocupação quando se trata de modelos de IA. O CEO da OpenAI, Sam Altman, é conhecido por expressar preocupações sobre a IA, muitas vezes mencionando que a IA “pode levar à extinção humana”, seja por razões de imagem ou convicção pessoal.
A OpenAI afirma que a equipe também será encarregada de formular uma “política de desenvolvimento informada por riscos”, que detalhará a abordagem da OpenAI para a construção de avaliações de modelos de IA e ferramentas de monitoramento, as ações de mitigação de riscos da empresa e sua estrutura de governança para supervisão ao longo do processo de desenvolvimento do modelo.
Isso visa complementar o trabalho da OpenAI na disciplina da segurança da IA, com foco nas fases pré e pós-implantação do modelo.
Acreditamos que modelos de IA, que excederão as capacidades atualmente presentes nos modelos mais avançados existentes, têm o potencial de beneficiar toda a humanidade. Mas também apresentam riscos cada vez mais graves… Precisamos garantir que tenhamos o entendimento e a infraestrutura necessários para a segurança de sistemas de IA altamente capazes.
OpenAI em post de blog
O lançamento ocorre durante uma importante cúpula do governo do Reino Unido sobre segurança da IA, o que não parece ser uma coincidência. Isso vem após a OpenAI anunciar que formaria uma equipe para estudar, direcionar e controlar formas emergentes de IA “superinteligente”.
Altman acredita, juntamente com Ilya Sutskever, cientista-chefe da OpenAI e co-fundador, que a IA com inteligência superior à dos humanos poderá surgir dentro da próxima década e que essa IA não necessariamente será benevolente, tornando necessário pesquisas sobre maneiras de limitá-la e controlá-la.
OpenAI oferece recompensa por ideias
- A empresa também está aberta a estudar áreas de risco de IA “menos óbvias” e mais fundamentadas, diz a OpenAI.
- Para coincidir com o lançamento da equipe Preparedness, a OpenAI está solicitando ideias para estudos de risco da comunidade, com um prêmio de US$ 25 mil e a possibilidade de emprego na equipe Preparedness para as dez melhores propostas.
- “Imagine que lhe demos acesso irrestrito aos modelos Whisper (transcrição), Voice (texto para fala), GPT-4V e DALLE·3 da OpenAI, e você fosse um ator malicioso”, uma das perguntas na inscrição do concurso diz. “Considere o uso mais único, ainda sendo provável, potencialmente catastrófico do modelo.”
Tags: