IA: Zuckerberg quer que Meta corra para recuperar tempo perdido

A Meta está fazendo algo que Mark Zuckerberg não gosta: tentando recuperar o atraso.

Uma década atrás, o fundador e CEO da empresa viu a promessa de inteligência artificial e investiu grandes somas de dinheiro em seu avanço. Ele contratou um de seus primeiros visionários, Yann LeCun, para liderar o ataque. Agora, apenas alguns meses após o ChatGPT entrar no mercado de consumo, a Meta está ficando para trás na mesma tecnologia.

Leia mais:

A Meta agora está lutando para reorientar seus recursos para gerar produtos e recursos de IA utilizáveis, incluindo seus próprios chatbots, priorizado de passar anos priorizando descobertas acadêmicas e compartilhando-as livremente enquanto luta para capitalizar seu potencial comercial.

Essa é uma tarefa difícil, já que muitos dos principais funcionários de IA da Meta partiram e em meio às próprias séries de demissões da empresa, no que Zuckerberg chamou de “ano de eficiência”. Cerca de um terço dos trabalhadores da Meta que foram coautores de pesquisas publicadas de IA relacionadas a grandes modelos de linguagem – os sistemas complexos que alimentam sistemas de IA como o ChatGPT – saíram no ano passado, de acordo com uma análise do The Wall Street Journal.

O próprio Zuckerberg e outros altos executivos assumiram mais controle da estratégia de IA da empresa. Eles criaram novo grupo de IA generativa que se reporta diretamente ao diretor de produtos Chris Cox, um dos executivos mais antigos e confiáveis da Meta.

O grupo está treinando modelos generativos de IA – que produzem conteúdo, como texto, imagens ou áudio – destinados a serem inseridos em “cada um de nossos produtos”, disse Zuckerberg;
Ele divulgou o principal modelo de linguagem de IA da Meta, chamado LLaMA, que – depois que seu código vazou – estimulou o surgimento de ferramentas domésticas que poderiam um dia competir com os produtos que o Google e a OpenAI estão tentando vender;
Se a Meta conseguir comercializar seus esforços de IA, isso poderá ajudar a aumentar o engajamento do usuário, criar metaverso melhor e tornar a empresa mais atraente para os jovens usuários que agora estão se mostrando mais difíceis de atrair;
Se a Meta não conseguir capitalizar essa tecnologia com rapidez suficiente, corre o risco de perder relevância à medida que os concorrentes, incluindo uma safra crescente de startups de IA desconexas, avançam.

Em comunicado, Joelle Pineau, vice-presidente de pesquisa de IA da Meta, disse que a empresa não está atrás em IA e defendeu seu foco em pesquisa e estrutura, dizendo que posicionará a Meta para o sucesso.

A unidade de pesquisa de IA da Meta “é um dos principais destinos mundiais para pesquisadores de IA e ciência aberta, e sua produção de pesquisa aumentou significativamente apenas no ano passado”, disse Pineau.

Nossas descobertas de pesquisa forneceram base tremenda para construir à medida que trazemos nova classe de experiências generativas baseadas em IA para nossa família de aplicativos. Estamos orgulhosos das contribuições que os pesquisadores de IA da Meta, do passado e do presente, estão fazendo para ajudar a moldar o futuro da IA avançada de última geração.
Joelle Pineau, vice-presidente de pesquisa de IA da Meta

A Meta enfrenta outros desafios estratégicos, políticos e financeiros. Seu foco de longa data na pesquisa original na divisão de IA da Meta desincentivou o trabalho em IA generativa, sistemas como o ChatGPT que produzem texto e mídia semelhantes aos humanos.

Os executivos erraram ao projetar o hardware necessário para executar esses programas de IA, que agora está tentando corrigir. Anos de escrutínio sobre o tratamento de dados de usuários e violações de direitos humanos pela empresa deixaram alguns executivos indecisos e cautelosos quanto ao lançamento de novos produtos de IA para os consumidores.

A Meta começou a investir em IA em 2013. Zuckerberg e o então CTO Mike Schroepfer procuraram pessoalmente recrutar uma das mentes líderes em IA para liderar nova divisão de pesquisa para o avanço da tecnologia. Eles encontraram seu tenente em LeCun, um professor da Universidade de Nova York cujo trabalho inovador no campo era renomado.

LeCun, profundamente enraizado na academia e na pesquisa fundamental, foi fundamental na criação de cultura que refletia suas prioridades: contratar cientistas em vez de engenheiros e enfatizar resultados acadêmicos, como trabalhos de pesquisa, em vez de desenvolvimento de produtos para os usuários finais da empresa.

A estratégia tornou o laboratório fundamental de pesquisa de IA da Meta altamente atraente para os principais talentos ao longo dos anos, mas desafiou a capacidade da empresa de comercializar seus avanços.

Também encorajou abordagem difusa e de baixo para cima na direção da pesquisa e na alocação de recursos.

Os pesquisadores conduziram suas próprias agendas, buscando projetos independentes em direções diferentes, em vez de estratégia coesa em toda a empresa.

A Meta dividiu o hardware em pequenos grupos em cada projeto: alguns pesquisadores, recebendo mais chips de computador do que precisavam, os prenderiam em tarefas desnecessárias para evitar abandoná-los, disseram algumas das pessoas.

Enquanto isso, a Meta demorou a equipar seus centros de dados com os chips de computador mais poderosos necessários para o desenvolvimento de IA. Mesmo adquirindo mais desses chips, a empresa não tinha bom sistema para colocá-los nas mãos de engenheiros e pesquisadores. Às vezes, milhares de peças de hardware cobiçadas e caras ficavam sem uso.

A Meta está reformando seus datacenters, o que pode ter contribuído para os impasses. Em maio, o mais recente supercomputador da Meta para projetos de IA tinha 16 mil desses chips.

À medida que grandes modelos de linguagem começaram a mostrar capacidades cada vez mais impressionantes em 2020, a tensão aumentou dentro da divisão de pesquisa de IA da Meta entre aqueles que instavam a empresa a investir seriamente na nova direção do setor e aqueles, incluindo LeCun, que acreditavam que tais modelos são modismos que carecem de valor científico.

A forte oposição de LeCun a grandes modelos de linguagem (ele acredita que eles não aproximam a IA da inteligência ao nível humano), tanto interna quanto publicamente, tornou difícil para pesquisadores com visões opostas acumular o apoio e os vastos recursos necessários para esses tipos de projetos.

Alguns pesquisadores da Meta avançaram de qualquer maneira com menos recursos, usando cerca de mil chips para produzir grande modelo de linguagem em 2022 conhecido como OPT, ou Open Pretrained Transformer, e cerca de dois mil chips para produzir o modelo principal da Meta chamado LLaMA em 2023.

O padrão da indústria, por contraste, é de cinco mil a dez mil fichas. A Meta inicialmente permitiu que grupo limitado de pesquisadores externos acessasse o LLaMA antes de vazar online, provocando explosão de inovação que os executivos citam como excelente exemplo do objetivo da Meta de compartilhar sua tecnologia de IA.

Desde então, a Meta perdeu vários pesquisadores de IA que trabalharam nesses e em outros projetos-chave de IA generativa no ano passado, muitos citando esgotamento ou falta de confiança na Meta para acompanhar os concorrentes.

Seis dos 14 autores listados no trabalho de pesquisa do LLaMA saíram ou anunciaram que sairão, de acordo com seus perfis no LinkedIn e pessoas familiarizadas com o assunto. Oito dos 19 coautores do artigo para OPT também saíram.

As saídas aceleraram após o lançamento do ChatGPT em novembro do ano passado. Alguns foram atraídos pela febre das startups de IA, que alimentou mudanças de pessoal em empresas do Vale do Silício em todos os setores, inclusive no Google.

Em março, o número de listas de empregos no LinkedIn mencionando o GPT aumentou 79% em relação ao ano anterior, disse a rede social profissional ao The Wall Street Journal.

Um porta-voz da Meta disse que a empresa continuou a recrutar e trazer novos talentos de IA.

Após a estreia do ChatGPT, Zuckerberg e Cox se juntaram ao diretor de tecnologia Andrew Bosworth para supervisionar todos os esforços relacionados à IA da empresa. Os três executivos agora dedicam horas por semana à IA, participando de reuniões e aprovando projetos de IA.

O novo grupo de IA generativa está focado exclusivamente na construção de produtos e ferramentas utilizáveis, em vez de pesquisas científicas. Recebeu mais de duas mil inscrições internas e reuniu rapidamente centenas de pessoas de diferentes equipes.

Os recursos de hardware mudaram da divisão de pesquisa de IA e estão sendo usados para treinar novos modelos de IA generativos.

Em março, Zuckerberg disse que “avançar a IA e incorporá-la a cada um de nossos produtos” era o maior investimento individual da empresa. Falando na reunião anual de acionistas da Meta em maio, Zuckerberg disse que a empresa também espera estender a tecnologia para o metaverso.

Em reunião com funcionários no início deste mês, Zuckerberg anunciou série de produtos generativos de IA nos quais a empresa está trabalhando atualmente, disse o porta-voz da Meta.

As iniciativas incluem agentes de IA para Messenger e WhatsApp, adesivos de IA que os usuários podem gerar a partir de prompts de texto e compartilhar em seus bate-papos e recurso de geração de fotos que permitirá aos usuários do Instagram modificar suas próprias fotos usando comandos de texto e depois compartilhá-las no Instagram Stories.

Zuckerberg também compartilhou algumas ferramentas de IA generativas exclusivamente internas voltadas para os funcionários, incluindo uma chamada Metamate, assistente de produtividade que extrai informações de fontes internas para executar tarefas a pedido dos funcionários.

O Metamate foi recentemente lançado para grande grupo de funcionários como parte de teste, disse o porta-voz da Meta. “No ano passado, vimos alguns avanços realmente incríveis – avanços qualitativos – na IA generativa”, disse Zuckerberg.

Mas a Meta ainda enfrenta grandes desafios. A tolerância cada vez mais baixa da empresa ao risco após sete anos de intenso escrutínio do governo e da mídia por suas práticas de privacidade do usuário criou atrito sobre como e quando introduzir produtos de IA.

No passado, a Meta teve que considerar sua reputação pública ao desenvolver e lançar grandes modelos de linguagem, que podem ser propensos a produzir respostas incorretas ou comentários ofensivos.

Vários anos atrás, pesquisadores de IA estavam trabalhando em chatbot de codinome Tamagobot, baseado em versão inicial de sistema de modelo de linguagem grande.

A equipe ficou impressionada com seu desempenho, mas concluiu que não valia a pena lançar enquanto a empresa enfrentava intensas críticas por permitir que a desinformação florescesse em sua plataforma durante a eleição presidencial de 2016.

A preocupação com o escrutínio público também estava em exibição quando a Meta lançou seu chatbot BlenderBot 3 em agosto de 2022. Uma semana após o lançamento, o BlenderBot 3 foi criticado por fazer declarações falsas, comentários ofensivos e comentários racistas. O sistema também chamou Zuckerberg de “assustador e manipulador”.

O porta-voz da Meta disse que o projeto ainda ficou parado por mais de um ano até a conclusão da pesquisa, e a empresa manteve abordagem aberta e transparente ao longo de seu ciclo de vida. A Meta divulgou e viu muitos outros projetos que demonstram a disposição da empresa em assumir riscos, acrescentou.

Mas o cenário se repetiu em novembro de 2022, quando a empresa lançou o Galactica, grande modelo de linguagem com foco na ciência. O sistema foi encerrado pela Meta três dias após seu lançamento, após ser atingido por onda de críticas de cientistas devido a suas respostas incorretas e tendenciosas. Duas semanas depois, a OpenAI lançou o ChatGPT.

Com informações de The Washington Post

Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!