O Twitter já foi um dos pilares da pesquisa acadêmica – uma maneira de tomar o pulso da internet. Mas como o novo proprietário Elon Musk tentou monetizar o serviço, os pesquisadores estão lutando para substituir uma ferramenta que já foi crucial.
A menos que o Twitter faça outra reviravolta em breve, isso pode encerrar o capítulo de toda uma era de pesquisa. “Pesquisas usando dados de mídia social eram principalmente ‘Twitterologia’”, afirma Gordon Pennycook, professor associado de ciência comportamental da Universidade de Regina, Itália. “Era a fonte primária que as pessoas estavam usando.”
Leia mais:
- Como baixar tweets de uma pessoa falecida | Memorial
- Por que os preços de smartphones e tablets são tão altos no Brasil?
- Twitter adiciona imagens a sistema de verificação de fatos
Até a aquisição de Musk, a API do Twitter – que permite que desenvolvedores terceirizados coletem dados – era considerada uma das melhores da internet.
Ele possibilitou estudos sobre tudo, desde como as pessoas respondem a desastres climáticos até como impedir que a desinformação se espalhe online. Os problemas que eles abordaram estão apenas piorando, tornando esse tipo de pesquisa tão importante quanto antes.
Mas o Twitter decidiu encerrar o acesso gratuito à sua API em fevereiro e lançou níveis pagos em março. A empresa disse que estava “procurando novas maneiras de continuar atendendo” a academia, mas, mesmo assim, começou a cortar sem cerimônia o acesso a usuários terceirizados que não pagavam.
Embora o corte tenha causado problemas para muitos tipos diferentes de usuários, incluindo agências de transporte público e equipes de emergência, os acadêmicos estão entre os grupos mais atingidos.
Pesquisadores que confiam no Twitter há anos contaram ao The Verge que tiveram que parar de usá-lo. É muito caro pagar pelo acesso à sua API, que supostamente disparou para US$ 42 mil (R$ 212,3 mil) por mês ou mais para conta empresarial.
Como resultado, os cientistas perderam ponto de vista importante sobre o comportamento humano. E, enquanto eles lutam para encontrar novas fontes, ainda não há uma alternativa clara.
Ajuda a pesquisadores
O Twitter deu aos pesquisadores uma maneira de observar as reações reais das pessoas em vez de ter que perguntar aos participantes do estudo como eles acham que podem reagir em determinados cenários.
Isso tem sido crucial para a pesquisa de Pennycook sobre estratégias para evitar o fomento de desinformação online, por exemplo, mostrando às pessoas um conteúdo que pede que pensem sobre a precisão antes de compartilhar um link.
Sem poder ver o que um indivíduo realmente twitta, pesquisadores como Pennycook podem se limitar a perguntar a alguém em uma pesquisa que tipo de conteúdo eles compartilhariam nas mídias sociais.
“É basicamente hipotético”, diz Pennycook. “Para as empresas de tecnologia que realmente seriam capazes de implementar uma dessas intervenções, elas não ficariam impressionadas com isso… Tivemos que fazer experimentos em algum lugar para mostrar que realmente pode funcionar na natureza.”
- Em abril, um grupo de acadêmicos, jornalistas e outros pesquisadores chamado Coalition for Independent Technology Research enviou uma carta ao Twitter pedindo ajuda para manter o acesso;
- A coalizão buscou pesquisadores e descobriu que as novas restrições do Twitter comprometeram mais de 250 projetos diferentes;
- Também sinalizaria o fim de pelo menos 76 “esforços de longo prazo”, diz a carta, incluindo pacotes de código e ferramentas;
- Com a aplicação das novas políticas do Twitter um tanto aleatória (alguns usuários foram expulsos da plataforma antes de outros), a coalizão montou um esforço de ajuda mútua;
- Os cientistas se esforçaram para coletar o máximo de dados possível antes de perder suas próprias chaves de acesso, e outros se ofereceram para ajudá-los a coletar esses dados ou doaram seu próprio acesso à API do Twitter para os pesquisadores que os perderam.
O nível de API mais acessível do Twitter, de US$ 100 (R$ 505,60) por mês, só permitiria que terceiros coletassem US$ 10 mil (R$ 50,5 mil) por mês. Isso é apenas 0,3% do que eles anteriormente tinham acesso gratuito em um único dia, de acordo com a carta.
E mesmo seu nível empresarial “escandalosamente caro”, argumentou a coalizão, não era suficiente para conduzir alguns estudos ambiciosos ou manter ferramentas importantes.
Uma dessas ferramentas é o Botometer, sistema que classifica a probabilidade de uma conta do Twitter ser um bot.
Embora Musk tenha expressado ceticismo em relação a coisas como pesquisa de desinformação, ele, na verdade, usou o Botometer publicamente – para estimar quantos bots estavam na plataforma durante sua tentativa de sair do acordo que fez para comprar o Twitter. Agora, sua decisão de cobrar pelo acesso à API pode levar ao fim dessa API.
Um aviso no site do Botometer diz que a ferramenta provavelmente deixará de funcionar em breve. “Estamos buscando ativamente soluções para manter este site vivo e gratuito para nossos usuários, o que envolverá o treinamento de novo modelo de aprendizado de máquina e o trabalho com os novos planos de API pagos do Twitter”, diz.
“Observe que, mesmo que seja viável criar uma nova versão do site do Botometer, ela terá funcionalidades e cotas limitadas em comparação com a versão atual devido à API restrita do Twitter.”
O fechamento iminente é um golpe pessoal para o co-criador do Botometer, Kai-Cheng Yang, pesquisador que estuda desinformação e bots nas mídias sociais e que recentemente obteve seu doutorado em informática na Indiana University Bloomington.
“Todo o meu doutorado, toda a minha carreira, é basicamente baseada em dados do Twitter agora. É provável que não esteja mais disponível para o futuro”, disse Yang ao The Verge. Quando questionado sobre como ele pode ter que abordar seu trabalho de maneira diferente agora, ele diz: “Tenho me feito essa pergunta constantemente.”
Outros pesquisadores estão igualmente perplexos. “A plataforma passou de uma das mais transparentes e acessíveis do planeta para o fundo do poço”, diz a signatária da carta Rebekah Tromble, diretora do Instituto de Dados, Democracia e Política (IDDP) da Universidade George Washington.
Alguns dos trabalhos anteriores de Tromble, estudando conversas políticas no Twitter, foram financiados pela empresa antes de mudar suas políticas de API.
“A API do Twitter tem sido absolutamente vital para a pesquisa que venho fazendo há anos”, diz Tromble ao The Verge. E, como Yang, ela precisa se adaptar aos novos esquemas de preços da plataforma. “Simplesmente não estou estudando o Twitter no momento”, afirma.
Mas não há muitas outras opções para coletar dados em massa das mídias sociais. Embora coletar dados de um site sem o uso de uma API seja uma opção, é um trabalho mais tedioso e pode estar repleto de outros riscos.
O Twitter e outras plataformas tentaram reduzir o scraping em parte porque pode ser difícil discernir se está sendo feito para o interesse público ou para fins maliciosos, como phishing.
Fim das APIs?
Enquanto isso, outros gigantes da mídia social têm sido ainda mais restritivos do que o Twitter com acesso à API, dificultando a migração para uma plataforma diferente. E as restrições parecem estar ficando mais rígidas – no mês passado, o Reddit anunciou da mesma forma que começaria a limitar o acesso de terceiros à sua API.
“Só me pergunto se este é o começo de empresas que estão se tornando cada vez menos dispostas a ter a API para compartilhamento de dados”, diz Hause Lin, pesquisador de pós-doutorado no MIT e na Universidade de Regina, que desenvolve maneiras de impedir a disseminação de discurso de ódio e desinformação online. “Parece que a paisagem está mudando totalmente, então não sabemos para onde está indo agora.”
Há sinais de que as coisas podem piorar ainda mais. Na semana passada, o inews informou que o Twitter disse a alguns pesquisadores que eles precisariam deletar os dados que já haviam coletado por meio de seu decahose, que fornece amostra aleatória de 10% de todo o conteúdo da plataforma, a menos que eles paguem por uma conta corporativa que possa executar acima de US$ 42 mil (R$ 212,3 mil) por mês. A mudança é “o big data equivalente à queima de livros”, disse um acadêmico não identificado que recebeu o aviso à innews.
O The Verge não conseguiu verificar essas informações com o Twitter -exatamente pela rede social responder rotineiramente às perguntas dos repórteres com emoji de cocô.
Segundo o portal, nenhum dos pesquisadores com quem conversou recebeu tal aviso, e, até agora, parece estar limitado a usuários que pagaram anteriormente para usar o decahose (apenas um uso da API do Twitter que anteriormente seria gratuito ou de baixo custo para acadêmicos).
Tanto Tromble quanto Yang usaram o decahose em seus trabalhos no passado. “Nunca antes o Twitter voltou aos pesquisadores e disse que agora que o contrato acabou, você tem que desistir de todos os dados”, diz Tromble. “É uma farsa completa. Isso devastará um monte de projetos de pesquisa em andamento realmente importantes”.
Outros acadêmicos também contam ao The Verge que o esforço relatado do Twitter para fazer com que os pesquisadores “eliminem todos os dados do Twitter armazenados e em cache em seus sistemas” sem assinatura corporativa seria devastador.
Isso pode impedir que os alunos concluam o trabalho em que investiram anos se forem forçados a excluir os dados antes de publicar suas descobertas. Mesmo que já tenham publicado seu trabalho, o acesso aos dados brutos é o que permite que outros pesquisadores testem a força do estudo ao serem capazes de replicá-lo.
“Isso é muito importante para a ciência transparente”, diz Yang. “Esta é apenas uma preferência pessoal – eu provavelmente iria contra a política do Twitter e ainda compartilharia os dados, tornando-os disponíveis porque acho que a ciência é mais importante neste caso.”
O Twitter foi um ótimo lugar para experimentos de campo digital em parte porque incentivou pessoas de diferentes origens a se encontrarem em um só lugar online. Isso é diferente do Facebook ou do Mastodon, que tendem a ter mais atrito entre os círculos sociais. Essa centralização às vezes fomentava conflitos – mas para os acadêmicos era valiosa.
“Se a pesquisa não for tão boa, não poderemos saber tanto sobre o mundo quanto sabíamos antes”, alega Pennycook. “E talvez possamos descobrir uma maneira de preencher essa lacuna, mas ainda não descobrimos.”
Via The Verge
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
Tags: