O Turnitin, programa utilizado por 2,1 milhões de educadores para detectar plágio nos trabalhos de alunos, anunciou nesta segunda-feira (3) que adicionou “recursos de detecção de IA” em meio ao boom do ChatGPT e outras plataformas de inteligência artificial.

A ferramenta pode detectar “o uso de ferramentas de escrita de IA, incluindo ChatGPT, com 98% de confiança”, afirmou a empresa em comunicado à imprensa.

Leia mais:

“Os educadores nos disseram que ser capaz de detectar com precisão o texto escrito por IA é sua primeira prioridade no momento”, disse o CEO do Turnitin, Chris Caren. “É igualmente importante que a tecnologia de detecção se torne parte integrante do fluxo de trabalho existente, o que fizemos integrando os recursos de detecção de IA às soluções Turnitin.”

publicidade

Turnitin diz que a tecnologia para detectar GPT3, usada em tecnologias de IA, incluindo o ChatGPT, está em desenvolvimento na empresa há mais de dois anos.

“O detector de IA do Turnitin fornece medida avaliativa de quantas frases em apresentação escrita podem ter sido geradas por inteligência artificial, que os educadores podem usar para determinar se é necessária revisão, investigação ou discussão adicional com o aluno”, afirmou.

O ChatGPT causou bastante alvoroço entre os educadores do ensino fundamental e médio e do ensino superior, alguns entusiasmados em adotar a tecnologia, enquanto outros levantaram preocupações sobre as dificuldades de pegar plagiadores usando IA.

A Turnitin também lançou página de recursos de escrita de IA para educadores, que oferece conselhos sobre políticas de integridade acadêmica na era da IA e atualizará os professores sobre os avanços nos recursos de escrita de IA.

Os criadores do ChatGPT já atualizaram seu programa menos de seis meses após a disponibilização ao público, e espera-se que a tecnologia fique ainda melhor.

Testes provam o contrário

O jornalista Geoffrey Fowler, do The Washington Post, se juntou à Lucy Goetz, estudante do Ensino Médio e outros quatro alunos para testar o Turnitin.

A jovem obteve nota máxima com redação original – entendam que ela não usou nenhuma ajuda externa, senão só seu intelecto – sobre o socialismo. Porém, a ferramenta, que deveria pegar apenas plágios, acusou que a garota não foi 100% original, contrariando o que seu CEO afirmou.

“Dizer o quê?” diz Goetz, que jura que não usou o ChatGPT para trapacear. “Estou feliz por ter bom relacionamento com meus professores.”

Os alunos se ofereceram para criar 16 amostras de ensaios reais, fabricados por IA e de fontes mistas para passar pelo detector do Turnitin.

O resultado? A ferramenta acertou mais da metade deles pelo menos parcialmente errado. O Turnitin identificou com precisão seis dos 16 – mas falhou em três, incluindo 8% do ensaio original de Goetz.

Já os sete restantes, estava direcionalmente correto, mas o Turnitin identificou incorretamente alguma parte da escrita gerada pelo ChatGPT ou de origem mista.

A Turnitin também diz que suas pontuações devem ser tratadas como indicação, não como acusação. Ainda assim, milhões de professores entenderão que devem tratar as pontuações da IA como algo diferente de fato? Após conversas de Fowler com a empresa, ela adicionou alerta à sua pontuação, que diz: “A porcentagem pode não indicar trapaça. Revisão necessária.”

“Nosso trabalho é criar informações direcionais corretas para o professor iniciar uma conversa”, disse Annie Chechitelli, diretora de produtos da Turnitin. “Estou confiante o suficiente para colocá-lo no mercado, desde que continuemos a educar os educadores sobre como usar os dados.” Ela diz que a empresa continuará ajustando seu software com base no feedback e nos novos avanços da IA.

A questão é se isso será suficiente. “O fato de o sistema Turnitin para sinalizar texto de IA não funcionar o tempo todo é preocupante”, diz Rebecca Dell, que dá aula de inglês avançado para Goetz em Concord, Califórnia. “Não tenho certeza de como as escolas poderão definitivamente usar o verificador como ‘evidência’ de alunos usando trabalhos não originais.”

Ao contrário das acusações de plágio, a trapaça de IA não tem nenhum documento de origem para fazer referência como prova. “Isso deixa a porta aberta para que o viés do professor se infiltre”, diz Dell.

Para os alunos, isso torna a perspectiva de serem acusados de fraude por IA especialmente assustadora. “Não há como provar que você não trapaceou, a menos que seu professor conheça seu estilo de escrita ou confie em você como aluno”, diz Goetz.

Com informações de The Whashington Post e Finnoexpert

Imagem destacada: Sharaf Maksumov/Shutterstock

Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!