Na semana passada, a OpenAI publicou dicas para educadores em uma postagem promocional no blog que mostra como alguns professores estão usando o ChatGPT como auxílio educacional, junto com sugestões de sugestões para começar.
Em um FAQ relacionado, eles também admitem oficialmente o que já sabemos: os detectores de escrita de IA não funcionam, apesar de serem frequentemente usados para punir alunos com falsos positivos.
Em uma seção do FAQ intitulada “Os detectores de IA funcionam?”, a OpenAI escreve :
“Em resumo, não. Embora alguns (incluindo a OpenAI) tenham lançado ferramentas que pretendem detectar conteúdo gerado por IA, nenhuma delas provou distinguir com segurança entre conteúdo gerado por IA e conteúdo gerado por humanos.”
Esses detectores geralmente produzem falsos positivos devido à dependência de métricas de detecção não comprovadas.
Em última análise, não há nada de especial no texto escrito por IA que sempre o diferencie do texto escrito por humanos, e os detectores podem ser derrotados pela reformulação da frase.
Naquele mesmo mês, a OpenAI descontinuou seu AI Classifier, que era uma ferramenta experimental projetada para detectar texto escrito por IA.
Ele tinha uma taxa de precisão péssima de 26%.
O novo FAQ da OpenAI também aborda outro grande equívoco, que é que o próprio ChatGPT pode saber se o texto foi escrito por IA ou não.
OpenAI escreve: “Além disso, ChatGPT não tem ‘conhecimento’ de qual conteúdo pode ser gerado por IA. Às vezes, ele inventará respostas a perguntas como ‘você escreveu este [ensaio]?’ ou ‘isso poderia ter sido escrito pela IA?’ Essas respostas são aleatórias e não têm base em fatos”.
Nesse sentido, a OpenAI também aborda a propensão de seus modelos de IA de confabular informações falsas.
“Às vezes, o ChatGPT parece convincente, mas pode fornecer informações incorretas ou enganosas (muitas vezes chamadas de ‘alucinação’ na literatura)”, escreve a empresa.
“Ele pode até inventar coisas como citações ou citações, então não o use como sua única fonte de pesquisa.”
(Em maio, um advogado teve problemas por fazer exatamente isso – citando seis casos inexistentes que ele retirou do ChatGPT.)
Mesmo que os detectores automatizados de IA não funcionem, isso não significa que um ser humano nunca possa detectar a escrita de IA.
Por exemplo, um professor familiarizado com o estilo de escrita típico de um aluno pode perceber quando seu estilo ou capacidade muda repentinamente.
Além disso, algumas tentativas descuidadas de fazer com que o trabalho gerado pela IA seja escrito por humanos podem deixar sinais reveladores, como a frase “ como um modelo de linguagem de IA”, que significa que alguém copiou e colou a saída do ChatGPT sem tomar cuidado.
E recentemente, um artigo na revista científica Nature mostrou como os humanos notaram a frase “Regenerar resposta” em um artigo científico, que é o rótulo de um botão no ChatGPT.
No estado atual da tecnologia, é mais seguro evitar completamente as ferramentas automatizadas de detecção de IA.
“A partir de agora, a escrita de IA é indetectável e provavelmente continuará assim”, disse Ethan Mollick, analista frequente de IA e professor da Wharton, a Ars em julho.
“Os detectores de IA têm altas taxas de falsos positivos e, como resultado, não devem ser usados.”
