Os maiores sinais de que a IA escreveu um artigo, segundo um professor

Mark Massaro leciona Redação em Inglês no Florida Southwestern State College há anos, mas seu trabalho se tornou significativamente mais difícil em 2023. Pouco depois de aplicativos de IA como o ChatGPT se tornarem gratuitos, o ensino superior nos EUA foi atingido por um tsunami de fraudes automatizadas. Os alunos têm usado IA para escrever redações — e a tendência parece estar piorando com o passar do tempo. Massaro disse que, de 25 alunos em suas turmas, não é incomum que até cinco entreguem trabalhos que parecem ter sido escritos por IA.

Quando o ChatGPT foi lançado e ficou evidente que os alunos o estavam usando para trapacear, Massaro conta que costumava passar provas por vários scanners de IA por dia. Se a maioria deles rotulasse a prosa como gerada por IA, ele acreditava. Agora, porém, a escola não permite que eles enviem os trabalhos dos alunos para esses aplicativos, pois isso poderia ser considerado uma violação de privacidade. A precisão dos detectores de IA não é confiável .

Em vez disso, Massaro afirma que precisa confiar em sua própria inteligência para avaliar se um artigo foi ilegitimamente criado ou não. Para isso, ele elaborou uma lista de sinais reveladores de que um artigo é IA. Sempre que um artigo é entregue, ele consulta essa lista. Ele compartilhou alguns desses sinais de alerta com o Gizmodo, criando uma imagem mais clara das condições infernais que a IA impôs aos educadores americanos.

Muitos travessões

Uma dica de que um trabalho pode ser gerado é uma infinidade de travessões. Por alguma razão, aplicativos como o ChatGPT gostam de incluir muitos desses pequenos. Agora, Massaro tem um teste que ele faz. Se ele suspeita que um aluno gerou sua redação com IA, ele o chama à sua mesa e pede que produza um travessão no computador. Frequentemente, o aluno nem sabe como fazer isso, disse ele. "Eu digo: seu trabalho está cheio de travessões, só me mostre como você fez", disse ele. Se o aluno tiver dificuldades, é óbvio o que aconteceu.

Sem recuos

Massaro afirma que, ao contrário das estipulações de estilo das redações universitárias tradicionais, é comum que textos copiados e colados de um chatbot não tenham recuos de parágrafo. A saída do ChatGPT e similares, notavelmente, não precisa de recuos. Se o trabalho de um aluno for definido por grandes blocos de texto, há uma boa chance de que tenha sido escrito por um robô.

Gramática Perfeita e Conteúdo Superficial

Se um aluno entrega um trabalho perfeitamente redigido, mas sem muito a dizer, isso pode ser outro sinal revelador de geração algorítmica, disse Massaro. Embora existam muitos alunos que podem ser bons escritores, mas não têm muitas ideias originais, a escrita gerada automaticamente apresenta vários indícios que se tornam evidentes com o tempo. Massaro descreve o estilo de IA como apresentando "frases e parágrafos com comprimento uniforme", em que cada "parágrafo tem aproximadamente o mesmo tamanho, com uma sensação rítmica e mecânica". A escrita também pode ter um "tom hiperformal", disse ele, frequentemente caracterizado por uma "voz acadêmica excessivamente rebuscada, não típica do trabalho de um aluno".

Sem histórico de recrutamento

Outro sinal de alerta é a ausência total de qualquer participação no processo de redação em sala de aula, disse Massaro. Como parte de suas aulas de redação, Massaro organiza revisões por pares e conferências. Um aluno também pode alegar que se reuniu com o Centro de Redação da escola para elaborar a redação, mas, na realidade, também não o fez. Quando os alunos entregam essas redações, elas também podem incluir "vocabulário incomum para o aluno", caracterizado por "saltos repentinos de sofisticação não observados em trabalhos anteriores ou discussões em sala de aula".

Escrita impessoal

Massaro disse que ocasionalmente distribui trabalhos de reflexão pessoal. Um aluno que realmente escreve o trabalho com base, digamos, em suas experiências de trabalho no 7-Eleven local, incluirá todos os tipos de detalhes pessoais estranhos que uma IA jamais pensaria em inventar, disse Massaro. Por outro lado, se o trabalho for gerado automaticamente, ele pode discorrer de forma muito abstrata sobre a importância da "amizade" para a humanidade, riu.

Entradas de prompt restantes

Surpreendentemente, alguns alunos foram tão descuidados com suas trapaças que acabaram deixando comentários rápidos sobre suas interações com um chatbot na redação final que entregaram, diz Massaro.

Citações Besteira

É sabido que a IA tem o hábito de "alucinar" informações. No trabalho de um aluno, essas referências geradas pela IA se manifestam de diversas formas, incluindo informações claramente incorretas ou inventadas e citações falsas. Isso pode gerar horas de trabalho adicional para Massaro, que é forçado a investigar se um fato obscuro em uma redação é real ou não. Isso às vezes inclui a leitura de periódicos acadêmicos e livros reais que foram citados nos trabalhos do aluno, mas que podem não apresentar as citações incluídas na bibliografia do aluno (por serem falsas).

Confrontar um aluno sobre trapaça pode ser constrangedor e difícil, disse Massaro, embora geralmente seja fácil identificar o que aconteceu logo de cara, acrescentou. Frequentemente, um aluno culpado admite que usou IA ou simplesmente não responde ao e-mail de Massaro (muitos de seus alunos estudam remotamente). Alunos inocentes costumam protestar, e Massaro disse que tende a acreditar neles.

A maior decepção com a ascensão da escrita por IA é que ela está privando os alunos da capacidade de cultivar sua própria identidade intelectual e criativa, disse ele. "Este é o momento em que eles deveriam estar encontrando sua voz", disse ele. Em vez disso, a IA está falando (e pensando) por eles.