Olhar para a história de um documento mostra como o processo de pensamento do escritor evoluiu – e destaca os atalhos da IA, diz Nikita Bezrukov.
Eu estava classificando documentos para o meu seminário de escrita sobre justiça no aprendizado de máquina, quando as referências começaram a ficar estranhas. O primeiro doi que verifiquei retornou um erro 404; O segundo abriu uma página em branco; E um artigo de diário com um título plausível não apareceu em nenhum banco de dados que pesquisei. As mesmas falhas surgiram em vários envios, deixando claro que a inteligência artificial generativa (IA), não os estudantes, foi o primeiro autor.
O padrão era fácil de detectar. A prosa era imaculada, mas de alguma forma empolgada – a estrutura do parágrafo era muito precisa. As peças não tinham uma sensação de luta que sinaliza um pensamento genuíno. Cada vez que abri um arquivo, fiz as mesmas perguntas: esse conjunto de dados é real? Esse especialista existe? O aluno escreveu algo disso? Depois de passar semanas verificando cotações, fontes e até identidades de autores, me senti menos como professor e mais como um investigador forense.
Então um erro de digitação saltou da página de um ensaio. Esse artigo se referiu a um “falante monolinguístico” (em oposição ao termo padrão, “falante monolíngue”). O erro foi pequeno, mas indicou que uma pessoa, não um chatbot, havia redigido o texto. Eu respirei um suspiro de alívio. Percebi que queria ver mais imperfeição.
Rastreando mudanças
Na manhã seguinte, anunciei uma nova regra para meus alunos, na tentativa de assar esse momento no meu ensino: as tarefas não puderam ser enviadas como PDFs únicos mostrando apenas a versão final. Todo documento tinha que ter um histórico de versões, para que eu pudesse ver o processo de escrita, não apenas o produto final. Liguei para a pontuação resultante da grau de trajetória: 60% da marca refletia como as idéias se desenvolveram entre os rascunhos e 40% cobririam a qualidade da versão concluída. Foi o meu último semestre ensinando seminários de redação no primeiro ano de disciplinas na Universidade da Pensilvânia na Filadélfia, então eu estava aberto a experimentação. E a turma era pequena – apenas 12 alunos, por isso foi fácil mudar de rumo se algo desse errado.
No começo, meus alunos eram céticos, assumindo que essa era uma tática para policiar seu trabalho. Um colega sugeriu que eu usasse uma analogia de blockchain para explicar meu raciocínio. Esse enquadramento mudou o humor. A maioria dos estudantes já sabia que o Blockchain mantém um livro transparente e resistente a mudanças: cada bloco armazena dados, como transações, e está criptograficamente ligado ao bloco anterior, formando uma cadeia contínua e verificável. Qualquer tentativa de alterar um bloco se destaca imediatamente, portanto o registro é confiável. Ver as ferramentas de trilha de versão como uma blockchain em escala de sala de aula fazia sentido para os alunos – e o requisito de repente parecia intuitivo, em vez de punitivo.
No final do semestre, eu havia aprendido mais com os históricos da versão do que poderia ter de qualquer papel estático. No meu seminário, os cursos de engenharia de primeiro ano e ciência da computação escolhem um tópico em tecnologia emergente – por exemplo, justiça na guerra de drones ou admissões dirigidas por AI. Cada etapa se baseia no último: eles criam um mapa de literatura e o transformam em um artigo de pesquisa rico em dados, que eles reformam em peças públicas, como artigos de opinião e resumos de políticas. Como toda revisão foi capturada, minhas suspeitas em torno do plágio desapareceram e os atalhos de IA se destacaram. Eu pude ver em detalhes como cada pedaço de texto evoluiu com o tempo, quantitativamente por quanto tempo levou para escrever e por seu comprimento e qualitativamente pela maneira como suas idéias se desenrolavam.
Minha própria carga de trabalho melhorou tremendamente. As sessões de classificação não pareciam mais análises de cenas de crime, e eu gastei menos tempo procurando sinais de assistência de IA e mais tempo treinando a estratégia de redação acadêmica. A regra de controle de versão incentivou muitos estudantes a começar mais cedo e revisar constantemente, porque a história transparente não deixou como esconder um trabalho apressado no prazo. Ele restaurou os hábitos que nossos cursos de escrita em disciplinas são projetados para ensinar jovens pesquisadores: progresso incremental e redrafting atencioso. Suas submissões finais se sentiram conquistadas, e não entregues por um algoritmo.
