Ai, revisão por pares e a atividade humana da ciência

O tempo é uma mercadoria preciosa para os cientistas de pesquisa. Como estudantes, desenvolvemos habilidades para gerenciar nosso tempo, que aprimoramos em nossas carreiras à medida que as responsabilidades mudam. Muitas vezes, somos rápidos em adotar novas tecnologias que aliviam a carga. Desde o software estatístico e a digitação digital até as pesquisas de literatura on-line e a coleta de dados de alto rendimento, a tecnologia nos ajuda a fazer mais, mais rápido. No entanto, alguns aspectos de nossos trabalhos parecem resistentes à automação: ler a literatura, desenhar manuscritos e se envolver na revisão por pares, por exemplo.

Os avanços na inteligência artificial generativa (AI) nos últimos anos sugerem a possibilidade de automatizar essas tarefas demoradas. As propostas para adotar a IA em processos científicos passaram por gerar hipóteses e coletar dados para executar análises, escrever trabalhos, realizar revisão, detectar erros e avaliar a confiabilidade do trabalho publicado. Alguns até sugeriram que a IA poderia fazer pesquisas no nível de doutorado ou operar como um cientista totalmente autônomo.

Três etapas movidas a IA para uma revisão mais rápida e inteligente

Como pesquisadores que estudam como as tecnologias de informação digital afetam a sociedade, nos encontramos lutando se e como adotar a IA em nossos fluxos de trabalho de pesquisa. Enfrentamos o mesmo tempo pressões que todos os outros, mas preocupações éticas – e questões de precisão – param muito. As políticas de uso da AII continuam a mudar à medida que os periódicos e os financiadores lutam para acompanhar o ritmo. Pesquisadores proeminentes, incluindo especialistas em IA, já tiveram problemas.

Tudo isso é assuntos importantes e práticos. Mas uma questão mais profunda se esconde sob a superfície. A razão pela qual esses aspectos de nossos trabalhos foram tão desafiadores para automatizar é que eles dependem de algo ainda mais precioso do que nosso tempo: a saber, nossa capacidade de tomada de decisão científica. Vale a pena considerar o que perdemos quando cedemos isso – e nossa agência – para máquinas.

Revisão por pares

Na última década, o número de artigos publicados cresceu muito mais rápido que o número de cientistas. O sistema de revisão por pares é tenso para quase o ponto de ruptura. Como editores, achamos mais difícil do que nunca garantir árbitros dispostos; Como autores, assistimos nossos manuscritos em lembrar no limbo editorial; Como revisores, recebemos muito mais solicitações do que podemos aceitar.

Nós (CTB e JB-C.) Colaboramos para a maior parte de uma década e percebemos que compartilhamos uma abordagem para escrever relatórios de árbitros. Começamos com uma leitura inicial do papel, tomando anotações ao longo do caminho. Com uma sensação do arco completo, releimos o papel, refinando nossas anotações e mergulhando mais profundamente: pesquisando na literatura, verificando o código, esboçando diagramas ou fazendo um pouco de análise, por exemplo. Eventualmente, abatemos, organizamos e expandimos nossas notas na prosa que constitui o relatório final. O processo – que é totalmente não compensado e principalmente não reconhecido – leva horas ou até dias.

Um grande modelo de linguagem (LLM) poderia acelerar o processo? Alguns engenheiros estão tentando construir sistemas de revisão de pares totalmente automatizados, mas esse objetivo nos atinge tão claramente bobo: é uma revisão por pares, afinal, ênfase em ‘par’.

Tentando uma posição mais moderada, uma Natureza O colunista sugeriu que os revisores primeiro usassem ferramentas de dittação automática para compilar notas durante uma leitura inicial e depois alimentar essas notas em um LLM para organizar seus comentários. O autor diz que pode concluir uma revisão usando essa abordagem em 30 a 40 minutos, ou ainda mais rápida se o artigo for obviamente falho.

A IA está transformando a revisão por pares – e muitos cientistas estão preocupados

Mas, em nossa opinião, escrever uma boa revisão por pares não é um trabalho mecânico. Como qualquer tipo de análise crítica, exige que a triagem, classifiquemos e organizemos nossos pensamentos não estruturados. Talvez comecemos com elogios e, em seguida, levantamos alguns dos problemas mais prementes que precisam ser abordados. A partir daí, enumeramos correções rápidas, pequenas preocupações e pontos de confusão. Todo o processo constitui uma negociação conosco sobre o que é importante o suficiente para mencionar, para que possamos negociar com os editores e autores sobre o que deve ser alterado. Podemos descobrir que nossas impressões originais foram equivocadas; que alguns de nossos comentários precisam ser revisados ​​ou omitidos; Ou que questões aparentemente menores são, de fato, falhas fundamentais. O processo de resumir e sintetizar nos ajuda a envolver -nos mais profundamente com o manuscrito.

Escrever uma revisão por pares, então, ou mesmo passar das notas iniciais para o texto final, requer capacidades que um LLM simplesmente não possui: nossa perspectiva única, treinamento, valores, ética, experiência em domínio, entendimento das prioridades editoriais e percepções dos autores. Mesmo que uma ferramenta de IA pudesse escrever uma revisão, ela nunca seria capaz de escrever sua revisão – ou qualquer revisão de qualquer par. Se cedermos esse processo ao LLMS, abandonamos nossa agência para melhorar a literatura científica. Como o historiador David McCullough expressou em uma entrevista de 2003: “Escrever está pensando. Escrever bem é pensar claramente. É por isso que é tão difícil”.

Ciência da IA, automação e desbloqueio

As implicações se estendem muito além da revisão por pares. Os proponentes da ciência assistida pela AI argumentam que a IA pode aumentar a produtividade, libertando pesquisadores da labuta de tarefas de rotina. Onde essas tarefas são inteiramente rotineiras – formatando uma bibliografia, por exemplo – concordamos. Mas, na maioria das vezes, eles incluem aspectos cruciais de fazer ciência.