Um bibliotecário londrino analisou milhões de artigos em busca de termos incomuns utilizados em excesso por programas de inteligência artificial.
O bibliotecário Andrew Gray fez uma descoberta “muito surpreendente”. Ele analisou cinco milhões de estudos científicos publicados no ano passado e detectou um aumento repentino no uso de certas palavras. A análise está focada em estudos em inglês. Pesquisadores que não falam inglês nativo estão usando muito o ChatGPT, como uma ajuda para escrever e melhorar o idioma inglês. As pessoas estão usando o ChatGPT principalmente para uma primeira tradução, ou até mesmo para manter essa tradução diretamente.
Alguns exemplos: “meticulously” (aumento de 137%), “intricate” (117%) e “commendable” (83%).
O bibliotecário da University College London só consegue encontrar uma explicação para esse aumento: dezenas de milhares de pesquisadores estão usando o ChatGPT – ou outras ferramentas de modelo de linguagem grande e similar com inteligência artificial – para escrever seus estudos ou pelo menos “poli-los”.
Existem exemplos flagrantes. Uma equipe de cientistas chineses publicou um estudo sobre baterias de lítio em 17 de fevereiro. O trabalho – publicado em uma revista especializada da editora Elsevier – começa assim: “Certamente, aqui está uma possível introdução para o seu tema: Baterias de lítio-metal são candidatas promissoras para…”. Os autores aparentemente pediram uma introdução ao ChatGPT e acidentalmente a copiaram como está. Um outro artigo em uma revista diferente da Elsevier, publicado por pesquisadores israelenses em 8 de março, inclui o texto: “Em resumo, o manejo de iatrogênico bilateral Peço desculpas, mas não tenho acesso a informações em tempo real ou dados específicos do paciente, pois sou um modelo de linguagem de IA.” E, alguns meses atrás, três cientistas chineses publicaram um desenho maluco de um rato com uma espécie de pênis gigante, uma imagem gerada com inteligência artificial para um estudo sobre células precursoras de espermatozoides.
Andrew Gray estima que pelo menos 60.000 estudos científicos (mais de 1% dos analisados em 2023) foram escritos com a ajuda do ChatGPT – uma ferramenta lançada no final de 2022 – ou similar. “Acho que casos extremos de alguém escrevendo um estudo inteiro com o ChatGPT são raros”, diz Gray, um bibliotecário escocês de 41 anos. Em sua opinião, na maioria dos casos, a inteligência artificial é usada adequadamente para “polir” o texto – identificar erros de digitação ou facilitar a tradução para o inglês – mas há uma grande área cinzenta, na qual alguns cientistas levam a assistência do ChatGPT ainda mais longe, sem verificar os resultados. “Neste momento, é impossível saber o quão grande é essa área cinzenta, porque as revistas científicas não exigem que os autores declarem o uso do ChatGPT, há muito pouca transparência”, lamenta.
Modelos de linguagem de inteligência artificial usam certas palavras com conotações positivas de forma desproporcional, como demonstrado pela equipe de James Zou da Universidade de Stanford. Zou e seus colegas alertaram em março que os revisores de estudos científicos estão usando esses programas para escrever suas avaliações, antes da publicação dos trabalhos. O grupo de Stanford analisou revisões por pares de estudos apresentados em duas conferências internacionais de inteligência artificial e descobriu que a probabilidade da palavra “meticulous” aparecer havia aumentado 35 vezes.
Por outro lado, a equipe de Zou não detectou traços significativos de ChatGPT nas correções feitas nos prestigiosos jornais do grupo Nature. O uso do ChatGPT foi associado a revisões por pares de menor qualidade. “Acho isso realmente preocupante”, explica Gray. “Se sabemos que usar essas ferramentas para escrever revisões produz resultados de menor qualidade, devemos refletir sobre como elas estão sendo usadas para escrever estudos e o que isso implica”, diz o bibliotecário da University College London. Um ano após o lançamento do ChatGPT, um em cada três cientistas admitiu que usava a ferramenta para escrever seus estudos, segundo uma pesquisa na revista Nature.
A análise de Gray mostra que a palavra “intrincate” apareceu em 109.000 estudos em 2023, mais que o dobro da média de 50.000 em anos anteriores. O termo “meticulously ” passou de aparecer em cerca de 12.300 estudos em 2022 para mais de 28.000 em 2023.
Muito poucos estudos relatam se usaram inteligência artificial. Gray alerta para o perigo de “um círculo vicioso”, no qual versões subsequentes do ChatGPT são treinadas com artigos científicos escritos pelas versões antigas, dando origem a estudos cada vez mais repetitivos.
Artigo traduzido livremente do inglês para o português
Madrid – Apr 25, 2024 – 16:29UpdatedAPR 25, 2024 – 16:30 BRT
birdgei.com 