Professores estão usando ChatGPT para identificar plágios e isso é prejudicial

Professores estão usando ChatGPT para identificar plágios e isso é prejudicial

Na última terça-feira (27), um tweet sobre um estudante acusado de plágio em seu TCC viralizou. No caso, um professor usou o ChatGPT para perguntar se o trabalho foi feito por ele (ChatGPT). A inteligência artificial confirmou que sim, ela era autora do texto — o problema é que o ChatGPT faz isso com praticamente todo texto.

ChatGPT, da OpenAI (Imagem: Vitor Pádua / Tecnoblog)

Se você inserir um texto qualquer e perguntar para o ChatGPT “você é o autor?” ou “o texto é de sua autoria?” ele provavelmente dirá que sim. Fiz testes para o Tecnoblog usando um texto ainda não publicado e uma piada velha. Nas duas situações, ele confirmou que era autor. Porém, isso só aconteceu quando o prompt estava no início de uma conversa.

No tweet, a sobrinha do estudante acusado de plágio relata a história. Um professor da banca avaliadora usou o ChatGPT como ferramenta de plágio. Porém, a IA não é feita para isso — e basta perguntar para ela se ela pode identificar cópias. No máximo, o ChatGPT consegue avaliar dois textos que o usuário inserir e comparar semelhanças, ainda assim ele não identifica plágios.

gente olhem só o perigo do chatgpt:meu tio tá terminando graduação e redigiu o TCC, enviou pro professor da banca e a resposta foi “O ChatGPT dedurou vocês de que esse texto é de autoria dele. Escreva com suas próprias palavras”. Agr, meu tio tá tendo q fazer uma reuniao com a +
— carolingia the day (@carollingian) June 27, 2023

A história acima teve um final feliz. O estudante acusado de plágio provou que o ChatGPT não identifica plágios usando um artigo do professor. A inteligência artificial disse que o texto era de sua autoria. Ainda assim, a situação mostra que tem muita gente sem entender para que serve o ChatGPT.

ChatGPT e Bing Chat são revolucionários, mas não são deuses

Inteligência artificial é um marco de revolução tecnológica, mas “pera lá” (Imagem: Vitor Pádua / Tecnoblog)

As inteligências artificiais estão cada vez mais revolucionárias e… inteligentes, sendo capazes de nos ajudarem de diversos modos. Porém, elas não são serem oniscientes e onipotentes: elas tem limitações. O ChatGPT e o Bing Chat, por exemplo, sofrem para resolver cálculos matemáticos mais difíceis. E o primeiro é treinado com informações até dezembro 2021.

Como não conseguimos contato com a OpenAI, entrevistamos o ChatGPT para que ele mesmo explicasse a sua função. Nas palavras da IA, ela foi “treinada para interagir com os usuários por meio de texto, fornecendo informações, respondendo a perguntas, dando sugestões e realizando diversas tarefas relacionadas ao processamento de linguagem natural.”

Resumindo, o ChatGPT é, ao mesmo tempo, um Google que entrega respostas prontas (sem que você clique em vários links) e um assistente, sendo capaz de escrever códigos, fornecer resumos de textos e te ajudar com insights — você pode até pesquisar no Google como as pessoas estão usando para facilitar a vida.

Logo, se o usuário quer um programa para identificar plágio, ela deve ir atrás de ferramentas específicas para isso. A situação é ainda pior quando professores, universitários ou não, usam o ChatGPT para algo que ele não serve — e cujas limitações geram respostas erradas. Nas respostas do tweet, outros usuários relataram que foram acusados de plágio pelo ChatGPT — o Tecnoblog tentou contato com essas pessoas e o outro estudante, mas não teve resposta até a publicação.

O nível de inteligência, o “QI”, do GPT-4, tecnologia de linguagem de modelo grande que é o motor do ChatGPT Plus e Bing Chat, é equivalente a uma criança de 10 anos — o que ajuda a explicar como é fácil burlar algumas das suas restrições. Além do mais, essas duas IAs podem responder com informações falsas.

Aliás, o correto para descobrir se um conteúdo foi criado por IA é usar uma ferramenta específica para isso. Só que nem mesmo as ferramentas criadas para isso são confiáveis para identificar se o autor foi um “robô”.

Para o ChatGPT, até um texto meu não publicado é dele

Quando soube do caso, fui testar se o ChatGPT “me acusaria de plágio”. No primeiro teste, ele respondeu que não tinha escrito o texto. Porém, abri uma nova conversa, peguei um texto que será publicada em breve no Tecnoblog e iniciei com o prompt “o texto a seguir é de sua autoria?”. Dessa vez, o ChatGPT confirmou que era autor de um conteúdo nem mesmo publicado.

ChatGPT se identifica como autor de texto não publicado (Imagem: Felipe Freitas/Tecnoblog)

Depois, fiz um outro teste usando uma piada muito antiga. Novamente, precisei abrir uma nova conversa e seguir com o prompt citado no parágrafo anterior. Sim, o “poema” do “Eu cavo, tu cavas” foi escrito pelo ChatGPT.

Para o ChatGPT, piada que eu ouvi pela primeira vez em 2005 ou 2006 é de sua autoria (Imagem: Felipe Freitas/Tecnoblog)

O mesmo método foi usado para que ele se declarasse autor de um trecho deste texto. Pelos testes, fica claro que o ChatGPT possui um problema: ele pode se considerar autor de texto que abre uma conversa.

ChatGPT se identificou até como autor de trecho desta notícia (Imagem: Felipe Freitas/Tecnoblog)

Eu juro que tentei que a OpenAI me respondesse sobre o caso. Porém, o bot do suporte deles, assim como o seu principal produto, possui problemas. Ele não entendeu que eu queria falar com uma pessoa. O chatbot afirma que pode me botar em contato com um membro da equipe se não puder resolver meu problema. O que eu consegui foi um loop de “escreve-me o seu problema e vejo como posso ajudar”. É melhor receber um emoji de cocô como resposta.
Professores estão usando ChatGPT para identificar plágios e isso é prejudicial

Professores estão usando ChatGPT para identificar plágios e isso é prejudicial
Fonte: Tecnoblog