Cole um texto em uma plataforma, espere alguns segundos e receba um percentual indicando se aquelas palavras foram escritas por uma pessoa ou por inteligência artificial. Parece uma solução perfeita para escolas, universidades, editoras e empresas. O problema é que descobrir a verdadeira origem de um texto é muito mais complicado. Embora os detectores tenham evoluído rapidamente, até seus próprios desenvolvedores reconhecem uma limitação fundamental que pode transformar uma suspeita em uma acusação injusta.
A explosão da IA criou um novo mercado para tentar identificá-la
A popularização das ferramentas de inteligência artificial generativa produziu uma consequência previsível: quanto mais textos criados por máquinas circulam pela internet, maior é o interesse em descobrir quem realmente os escreveu.
Foi assim que dezenas de detectores começaram a aparecer.
Muitos são direcionados especialmente ao setor educacional e acadêmico, onde professores e instituições tentam descobrir se trabalhos foram produzidos pelos próprios estudantes ou gerados com auxílio de ferramentas automatizadas.
Grande parte desses serviços possui versões gratuitas limitadas e planos pagos para análises mais extensas.
Embora cada empresa desenvolva sua própria metodologia, existe uma lógica geral por trás desses sistemas.
Os detectores são treinados utilizando grandes conjuntos de textos. De um lado estão conteúdos produzidos por modelos de inteligência artificial. Do outro, materiais comprovadamente escritos por seres humanos.
A partir dessas informações, os sistemas aprendem a procurar padrões associados a cada categoria.
Nos últimos anos, a tecnologia melhorou significativamente. Algumas empresas chegam a anunciar índices de precisão superiores a 99%.
É um número impressionante.
Mas ele não significa necessariamente aquilo que muita gente imagina.
O detector não sabe realmente quem escreveu aquelas palavras
Quando uma ferramenta classifica um texto como produzido por IA, ela não está encontrando uma assinatura digital secreta deixada por uma máquina.
O processo é baseado principalmente em padrões estatísticos.
Thierry Poibeau, especialista em processamento automático da linguagem e diretor de pesquisa do CNRS, explica que essas ferramentas procuram regularidades na escrita.
Modelos generativos podem apresentar determinadas construções com maior frequência, organizar frases de maneiras semelhantes ou repetir certos padrões estilísticos.
Historicamente, alguns sinais ficaram particularmente associados à escrita produzida por inteligência artificial.
Estruturas em grupos de três elementos e determinados usos de travessões, por exemplo, apareceram com frequência em conteúdos gerados por alguns modelos. Parte desse comportamento pode estar relacionada aos materiais utilizados durante o treinamento dessas tecnologias.
Só que existe um problema evidente.
Pessoas também escrevem dessa maneira.
Um escritor pode naturalmente utilizar construções repetitivas, frases equilibradas ou determinadas formas de pontuação.
E, conforme os modelos de IA ficam melhores em imitar a linguagem humana, as fronteiras se tornam ainda menos claras.
Um escritor foi acusado e o caso mostrou o tamanho do problema
A discussão ganhou força recentemente na França depois que o escritor canadense-haitiano Thélyson Orélien foi acusado nas redes sociais de utilizar inteligência artificial em seu primeiro romance.
O autor negou a acusação.
A suspeita surgiu depois que uma conta anônima utilizou um detector chamado Pangram para analisar dois trechos da obra.
O episódio mostra como uma ferramenta criada para encontrar indícios pode rapidamente ser tratada como prova.
E essa diferença é fundamental.
Pangram afirma conseguir identificar sinais sutis presentes na escrita que podem indicar a utilização de inteligência artificial. Ainda assim, o próprio cofundador e CEO da empresa, Max Spero, já reconheceu publicamente que a ferramenta não deveria funcionar como árbitro definitivo.
O resultado deveria servir como ponto de partida para uma investigação mais completa.
Outra plataforma conhecida, Winston AI, utiliza uma linguagem igualmente cuidadosa ao indicar conteúdos considerados suscetíveis de terem sido produzidos por inteligência artificial.
Em outras palavras, até quem desenvolve essas tecnologias evita afirmar que um resultado isolado possa provar definitivamente a autoria.
Um índice de 99% não significa certeza absoluta
É aqui que os números podem causar confusão.
Quando uma empresa anuncia uma precisão superior a 99%, é fácil interpretar que qualquer texto marcado como IA possui 99% de probabilidade de realmente ter sido produzido dessa maneira.
Não necessariamente.
O desempenho depende dos conjuntos utilizados nos testes, do tipo de texto analisado, do modelo de inteligência artificial empregado e de inúmeras outras condições.
Um texto também pode ter sido parcialmente produzido por IA e posteriormente profundamente modificado por uma pessoa.
Existe ainda a situação inversa: alguém pode escrever naturalmente de uma maneira que um algoritmo considere semelhante ao padrão aprendido a partir de textos artificiais.
O problema pode se tornar especialmente complicado na literatura.
Aquilo que o detector interpreta como uma repetição suspeita pode simplesmente fazer parte do estilo deliberado de um autor.
E modelos generativos continuam evoluindo.
Os padrões que ajudavam a identificar textos produzidos por uma determinada geração de IA podem desaparecer ou se tornar menos confiáveis na geração seguinte.
Quanto mais humana a IA fica, mais difícil será detectá-la
Existe uma espécie de corrida acontecendo nos bastidores.
Enquanto empresas desenvolvem detectores mais sofisticados, criadores de modelos generativos trabalham justamente para tornar a escrita artificial mais natural, variada e contextual.
Isso significa que os detectores precisam aprender continuamente novos padrões.
Também existem técnicas capazes de modificar textos gerados para reduzir características normalmente associadas à inteligência artificial.
Por isso, transformar uma porcentagem apresentada na tela em uma conclusão definitiva pode ser perigoso, especialmente quando existem consequências acadêmicas, profissionais ou reputacionais para a pessoa acusada.
Um detector pode funcionar como mais uma informação dentro de uma análise.
Histórico de versões, rascunhos, fontes utilizadas, capacidade de explicar o próprio trabalho e comparação com textos anteriores podem oferecer contexto muito mais amplo.
No final, a tecnologia criada para identificar inteligência artificial enfrenta um paradoxo: quanto melhor a IA aprende a escrever como nós, menos confiável se torna qualquer tentativa de reconhecê-la apenas observando como um texto parece ter sido escrito.
[Fonte: UDGTV]
