Está se tornando cada vez mais claro que os modelos de linguagem em IA estão se tornando uma ferramenta comum, já que o surgimento repentino de ofertas open source como o DeepSeek mostra que é possível criá-los sem bilhões de dólares em financiamento de capital de risco. Um novo concorrente chamado S1 reforça ainda mais essa ideia, já que pesquisadores da Universidade de Stanford e da Universidade de Washington treinaram o modelo de “raciocínio” usando menos de US$ 50 em créditos de computação em nuvem.
O S1 é um concorrente direto do o1 da OpenAI, chamado de modelo de raciocínio porque produz respostas a partir de um processo de “pensamento” que envolve questões relacionadas que o ajudam a revisar seu próprio trabalho. Por exemplo, se o modelo for questionado sobre quanto custaria substituir todos os veículos da Uber pela frota da Waymo, ele pode dividir a pergunta em várias etapas—como verificar quantos carros da Uber estão em circulação hoje e quanto custa fabricar um veículo da Waymo.
De acordo com o TechCrunch, o S1 é baseado em um modelo de linguagem pronto para uso, que foi ensinado a raciocinar estudando perguntas e respostas de um modelo do Google, o Gemini 2.0 Flashing Thinking Experimental (sim, os nomes são terríveis). O modelo do Google mostra o processo de pensamento por trás de cada resposta, permitindo que os desenvolvedores do S1 dessem ao seu modelo uma quantidade relativamente pequena de dados de treinamento—1.000 perguntas selecionadas, junto com as respostas—e o ensinassem a imitar o processo de raciocínio do Gemini.
Um truque simples para melhorar o desempenho
Outro detalhe interessante é como os pesquisadores conseguiram melhorar o desempenho de raciocínio do S1 usando um método surpreendentemente simples:
Os pesquisadores usaram um truque inteligente para fazer o S1 revisar seu próprio trabalho e prolongar o tempo de “pensamento”: eles simplesmente disseram para o modelo esperar. Segundo o artigo, adicionar a palavra “espere” durante o processo de raciocínio ajudou o modelo a chegar a respostas ligeiramente mais precisas.
Isso sugere que, apesar das preocupações de que os modelos de IA estejam atingindo um limite em suas capacidades, ainda há muito espaço para melhorias simples. Algumas das melhorias mais notáveis em um ramo da ciência da computação estão surgindo apenas ao encontrar as palavras certas para os comandos. Isso também mostra o quão crus ainda são os chatbots e modelos de linguagem: eles não pensam como humanos e precisam de orientação constante. Eles são máquinas de previsão de próximas palavras baseadas em probabilidade que podem ser treinadas para encontrar algo que se aproxime de uma resposta factual, com os truques certos.
O impacto dos modelos open source
A OpenAI supostamente reclamou do fato de que a equipe chinesa do DeepSeek treinou seus modelos a partir dos resultados dos modelos da OpenAI. A ironia disso não passou despercebida para muitos. O ChatGPT e outros modelos principais foram treinados com dados coletados da internet sem permissão, uma questão que ainda está sendo litigada nos tribunais, com empresas como o New York Times buscando proteger seus trabalhos de serem usados sem compensação. O Google também proíbe, tecnicamente, que concorrentes como o S1 treinem a partir dos resultados do Gemini, mas é improvável que receba muita simpatia por isso.
No final das contas, o desempenho do S1 é impressionante, mas não sugere que seja possível treinar um modelo do zero com apenas US$ 50. O modelo, essencialmente, aproveitou todo o treinamento do Gemini, usando uma espécie de “cola”. Uma boa analogia seria com a compressão de imagens: uma versão destilada de um modelo de IA pode ser comparada a um JPEG de uma foto. É bom, mas com perda de qualidade. E os grandes modelos de linguagem ainda sofrem com muitos problemas de precisão, especialmente os modelos gerais de grande escala que vasculham toda a web para produzir respostas. Parece que até mesmo os líderes de empresas como o Google passam por cima de textos gerados por IA sem checar os fatos. Mas um modelo como o S1 poderia ser últil em áreas como processamento local em dispositivos, por exemplo, para o Apple Intelligence (que, vale lembrar, ainda não é muito bom).
O futuro da IA com modelos baratos
Há muito debate sobre o que o surgimento de modelos baratos e open source pode significar para a indústria de tecnologia como um todo. A OpenAI está condenada se seus modelos puderem ser facilmente copiados por qualquer um? Os defensores da empresa afirmam que os modelos de linguagem sempre foram destinados a se tornar commodities. A OpenAI, junto com o Google e outros, terá sucesso construindo aplicações úteis sobre os modelos.
Mais de 300 milhões de pessoas usam o ChatGPT toda semana, e o produto se tornou sinônimo de chatbots e uma nova forma de busca. A interface construída sobre os modelos—como o Operator da OpenAI, que pode navegar na web para o usuário, ou conjuntos de dados únicos, como o acesso do xAI aos dados do X (antigo Twitter)—é o que será o diferencial final.
Outro ponto a considerar é que a inferência deve continuar sendo cara. Inferência é o processamento real de cada consulta de usuário enviada a um modelo. À medida que os modelos de IA se tornam mais baratos e acessíveis, a expectativa é que a IA influencie todos os aspectos da nossa vida, resultando em uma demanda muito maior por recursos de computação, e não menor. O projeto de US$ 500 bilhões da OpenAI para fazendas de servidores não será um desperdício—isso, é claro, se toda essa empolgação em torno da IA não for apenas uma bolha.
