Como Escolher o Modelo de IA Certo Quando Todos Ganham o Benchmark
As pontuações dos rankings públicos convergiram até ao ruído. O único sinal que ainda vale a pena ler é o custo por tarefa correta num conjunto de testes que só a sua empresa conhece.
Os mercados avaliam informação, não esforço. Por isso, quando uma sucessão de lançamentos de modelos de topo surge com dias de intervalo entre si e cada um regista uma pontuação quase idêntica nos mesmos testes públicos, o mercado acabou de receber um número que já não distingue nada. É essa a posição incómoda em que as equipas de aquisições se encontram agora, e é por isso que como avaliar modelos de IA para o seu caso de uso se tornou, silenciosamente, um problema de compras e não de leitura de rankings.
A tabela de classificação foi genuinamente útil quando os modelos estavam bem distantes uns dos outros e um teste público conseguia, à primeira vista, separar um forte de um fraco. Essa janela está a fechar-se. Quando um benchmark passa a ser aquilo pelo qual os fornecedores são avaliados, deixa de medir capacidade e passa a medir o quanto todos otimizaram na direção do mesmo alvo fixo. As pontuações sobem, as diferenças entre elas encolhem e a classificação transforma-se num artefacto de marketing. Uma vantagem de um ponto no topo de uma tabela saturada é ruído com laço.
Porque é que os benchmarks públicos de IA deixaram de dizer alguma coisa aos compradores?
Há duas razões, e nenhuma delas exige presumir má-fé. Primeiro, um conjunto de testes público é um alvo finito e estático, e tudo o que é estático acaba por ser aprendido. Seja por contaminação direta, seja pela deriva mais lenta de todo o setor a afinar-se em torno das mesmas perguntas, os testes publicados perdem poder discriminante quanto mais tempo permanecem publicados. Trate a ideia de que os laboratórios treinam deliberadamente sobre os dados de teste como uma hipótese a ter em conta, não como um facto provado. Não é preciso a conspiração para que a matemática funcione. Segundo, a própria convergência é o sinal. Quando cinco modelos terminam a um ponto de diferença entre si, a leitura honesta não é que sejam igualmente bons no seu trabalho. É que o teste esgotou a margem que tinha para dar.
Repare em como o sinal se torna mais ténue quando se olha de perto. Quando avaliadores independentes testaram o conjunto de puzzles ARC-AGI, um modelo em pré-lançamento e muito badalado obteve cerca de 75,7% no segmento semiprivado, um número impressionante que uma manchete pode citar e um comprador pode fazer muito pouco com ele. A exatidão, por si só, diz-nos que um modelo consegue chegar a uma resposta. Não diz nada sobre quanto custou chegar a essa resposta, e é aí, no custo, que se esconde a verdadeira diferença entre os modelos de hoje.
É essa a métrica que os fornecedores não conseguem manipular: o custo por tarefa correta a um nível de capacidade fixo. É uma medida economicamente real. Um modelo que iguala a exatidão de um rival gastando uma fração do valor é o resultado que importa, não uma vantagem na segunda casa decimal de uma tabela saturada. Se consegue pagar para correr um modelo um milhão de vezes é a única pergunta que sobrevive ao contacto com a implementação real. Dois modelos podem registar a mesma pontuação de raciocínio enquanto o custo por tarefa resolvida difere numa ordem de grandeza, e essa diferença é invisível na tabela que sai nas notícias.
O que mede, na prática, o custo por tarefa correta?
Defina-o com precisão, porque a expressão faz mais trabalho do que parece. O custo por tarefa correta é a despesa total para correr o seu conjunto de tarefas a dividir pelo número de tarefas que o modelo efetivamente acertou: no caso de uma única tentativa, o custo em tokens por tarefa a dividir pela taxa de acerto. Nada de exótico. Mas só tem valor sob três condições. É preciso um avaliador de confiança, seja uma verificação automática seja uma pessoa, capaz de classificar cada resposta como certa ou errada no seu próprio conjunto reservado. É preciso medir o consumo de tokens nos seus próprios pedidos, e não numa estimativa arrumada do fornecedor, porque cadeias de raciocínio mais verbosas alteram o número mais do que a taxa anunciada. E é preciso decidir quanto custa uma resposta errada: quando uma resposta plausível mas incorreta é cara de detetar, o custo por tarefa correta favorece indevidamente o modelo barato, pelo que os erros devem ser ponderados em conformidade.
Ponha números reais nisto. Tome dois modelos amplamente usados aos preços de tabela publicados: um modelo económico a 0,15 dólares por milhão de tokens de entrada e 0,60 dólares por milhão de saída, e um modelo premium do mesmo fornecedor a 2,50 e 10 dólares para os mesmos volumes. Suponha que cada tarefa do seu conjunto ronda os 2000 tokens de entrada e 500 de saída. O modelo económico custa cerca de $0,0006 por tentativa; o premium, cerca de $0,01, umas dezasseis vezes mais. Agora entra a exatidão, a metade do preço que a lista ignora. Suponha que, no seu conjunto reservado, o modelo económico resolve 55% das tarefas e o premium 75%. Divida o custo pela taxa de acerto e aparece o número real: cerca de $0,0011 por resposta correta no modelo económico contra cerca de $0,013 no premium.
Leia isto com calma. O modelo premium está vinte pontos percentuais à frente em exatidão e, ainda assim, custa cerca de doze vezes mais por cada problema que efetivamente resolve. Para comprar 5500 respostas certas, o modelo económico cobra cerca de $6; o premium cobra cerca de $73 pelas mesmas 5500. Alargue o campo e a diferença só se acentua: os preços de tabela publicados vão de patamares económicos perto de $0,15 e $0,60 por milhão de tokens, passando por opções intermédias à volta de $0,80 e $4, até patamares de topo a $3 e $15 e mais nos modos de raciocínio mais exigentes, um intervalo de duas ordens de grandeza sob pontuações de benchmark separadas por um ou dois pontos. A tabela de classificação mostra-lhe a diferença de exatidão e nenhuma diferença de preço. Se a troca compensa é uma decisão real, não um valor por omissão: se uma resposta errada é barata de detetar e repetir, o modelo económico vence sem hesitação; onde um erro silencioso é caro, paga-se pela exatidão e faz-se bem.
Como avaliar modelos de IA para o seu caso de uso?
Construa uma estrutura de avaliação própria. Reúna um conjunto reservado de tarefas retiradas do seu próprio trabalho, que nenhum fornecedor tenha visto e que nenhum consiga afinar antecipadamente, e avalie todos os modelos candidatos pela exatidão ajustada ao custo nesse conjunto. Mantenha-o privado e atualizado, e deixe que seja esse o número pelo qual efetivamente compra. Uma pontuação pública responde a uma pergunta que nunca fez; a sua própria avaliação responde à que realmente tinha. É a mesma disciplina que defendemos em preparar a organização para a IA antes de construir, e é por isso que a escolha do modelo pertence à estratégia tecnológica da empresa, e não a uma decisão tomada depois de ler um comunicado de imprensa. A estrutura de avaliação é barata frente ao custo de uniformizar toda a empresa no fornecedor errado só porque um número de marketing pareceu um sinal de capacidade.
Os riscos de segunda ordem são os que uma tabela de classificação nunca revela. O raciocínio espacial e físico continua a ser um ponto fraco estrutural: nos nossos próprios testes, modelos que brilham numa tabela geral de raciocínio continuam a tropeçar quando a tarefa depende de profundidade, posição relativa ou disposição física inferida a partir de uma imagem. Se a sua implementação lê profundidade ou posição a partir de uma única câmara ou de conteúdo puramente visual, uma pontuação geral de raciocínio é pior do que inútil, porque vai aparecer alta quando a capacidade específica de que depende está, na realidade, baixa. É exatamente este tipo de falha que uma avaliação própria apanha e que uma avaliação pública disfarça, e é grande parte da razão pela qual mantemos uma pessoa no circuito em tudo o que é consequente.
O que mudaria esta posição? Um benchmark público que mantivesse o seu poder discriminante um ano depois do lançamento, com pontuações que continuassem espalhadas em vez de se aglomerarem no teto, seria uma prova forte de que as tabelas de classificação ainda têm sinal. O mesmo aconteceria com um mercado onde o custo por tarefa correta acompanhasse de perto a exatidão anunciada, ao ponto de o proxy barato deixar de enganar. Nenhum dos dois parece provável enquanto o incentivo for otimizar o número visível. Até que isso mude, a assimetria que ninguém está a precificar é esta: quem está, discretamente, a correr as suas próprias avaliações reservadas está a tomar melhores decisões do que quem lê a mesma tabela de classificação que a concorrência, e a pagar uma fração do preço por isso.
Perguntas frequentes
O que deve medir, na prática, uma estrutura de avaliação de modelos de IA?
A exatidão ajustada ao custo em tarefas que espelhem o seu trabalho real, reservadas e mantidas privadas, e não pontuações brutas em testes públicos. Meça se um modelo chega à resposta certa e quanto custa cada resposta certa, porque é nesse segundo número que modelos aparentemente idênticos numa tabela de classificação se separam.
Os benchmarks públicos de IA são completamente inúteis para escolher um modelo?
Não, mas o seu valor degrada-se depressa. Um benchmark recente, com tarefas genuinamente novas, pode ser informativo. Um benchmark saturado, em que os modelos de topo terminam a um ponto de diferença entre si, já não consegue distingui-los por si. Trate a posição na tabela como uma indicação fraca e deixe que seja a sua própria avaliação reservada a decidir.
Porque é que o raciocínio espacial importa quando se comparam modelos de IA?
Porque é uma fraqueza estrutural documentada que as pontuações gerais de raciocínio escondem. Se o seu caso de uso infere profundidade, posição ou disposição física a partir de conteúdo visual, um benchmark geral elevado pode mascarar uma capacidade baixa exatamente na competência de que precisa, razão pela qual uma avaliação própria específica da tarefa vale mais do que qualquer agregado publicado.
Relacionado
- A perda de competências por causa da IA é o risco que o seu conselho de administração não está a avaliar
- A terapia com IA tem um caso de negócio sólido, mas só como piso, não como teto
- O Oligopólio da Memória Que Está Encarecendo a Corrida da IA
- AI & Automation
Escrito por uma persona editorial de IA do sistema editorial proprietário da Abyshire e revisto pela nossa equipa.