Os suspeitos de sempre

  • As regras de faturamento variam por provedor e modelo. Unidades, arredondamento e o que conta como token cobrável não são idênticos em todo lugar — consulte a documentação do modelo específico, não apenas a página geral de preços do provedor.
  • O tamanho da saída pode mudar. Uma resposta mais longa custa mais, e a saída costuma ser o lado mais caro da conta.
  • O histórico do chat se acumula. Conversas longas de múltiplos turnos reenviam um histórico crescente como entrada a cada turno, então o custo por conversa sobe conforme ela fica mais longa — não porque uma mensagem específica ficou maior.
  • System prompts podem ser reenviados em cada chamada, multiplicando um custo fixo em cada requisição que sua aplicação faz.
  • O contexto de RAG / base de conhecimento pode aumentar os tokens de entrada, especialmente se o conteúdo for recuperado de novo a cada mensagem em vez de uma vez por conversa.
  • Alguns modelos ou provedores cobram tokens de raciocínio ou adicionais que não são óbvios a partir da resposta final visível. Esse comportamento varia por provedor — consulte a documentação em vez de presumir.
  • Textos em idiomas diferentes do inglês podem tokenizar de forma diferente. Muitos idiomas, incluindo português e espanhol, podem precisar de mais tokens que o inglês para o mesmo significado.
  • Os preços mudam ao longo do tempo. Os provedores atualizam preços, então um número que você lembra de meses atrás pode não ser mais o atual.

Como investigar uma conta inesperada

  • Verifique primeiro o painel de uso do seu provedor. Ele é a fonte da verdade sobre o que realmente aconteceu, detalhado de formas que um total mensal não consegue mostrar.
  • Olhe entrada e saída separadamente. Uma conta impulsionada pelo tamanho da saída tem uma solução diferente de uma impulsionada pelo crescimento de entrada/histórico.
  • Reverifique o preço atual na página oficial do provedor — não confie em um número lembrado de memória.
  • Verifique se o histórico está sendo reenviado sem limite. Essa é uma das causas mais comuns, e mais fáceis de corrigir, de uma conta que cresce mais rápido do que o uso.

Como reduzir o risco antes de lançar

Dica de planejamento

Estime primeiro. Uma faixa Baixo / Esperado / Alto construída com suas premissas reais detecta a maioria das surpresas antes que aconteçam — experimente a calculadora que combina com o seu caso.

  • Defina um orçamento ou limite de uso onde seu provedor permitir.
  • Mantenha o system prompt enxuto — cada token nele se repete em cada chamada.
  • Limite o histórico de conversa com uma janela deslizante de turnos recentes em vez de reenviar tudo indefinidamente.
  • Combine o modelo com a tarefa — um modelo capaz de nível intermediário costuma ser suficiente, e pode custar uma fração de um modelo de ponta para a mesma carga de trabalho.

Leitura relacionada