Üretimde OpenAI API Maliyetlerini Özellik Bazında Nasıl Takip Edersiniz

OpenAI faturanız gelir. 2.400 $. Ödersiniz. Ama hâlâ en önemli soruyu yanıtlayamazsınız: ürününüzün hangi bölümü token yaktı?

Chat mi? Embeddings mi? Geçen sprint'te çıkardığınız agent döngüsü mü? Fatura söylemez. Finans departmanı artışı fark ettiğinde hasar çoktan yapılmış olur.

Aylık toplamlar neden yeterli değil

Çoğu ekip LLM harcamasını üç yoldan biriyle takip eder:

• Sağlayıcı paneli — toplam kullanımı gösterir, özellik bazında değil
• Elektronik tablo — manuel, her zaman güncel değil
• Hiçbir şey — ayda 5.000 $ altı ekiplerde şaşırtıcı derecede yaygın

Bunların hiçbiri size agent endpoint'inizin bütçenizin %52'sini tüketirken chat'in yalnızca %28 kullandığını söylemez. Gerçek optimizasyon bu görünürlükle mümkün olur.

Adım 1: Her API çağrısını etiketleyin

Uygulamanızdan çıkmadan önce her LLM isteğine metadata ekleyin:

const response = await openai.chat.completions.create({
  model: "gpt-4o",
  messages,
}, {
  headers: {
    "X-Feature": "chat",
    "X-User-Id": userId,
  },
});

Adım 2: Çağrı başına input + output tokenlarını loglayın

const { usage } = response;
log({
  feature: "chat",
  model: "gpt-4o",
  input_tokens: usage.prompt_tokens,
  output_tokens: usage.completion_tokens,
  cost: calculateCost(usage, "gpt-4o"),
  timestamp: Date.now(),
});

Adım 3: Günlük olarak özellik bazında toplayın

Logları günlük görünüme toplayın: özellik → toplam token → toplam maliyet. Mühendislik liderinizin gerçekten ihtiyaç duyduğu dashboard budur.

Adım 4: Ani artış uyarıları kurun

Özellik başına eşikler tanımlayın. Chat normalde günde 40 $ iken aniden 400 $'a çıkarsa, gelecek ayın faturasını değil bugün Slack uyarısı istiyorsunuz.

Agent döngüsü sorunu

Agent zincirleri sessiz bütçe katilidir. 12 kez yeniden deneyen bir döngü, beklenenin 12 katı token yakar. Yuvarlanan ortalamanızın 3 katını aşan her agent çağrısını işaretleyin.

Kendin yap vs. satın al

Veya aylık harcamanızı saniyeler içinde tahmin etmek için ücretsiz LLM Maliyet Hesaplayıcımızı kullanın.

TokenCurb, Helicone ve LangSmith gibi araçlar bunu kutudan çıkar çıkmaz çözer — her birinin farklı güçlü yönleri vardır.

Bu hafta yapılacaklar

1. Bir özellik seçin ve bugün token loglaması ekleyin
2. Geçen ayın faturasını loglarınızla karşılaştırın
3. En yüksek maliyetli endpoint için bir uyarı kurun
4. Yeniden deneme kalıpları için agent döngülerini inceleyin