Servis ve maliyet: token bütçesi, önbellek, gecikme

import anthropic

client = anthropic.Anthropic(max_retries=4)  # 429 ve 5xx hatalarında üstel bekleme ile yeniden dener
MODEL = "claude-sonnet-5-5"
NOTES = open("ders_notlari.md", encoding="utf-8").read()  # her istekte aynı, uzun ön ek
SYSTEM = [{"type": "text", "text": f"Yalnız şu notlara dayanarak cevap ver:\n{NOTES}",
           "cache_control": {"type": "ephemeral"}}]  # kararlı içerik önde, önbellek noktası sonunda

count = client.messages.count_tokens(model=MODEL, system=SYSTEM,
                                     messages=[{"role": "user", "content": "test"}])
print("giriş tokenı:", count.input_tokens)

def ask(question: str):
    try:
        r = client.messages.create(model=MODEL, max_tokens=1024, system=SYSTEM,
                                   messages=[{"role": "user", "content": question}])
    except anthropic.RateLimitError:
        return None  # yeniden denemeler de bitti: kuyruğa al ya da kullanıcıya bildir
    u = r.usage
    # Ekim 2026 liste fiyatı (Sonnet 5.5, milyon token başına): giriş 2 $, çıkış 10 $, önbellek okuma 0,20 $; güncelini kontrol et
    cost = (u.input_tokens * 2 + u.output_tokens * 10 + (u.cache_read_input_tokens or 0) * 0.2
            + (u.cache_creation_input_tokens or 0) * 2.5) / 1_000_000
    print(u.input_tokens, u.cache_read_input_tokens, u.cache_creation_input_tokens, u.output_tokens, f"{cost:.5f} $")
    return r

import time
import anthropic

client = anthropic.Anthropic()

questions = open("sorular.txt", encoding="utf-8").read().splitlines()
batch = client.messages.batches.create(requests=[
    {"custom_id": f"q-{i}",
     "params": {"model": "claude-sonnet-5-5", "max_tokens": 512,
                "messages": [{"role": "user", "content": q}]}}
    for i, q in enumerate(questions)
])

while client.messages.batches.retrieve(batch.id).processing_status != "ended":
    time.sleep(60)  # sonuçlar 24 saat içinde gelir; gerçek zamanlı değil

for item in client.messages.batches.results(batch.id):
    # sonuçlar herhangi bir sırada gelir: custom_id ile eşleştir
    if item.result.type == "succeeded":
        text = item.result.message.content[0].text
        print(item.custom_id, text[:60])