Files
portal/tools
Дмитрий 25c2872eb5 perf(router-classifier): prompt caching через Anthropic ephemeral cache_control
Cacheable system block (инструкция + памятка + реестр узлов + цепочек,
~10k токенов статики) теперь идёт через cache_control: { type: 'ephemeral' }
с TTL 5 минут. Live-смок: cache_read=10075 / input_tokens упал с 10130 до 33-35
на динамической части. Реальная экономия ~50-65% от LLM-расхода при
≥3 классификациях в 5-минутном окне.

Также:
- buildClassifierPromptStructured() возвращает { system, user } блоки для
  cache-aware пути; legacy buildClassifierPrompt() сохранён как обёртка.
- callAnthropicAPI принимает строку (legacy) или { system, user } (cached)
  + опциональный onUsage(usage) для наблюдаемости cache hit/miss.
- 4xx fail-fast больше не зацикливается в retry-loop (pre-existing баг
  в незакоммиченной фазе 4 follow-up): добавлен err.fatal маркер.

router-classifier.test.mjs: 138/138 PASS.

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-25 15:53:14 +03:00
..