Token, keş və xərc iqtisadiyyatı
Agentin xərci bir sualın qiyməti deyil — döngənin qiymətidir. Hər növbədə bütün söhbət tarixçəsi yenidən modelə göndərilir, ona görə uzun sessiyada xərc xətti deyil, kvadratik böyüyür: 20-ci növbədə sən 20-ci sualı deyil, əvvəlki 19 növbəni də ödəyirsən.
Hermes-də bunu cilovlayan dörd mexanizm var: sıxılma, prompt keşi, yaddaş limitləri və skill-lərin mərhələli açılması.
| Mexanizm | Nə edir | Konfiqurasiya açarı |
|---|---|---|
| Sıxılma | Kontekst limitinə yaxınlaşanda köhnə hissəni itkili şəkildə xülasə edir | `compression.threshold`, `compression.target_ratio` |
| Prompt keşi | Sistem promptu, skill-lər və uzun kontekst fayllarını sessiyalar arası keşləyir | `prompt_caching.cache_ttl` (5m və ya 1h) |
| Yaddaş limitləri | MEMORY.md və USER.md-ni simvol həddində saxlayır | `memory.memory_char_limit`, `memory.user_char_limit` |
| Mərhələli açılma | Skill-lərin yalnız ad və təsvirini yükləyir, tam mətni lazım olanda | Skills sistemi (avtomatik) |
| Alət çıxışı limitləri | Nəhəng terminal çıxışının kontekstə dolmasının qarşısını alır | `tool_output.max_bytes`, `max_lines` |
Prompt keşi ən çox qazanc verən, ən az səy tələb edən mexanizmdir: dəstəkləyən provayderlərdə avtomatik işə düşür və sistem promptunun sabit hissəsini təkrar-təkrar ödəməkdən xilas edir. Buna görə sabit hissəni (skill siyahısı, kontekst faylları) tez-tez dəyişmək zərərlidir — hər dəyişiklik keşi etibarsızlaşdırır.
Sıxılma isə ödənişlə gəlir: itkili xülasədir. Uzun sessiyada agentin "əvvəldə razılaşdığımız qaydanı" unutması adətən sıxılmanın nəticəsidir. Həlli sessiyanı süni uzatmaq deyil — vacib faktı yaddaşa (MEMORY.md) və ya kontekst faylına köçürməkdir.
Ucuz işlətmək üçün ən effektiv üç addım: (1) köməkçi işləri ucuz modelə yönləndir, (2) lazımsız toolset-ləri söndür — hər alət sxemi hər sorğuda token yeyir, (3) qısa, mövzuya fokuslanmış sessiyalar işlət. Dördüncüsü: hermes insights ilə həqiqətən nəyin bahalı olduğunu ölç, təxmin etmə.
Praktika. Eyni tapşırığı iki dəfə işlət: birincidə bütün toolset-lər açıq, ikincidə --toolsets "terminal,file". Hər ikisindən sonra hermes prompt-size və hermes insights çıxışını müqayisə et. Hazır sayılır: sistem promptunun neçə faiz kiçildiyini və xərcin neçə faiz azaldığını rəqəmlə deyə bilirsən.
📚 Mənbələr və sənədlər
- Konfiqurasiya: sıxılma, keş, limitlərrəsmihermes-agent.nousresearch.com
Bütün açarların dəqiq adları və defolt dəyərləri.
- Provider routingrəsmihermes-agent.nousresearch.com
Hansı işin hansı provayderə getdiyini dəqiq idarə etmək.
- Skills və mərhələli açılmarəsmihermes-agent.nousresearch.com