◆ Sparround

Model provayderləri və Nous Portal

Hermes model-agnostikdir: agent bir şey, modeli verən provayder isə tamam ayrı şeydir. Quraşdırmadan sonra ilk qərarın hansı provayderə qoşulmaqdır — Nous Portal, OpenRouter, Anthropic, OpenAI, Google, DeepSeek, xAI, lokal Ollama və başqaları dəstəklənir.

Bir neçə provayderi eyni vaxtda konfiqurasiya edib sessiya içində /model ilə dəyişmək olar.

YolNə vaxt seçilirNəyə diqqət
Nous PortalBir abunə ilə çoxlu modelə çıxış istəyəndə; sənədlərdə tövsiyə olunan yoldurAbunə modeli — qiyməti portal saytında yoxla
Birbaşa provayder (Anthropic, OpenAI, ...)Artıq korporativ hesabın və açarın varsaHər provayder üçün ayrı açar və limit
OpenRouterBir açarla çox modeli sınamaq üçünAralıq xidmətdir — sorğular onun üzərindən keçir
Lokal model (Ollama və s.)Məlumat maşından çıxmamalıdırsaKontekst və sürət limitləri; güclü aparat lazımdır

Vacib texniki tələb: sənədlər agent üçün ən azı 64K token kontekst olan model seçməyi tələb edir. Səbəbi arxitekturadan aydındır — sistem promptu, alət sxemləri, skill siyahısı və söhbət tarixçəsi kontekstin böyük hissəsini artıq doldurur. Kiçik kontekstli model formal işləyə bilər, amma dərhal sıxılmaya düşür və keyfiyyət itir.

İki əlavə mexanizm var:

  • Provider routing — hansı işi hansı provayderin görəcəyini dəqiq təyin etmək (bahalı model əsas işə, ucuz model köməkçi işlərə)
  • Fallback providers — biri limitə düşəndə avtomatik növbətiyə keçmək

Köməkçi (auxiliary) işlər ayrıca konfiqurasiya olunur: sıxılma, şəkil analizi, başlıq generasiyası. Bunları ucuz və sürətli modelə yönləndirmək tipik ilk optimizasiyadır — nəticənin keyfiyyətinə demək olar təsir etmir, hesaba isə ciddi təsir edir.

Praktika. İki provayderi konfiqurasiya et (biri əsas, biri ucuz köməkçi) və auxiliary.compression bölməsini ucuz modelə yönləndir. Hazır sayılır: hermes config get auxiliary.compression.model gözlədiyin dəyəri qaytarır və bir uzun sessiyadan sonra hermes insights iki modelin ayrı-ayrı xərcini göstərir.

📚 Mənbələr və sənədlər