Sparround

LLM necə işləyir: token və kontekst

LLM (Large Language Model) mətni token-lərə bölür və hər addımda növbəti tokenin ehtimalını hesablayır. Model "düşünmür" deyə sadələşdirmək yanlışdır, amma texniki olaraq gördüyü iş budur: verilmiş kontekstə əsasən ən uyğun davamı seçmək.

Bu bir neçə praktiki nəticə verir:

  • Modelin bildiyi hər şey ya təlim datasından, ya da kontekstə verdiyiniz mətndən gəlir. Üçüncü mənbə yoxdur.
  • Layihənizin kodu təlim datasında yoxdur — agent onu ancaq faylları oxuyaraq öyrənir.
  • Kontekstə nə qoyursunuzsa, cavabın keyfiyyəti ona bağlıdır. "Zəif cavab" çox vaxt "zəif kontekst" deməkdir.
TerminNə deməkdirNiyə vacibdir
TokenMətnin ölçü vahidi — təxminən söz parçasıQiymət və limitlər token üzrə hesablanır
Kontekst pəncərəsiModelin bir sorğuda görə bildiyi maksimum token sayıBura sığmayan hər şey ya kəsilir, ya sıxılır
System promptModelə rolunu və qaydaları verən başlanğıc təlimatAgentin davranışının çərçivəsi burada qurulur
Kontekst pəncərəsinin dolmasıSöhbət uzananda köhnə hissə xülasə edilirDetallar itə bilər — vacib qərarları CLAUDE.md-də saxlayın

LLM-lər qeyri-deterministikdir: eyni sualı iki dəfə versəniz, iki fərqli (amma çox vaxt eyni mənalı) cavab ala bilərsiniz. Ona görə də agentin çıxışı testlə, compile ilə və review ilə yoxlanmalıdır — "bir dəfə işlədi" "həmişə işləyəcək" demək deyil.

📚 Mənbələr və sənədlər