Twoje prompty mogą być rozumiane lepiej lub gorzej – wszystko zależy od tokenów i okna kontekstu. Poznaj praktyczne zasady.
Czym są tokeny AI?
Tokeny to podstawowe „cegiełki” tekstu, które AI rozumie. Tokenem może być słowo, część słowa albo znak interpunkcyjny. Modele językowe, takie jak GPT-4, nie widzą tekstu w całości, tylko właśnie jako ciąg tokenów.
Przykład: słowo „zaskoczenie” może być jednym tokenem, ale „zaskoczyć” już dwoma. Angielskie „unexpected” to aż trzy tokeny. To ważne, bo liczba tokenów decyduje, ile tekstu AI może „przeczytać” i „zapamiętać” na raz.
Okno kontekstu (context window) – co to jest?
Okno kontekstu (ang. context window) to maksymalna liczba tokenów, które AI analizuje podczas generowania odpowiedzi. Jeśli przekroczysz limit okna kontekstu, model zacznie „zapominać” najstarszą część twojego promptu lub rozmowy.
- GPT-3.5: okno kontekstu 4096 tokenów
- GPT-4: 8192, 32 768, a nawet więcej tokenów (zależnie od wersji)
- Claude 3 Opus: aż do 200 000 tokenów
Tip: 1000 tokenów to mniej więcej 750 słów po polsku lub angielsku. Licz słowa, ale miej z tyłu głowy, że nie każdy znak to token!
Jak sprawdzić liczbę tokenów w twoim promptcie?
Nie musisz liczyć ręcznie. Są narzędzia online, np. OpenAI Tokenizer lub Tiktokenizer. Kopiuj swój prompt i sprawdź liczbę tokenów przed wysłaniem – szczególnie przy długich zadaniach.
Tokeny a rozumienie promptu przez AI
1. Zwięzłość = lepsze rozumienie
Im krótszy i bardziej precyzyjny prompt, tym większa szansa, że AI zrozumie intencje i nie zgubi się w kontekście. Nadmiar tekstu to szybkie zapełnienie okna kontekstu.
// Dobry, krótki prompt
Streszcz ten tekst w 3 zdaniach: [wklej tekst]Używaj prostych poleceń oraz ograniczeń długości. To pozwala AI lepiej zarządzać kontekstem.
2. Długie rozmowy – uwaga na zapominanie
W długich czatach AI może „zapominać” wcześniejsze wiadomości. Jeśli zadasz pytanie do czegoś, o czym pisałeś 4000 tokenów wcześniej, model może tego już nie pamiętać.
// Przypomnienie kontekstu
Odpowiadaj opierając się na następujących informacjach:
1. [ważny punkt 1]
2. [ważny punkt 2]
3. [ważny punkt 3]
Moje pytanie: [twoje pytanie]To tzw. prompt chaining – ręcznie przypominasz AI o najważniejszych faktach.
Praktyczne prompty: zarządzanie tokenami
1. Ograniczanie długości odpowiedzi
Jeśli chcesz, by AI nie przekroczyła limitu tokenów, określ długość odpowiedzi:
Napisz podsumowanie tego tekstu w maksymalnie 100 słowach.Tip: Możesz podać limit także w tokenach, np. „nie przekraczaj 300 tokenów”. AI nie zawsze liczy tokeny precyzyjnie, ale to działa jak sugestia.
2. Dzielenie dużych zadań na części (chunking)
Masz bardzo długi tekst? Podziel go na fragmenty, analizuj po kawałku, a potem poproś o podsumowanie całości.
Przeczytaj poniższy fragment i podsumuj najważniejsze punkty:
[fragment 1]
// Potem:
Oto podsumowania fragmentów:
1. [podsumowanie 1]
2. [podsumowanie 2]
3. [podsumowanie 3]
Na tej podstawie napisz pełną syntezę.Chunking to podstawa pracy z dużymi dokumentami!
3. Tokeny w promptach kodowych
Jeśli pracujesz z kodem, pamiętaj, że AI liczy również spacje, wcięcia i komentarze jako tokeny. Minimalizuj je, jeśli zbliżasz się do limitu.
Przeanalizuj ten kod i wskaż błędy:
def suma(a, b):
return a + bJak okno kontekstu wpływa na jakość odpowiedzi?
- Przy krótkich promptach – AI rzadko gubi kontekst
- Przy długiej rozmowie – możesz stracić odniesienie do wcześniejszych ustaleń
- Bardzo długie teksty – AI musi wybierać, co „pamięta”, a co pomija
Tip: Jeśli odpowiedzi AI robią się niespójne, to możliwe, że przekroczyłeś okno kontekstu. Przypomnij najważniejsze informacje w nowym promptcie.
Podsumowanie – jak wycisnąć maksimum z tokenów i kontekstu?
- Sprawdzaj liczbę tokenów przed wysłaniem promptu
- Używaj zwięzłych, konkretnych poleceń
- Przy długich zadaniach – dziel tekst na fragmenty (chunking)
- Regularnie przypominaj AI o najważniejszych faktach
- Jeśli masz wybór modelu – wybierz taki z większym oknem kontekstu
Najlepsze efekty osiągniesz, gdy zrozumiesz, jak AI „myśli” przez pryzmat tokenów i okna kontekstu – i dostosujesz do tego swój prompt engineering.
FAQ
Według poradnika Kwestia Prompta, nie musisz liczyć tokenów ręcznie – istnieją narzędzia online, takie jak OpenAI Tokenizer czy Tiktokenizer, które szybko analizują twój prompt i podają liczbę tokenów. Wystarczy skopiować tekst promptu do takiego narzędzia, aby upewnić się, czy nie przekracza limitu tokenów dostępnego dla danego modelu. To szczególnie ważne przy długich zadaniach, aby uniknąć problemów z pamięcią kontekstu AI.
Jak wyjaśnia Kwestia Prompta, najlepszym sposobem jest dodanie w promptcie jasnej instrukcji dotyczącej długości odpowiedzi, na przykład „Napisz podsumowanie w maksymalnie 100 słowach” albo „nie przekraczaj 300 tokenów”. Choć AI nie zawsze liczy tokeny idealnie, takie ograniczenie działa jak wskazówka i pozwala lepiej kontrolować rozmiar wygenerowanego tekstu. To prosty sposób na uniknięcie przekroczenia limitu i utrzymanie spójności odpowiedzi.
Według poradnika Kwestia Prompta, warto dzielić długi tekst na mniejsze fragmenty, czyli stosować tzw. chunking. Po przeczytaniu każdego fragmentu można poprosić AI o podsumowanie, a następnie stworzyć pełną syntezę na podstawie tych podsumowań. Dzięki temu unikasz przekraczania okna kontekstu, co zapewnia lepsze rozumienie i przechowywanie istotnych informacji przez model AI.
Jak tłumaczy Kwestia Prompta, modele AI analizują tekst w ramach ograniczonego okna kontekstu, które ma określony limit tokenów, np. GPT-3.5 ma 4096 tokenów, a GPT-4 – nawet do 32 768 tokenów w zależności od wersji. Gdy rozmowa przekroczy ten limit, starsze fragmenty są usuwane z pamięci modelu, dlatego AI może „zapominać” wcześniejsze ustalenia. Aby temu zapobiec, warto przypominać najważniejsze informacje ręcznie przy pomocy prompt chaining.
Jak wyjaśnia Kwestia Prompta, krótkie prompty mieszczą się w oknie kontekstu i AI może je łatwo zrozumieć bez utraty informacji. Jednak w przypadku długich rozmów lub bardzo obszernych tekstów model musi wybierać, które fragmenty zapamięta, co może prowadzić do pominięcia ważnych szczegółów i niespójności odpowiedzi. Dlatego ważne jest stosowanie skróconych poleceń i przypominanie najistotniejszych danych, aby utrzymać wysoką jakość generowanych treści.