Wat gebeurt er als een gesprek groter wordt dan het context window?

Zodra de totale hoeveelheid tekst het maximum overschrijdt, moet er iets wijken. Meestal worden de oudste berichten uit het gesprek verwijderd of samengevat om ruimte te maken voor nieuwe input. Het model 'vergeet' dan letterlijk het begin van het gesprek, wat kan leiden tot inconsistente antwoorden als er eerder belangrijke afspraken of context zijn gedeeld.

Is een groter context window altijd beter?

Niet per se. Een groter venster maakt het mogelijk om meer informatie mee te geven, maar modellen presteren niet altijd even goed over de volle lengte van een groot context window: informatie in het midden van een lang document wordt soms minder goed benut dan informatie aan het begin of einde. Een groter venster is nuttig, maar geen garantie voor betere antwoorden.

Hoe wordt een context window gemeten?

In tokens, niet in woorden of tekens. Een token is ongeveer drie tot vier tekens in het Nederlands en Engels; een gemiddeld woord is dus goed voor één tot twee tokens. Een context window van 128.000 tokens komt neer op ongeveer 90.000 tot 100.000 woorden, afhankelijk van de taal en het soort tekst.

Waarom hebben verschillende taalmodellen een verschillende context window-grootte?

De grootte van een context window is een technische en kostentechnische keuze van de bouwer van het model. Grotere context windows vragen meer rekenkracht en geheugen om te verwerken, wat het gebruik duurder maakt. Aanbieders kiezen een grootte die past bij hun doelgroep: modellen voor lange documentanalyse hebben vaak grotere vensters dan modellen die geoptimaliseerd zijn voor snelheid en kosten.

Wat is een context window bij taalmodellen?

Een context window is de hoeveelheid tekst die een taalmodel tegelijk kan 'zien' en meenemen bij het genereren van een antwoord.

Praat je met een taalmodel over een lang document, dan merk je op een gegeven moment dat het model dingen “vergeet” die eerder in het gesprek stonden. Dat is geen bug, het is een fundamentele beperking: elk taalmodel heeft een context window, een harde grens aan hoeveel tekst het tegelijk kan verwerken.

Wat een context window precies inhoudt

Een taalmodel verwerkt tekst niet woord voor woord zoals een mens leest, maar in tokens: stukjes tekst van meestal een paar tekens. Het context window is het maximum aantal tokens dat het model in één keer kan meenemen, inclusief de systeeminstructie, je vraag, eerdere berichten in het gesprek en eventuele bijgevoegde documenten.

Alles wat binnen dat venster past, gebruikt het model actief om een antwoord te formuleren. Alles wat buiten het venster valt, bestaat voor het model op dat moment niet. Het heeft geen geheugen buiten wat er letterlijk in het venster staat, tenzij een applicatie eromheen dat apart opslaat en opnieuw meestuurt.

Waarom de grootte ervan uitmaakt

Een klein context window beperkt wat je in één keer kunt vragen. Een lang contract analyseren, een hele codebase doornemen of een uitgebreid gesprek voeren zonder informatie te verliezen, vraagt om een groter venster. Moderne taalmodellen variëren sterk: van enkele duizenden tokens bij oudere modellen tot honderdduizenden of zelfs miljoenen tokens bij de nieuwste generatie.

Voor zakelijke toepassingen is dit relevant zodra je documenten, e-mails of databases aan een AI-systeem wilt voorleggen. Meer over hoe je dit inzet in de praktijk lees je in het artikel over wat een AI-workflow is.

Wat er gebeurt als het venster vol raakt

Zodra een gesprek of document het maximum overschrijdt, moet er iets wijken. De meeste systemen lossen dit op door de oudste berichten te verwijderen of samen te vatten, zodat er ruimte overblijft voor nieuwe input. Dat verklaart waarom een lang lopend gesprek met een chatbot na verloop van tijd instructies “vergeet” die je vroeg in het gesprek hebt gegeven.

Voor applicaties die op taalmodellen bouwen, is dit een belangrijk ontwerpprobleem: je moet actief bepalen welke informatie belangrijk genoeg is om binnen het venster te houden, en wat je kunt laten vallen zonder de kwaliteit van het antwoord te schaden.

Groot venster is niet hetzelfde als goed gebruik

Een groter context window klinkt aantrekkelijk, maar lost niet alles op. Onderzoek laat zien dat modellen informatie die in het midden van een heel lang document staat, soms minder goed benutten dan informatie aan het begin of einde. Simpelweg alles in het venster proppen, leidt dus niet automatisch tot het beste antwoord.

Effectief gebruik betekent: relevante informatie gestructureerd en to-the-point aanbieden, in plaats van te vertrouwen op de omvang van het venster om onduidelijkheid te compenseren. Dat raakt aan goede prompt-opbouw; zie het artikel over wat prompt engineering is voor meer daarover.

Wat dit betekent voor je eigen AI-toepassingen

Werk je met documenten, klantdata of lange gesprekshistories in een AI-toepassing, dan bepaalt het context window mede welke aanpak haalbaar is. Past alles niet in één venster, dan is een aanvullende strategie nodig, zoals het opdelen van documenten of het ophalen van alleen de relevante fragmenten in plaats van de volledige tekst.

Onze tip: ga er bij het bouwen van een AI-toepassing niet vanuit dat een groot context window je vrijstelt van goede datastructuur. Kort en relevant aanleveren werkt vaak beter dan een heel archief in één keer meesturen, ook als het venster dat technisch toelaat.