Slik optimaliserer du chunking og token-grenser for mer presise AI-svar
Når en AI-chatbot gir vage, ufullstendige eller avkuttede svar, er det sjelden selve språkmodellen som er problemet. Som regel oppstår svikten i RAG-prosessen (Retrieval-Augmented Generation), der kunnskapsbasen deles opp i mindre tekstbiter kalt chunks. Hvis en chunk kuttes midt i en forklaring, eller hvis token-budsjettet fylles opp med irrelevant tekst, mister chatboten konteksten den trenger for å svare fullstendig. I denne guiden ser vi på hvordan chunk-størrelse, overlapp og dokumentstruktur påvirker svarkvaliteten – og hva du konkret kan gjøre med innholdet ditt.
Hvorfor chatboten kutter svar og mister viktig sammenheng
En RAG-basert chatbot henter relevante tekstbiter fra kildedokumentene dine og legger dem inn i ledeteksten (prompten) til språkmodellen før svaret skrives. Problemet oppstår når kildematerialet deles opp mekanisk, uten hensyn til hvor en tankerekke begynner og slutter. Hvis en vilkårsparagraf starter i chunk A og unntaket står i chunk B, kan søket ende opp med å hente bare chunk A. Resultatet er et svar som er hentet fra kilden din, men som likevel er villedende fordi et viktig forbehold mangler.
Eksempel
Chunk A: «Du kan returnere varer innen 30 dager og få full refusjon.»
Chunk B: «Dette gjelder ikke tilpassede produkter og varer kjøpt på salg.»
En kunde spør om de kan returnere en tilpasset jakke. Søket treffer chunk A, og chatboten svarer «ja» – fordi unntaket aldri kom med i konteksten.
Token-begrensninger forsterker problemet. Hvert svar genereres innenfor et fast token-budsjett som skal romme systeminstruksjoner, samtalehistorikk, brukerens spørsmål, de hentede tekstbitene og selve svaret. Er tekstbitene store og fulle av fyllstoff, er det mindre plass til det som faktisk er relevant. Les mer om hvordan RAG forankrer svar i kildene dine.
Når budsjettet er dårlig utnyttet, ser du typisk to feilmønstre:
- Avkuttet svar: Modellen når maksimal svarlengde midt i en setning eller før konklusjonen kommer.
- Kontekstblindhet: Tekstbiter med viktige forbehold eller betingelser rangeres for lavt eller får ikke plass, og kommer aldri med i konteksten.
Balansen mellom chunk-størrelse, overlapp og token-budsjett
Å optimalisere kunnskapsbasen handler om å finne balansen mellom presisjon og kontekst. Deler du dokumentene i for små biter (for eksempel 50–100 tokens), mister hver bit sin overordnede mening. Modellen ser en isolert setning som «Dette gjelder ikke i helgene» uten å vite hvilken tjeneste, garanti eller prisregel den handler om. For store biter (for eksempel 1500 tokens) tar derimot med så mye uvedkommende tekst at søket blir mindre treffsikkert.
Løsningen er en fornuftig chunk-størrelse kombinert med overlapp mellom tekstbitene. Et overlapp på 10–20 prosent gjør at setninger som havner på grensen mellom to biter, ikke rives løs fra sammenhengen. Hvis chunk A slutter med en betingelse, gjentas den i starten av chunk B før konsekvensen beskrives.
Målet er at hver tekstbit skal kunne forstås på egen hånd. Dette er også kjernen i hvordan du skriver presist chatbot-innhold: hver del av kunnskapsbasen skal være entydig, også når den leses løsrevet fra resten.
Sammenligning av vanlige oppdelingsmetoder
Valget av oppdelingsmetode avgjør hvor godt chatboten takler alt fra enkle spørsmål til lange avtaledokumenter. Tabellen viser tre vanlige tilnærminger og hvordan de står seg på kontekstbevaring og risiko for avkuttede svar.
| Oppdelingsmetode | Typisk størrelse | Kontekstbevaring | Risiko for avkutting | Best egnet for |
|---|---|---|---|---|
| Fast tegnlengde | 200–500 tegn | Lav (kutter setninger vilkårlig) | Høy | Ustrukturert tekst uten avsnitt |
| Strukturbasert (avsnitt og setninger) | 300–800 tokens | Høy (bevarer naturlige tankerekker) | Lav | Dokumentasjon, håndbøker og nettsider |
| Hierarkisk med metadata | 500–1200 tokens + metadata | Svært høy (kobler over- og underseksjoner) | Svært lav | Lange kontrakter, tekniske manualer og prislister |
Fast tegnlengde er den vanligste kilden til problemer: når en setning deles midt i et ord eller rett før et forbehold, øker risikoen for feilaktige eller avkuttede svar. Hierarkisk oppdeling gir best resultat, men krever mer arbeid ved import. For de fleste bedrifter er strukturbasert oppdeling det beste kompromisset.
Chatly bruker strukturbasert oppdeling automatisk. Innhold fra nettsider, PDF-er og andre kilder deles langs avsnitt der det er mulig, og langs setningsgrenser når avsnittsstrukturen er uklar. Tekstbitene har også overlapp, slik at setninger på grensen ikke mister sammenhengen. Du trenger altså ikke bygge din egen RAG-pipeline – men jo bedre strukturert innholdet ditt er, desto bedre blir resultatet.
Slik strukturerer du innholdet for bedre tekstbiter
Selv den beste oppdelingsalgoritmen sliter med lange, ustrukturerte tekstblokker. Følg disse prinsippene når du klargjør innholdet:
- Bruk korte avsnitt med ett tema hver: Avsnittsskift er de viktigste delepunktene. Et avsnitt som handler om én ting, havner som regel samlet i én tekstbit.
- Gjenta temaet i teksten, ikke bare i overskriften: Skriv «Returretten for tilpassede produkter er …» i stedet for «Den er …». Da forstår chatboten hva tekstbiten handler om, selv om overskriften havner i en annen bit.
- Hold regler og unntak sammen: Ikke gjem viktige vilkår eller prisforbehold langt nede i et annet avsnitt. Skriv regelen og unntaket rett etter hverandre, gjerne som en punktliste.
- Del opp store tabeller: Tabeller som går over mange sider, deles ofte opp feil. Lag heller flere mindre, tematiske tabeller med kolonneoverskrifter på hver.
- Unngå kryssreferanser over lange avstander: Hvis et avsnitt viser til «vilkårene i punkt 2.1 på side 40», bør du oppsummere hovedpoenget direkte i avsnittet slik at tekstbiten står på egne ben.
Disse prinsippene henger tett sammen med hvordan du strukturerer treningsdata for AI-chatboten. Når kildene er ryddige, går hver token i kontekstvinduet til nyttig informasjon i stedet for fyllstoff.
Følg med på svarkvaliteten i ekte samtaler
Optimalisering av tekstoppdeling er ikke en engangsjobb. Etter lansering bør du jevnlig se gjennom samtaler der kunden stiller oppfølgingsspørsmål som «Hva mente du med det?» eller «Kan du fullføre setningen?». Slike mønstre tyder på at svaret ble kuttet, eller at tekstbitene som ble hentet, manglet viktig informasjon.
Ved å koble samtalestatistikk med innholdsrevisjon finner du raskt dokumentene som skaper problemer. Etabler en fast rutine der teamet går gjennom eskaleringer og mangelfulle svar, og følg med på nøkkeltall for chatboten som løsningsgrad og andel ubesvarte spørsmål.
Slik hjelper Chatly deg med presise svar
Med Chatly får du samtalelogger, svarkvalitet og analyse samlet i dashbordet. Du kan oppdatere kildene, legge inn nytt innhold og se hvordan endringene slår ut på ekte kundehenvendelser – uten å involvere utviklere.
Klar for en chatbot som svarer fullstendig og presist? Test Chatly gratis eller ta kontakt med teamet vårt for å se hvordan en godt strukturert kunnskapsbase kan løfte kundeservicen din.