Welk probleem probeert een llms.txt op te lossen?
AI-crawlers lopen tegen twee problemen aan als ze informatie zoeken:
Moderne websites zijn moeilijk te lezen. De meeste AI-crawlers lezen alleen de basis-HTML van een pagina. Content die JavaScript inlaadt, zien ze niet.
De meeste websites bevatten een overvloed aan informatie. Een AI-crawler weet niet welke informatie op je website het belangrijkst is. Een AI-model kan oude informatie dan net zo zwaar laten wegen als nieuwe. Daardoor neemt de kans op foutieve of verouderde antwoorden toe.
Een llms.txt-bestand biedt hier een uitweg. In plaats van complexe HTML-pagina's met navigatie, advertenties en JavaScript krijgt een AI-model een overzichtelijk Markdown-bestand. Daarin staan een korte beschrijving van je website en links naar je belangrijkste pagina's. Eventueel zet je er Markdown-versies van die pagina's naast. Zo ziet een AI-model in één oogopslag welke content op jouw website het belangrijkst is.
Moet je een llms.txt-bestand gebruiken?
Het opstellen van een llms.txt-bestand is een interessant concept. Toch is het op dit moment nog geen bewezen strategie voor meer verkeer vanuit AI-zoekmachines. Het gaat om een voorgestelde standaard, en het is nog niet bewezen dat grote AI-bedrijven hem gebruiken. OpenAI, Google en Anthropic hebben geen van allen officieel verklaard dat ze deze bestanden volgen als ze je website crawlen. Tegelijk zijn er onderzoeken van Amerikaanse bedrijven die bewijzen dat LLM's deze tekstbestanden wel inlezen. Het is dus nog geen gevestigde standaard. Toch kan het geen kwaad om er nu al mee aan de slag te gaan. Zo blijf je bij met de ontwikkelingen in AI.
En in de toekomst dan?
Grootschalige optimalisatie van llms.txt-bestanden is nu nog toekomstmuziek. Toch verwachten experts dat dit soort AI-optimalisaties op (korte) termijn een belangrijke rol kunnen gaan spelen. Ben je nu al op de hoogte van deze ontwikkelingen? Dan heb je straks een voorsprong op de rest. Wil je weten welke ontwikkelingen er op dit gebied aankomen, of hoe je een llms.txt-bestand opstelt? We ondersteunen je graag bij zoekmachineoptimalisatie en bij de ontwikkelingen in AI-zoekgedrag.