01
Hoofdstuk
Wat AI-crawler monitoring wel en niet bewijst
CDN-, edge- en originlogs zijn de beste bron om een technisch bezoek vast te stellen. Ze tonen onder meer tijdstip, pad, user agent, statuscode, bytes en soms de bron-IP. Door deze velden te normaliseren ontstaat een betrouwbaar overzicht per crawler en provider.
De request bewijst alleen dat een URL is aangevraagd. Hij bewijst niet dat de inhoud is opgeslagen, verwerkt, geciteerd of aanbevolen. Heldere rapportage benoemt daarom expliciet het verschil tussen bereikbaarheid, brongebruik en zichtbaarheid in het uiteindelijke antwoord.
- Requests per provider en agent
- Verdeling over training, search en user fetch
- Toppagina’s en gemiste prioriteitspagina’s
- 2xx-, 3xx-, 4xx- en 5xx-responses
02
Hoofdstuk
Welke gegevens je per request nodig hebt
Leg minimaal timestamp, genormaliseerd pad, HTTP-status, user agent en een interne botclassificatie vast. Behandel queryparameters bewust, anders lijken trackingvarianten en filters op tientallen losse pagina’s.
Voeg het crawlerdoel als zelfstandig veld toe. Een trainingsbot, zoekbot en user-triggered fetcher vragen om andere beslissingen. Onbekende of niet-geverifieerde bots blijven apart staan totdat er voldoende bewijs voor toewijzing is.
Een user agent kan worden nagebootst. Gebruik voor risicovolle beslissingen ook officiële IP-ranges of de verificatiemethode van de provider.
03
Hoofdstuk
KPI’s voor marketing, GEO en techniek
Marketing wil weten of product-, categorie-, vergelijking- en hulppagina’s worden ontdekt. Engineering wil foutcodes, latency, botbelasting en blokkades herkennen. Coverage en response health brengen deze twee perspectieven samen.
Ruwe volumes zijn zelden genoeg. Veel requests naar irrelevante facetten kunnen minder waard zijn dan enkele succesvolle bezoeken aan actuele, gezaghebbende pagina’s. Segmentatie op paginatype en doel maakt het verschil zichtbaar.
- Coverage van strategische paginagroepen
- Succes- en foutpercentage per bot
- Activiteit per dag en uur
- Nieuwe of snel groeiende agents
- Maandvolume en infrastructuurimpact
04
Hoofdstuk
Van monitoring naar een vaste GEO-workflow
Bekijk nieuwe bots, fouten en onverwachte pieken wekelijks. Analyseer maandelijks welke prioriteitspagina’s wel en niet zijn bezocht. Markeer releases, migraties en robots.txt-wijzigingen in de tijdlijn zodat veranderingen verklaarbaar blijven.
Koppel crawlerdata daarna aan afzonderlijke AI-answer monitoring. Zo ontstaat een complete funnel: de pagina was technisch bereikbaar, verscheen mogelijk als bron en leverde wel of geen zichtbare merkvermelding op.
05
Hoofdstuk
Veelgemaakte fouten in crawleranalyses
Tel niet ieder botlabel met “AI” blind mee en presenteer een bezoek niet als een citation. Controleer ook interne uptimechecks, klassieke zoekbots en spoofed traffic voordat je trends aan stakeholders rapporteert.
Vermijd gemiddelden over alle agents. Een sterke groei van een trainingscrawler kan verbergen dat de searchcrawler belangrijke productpagina’s juist niet bereikt. Rapporteer daarom minimaal per provider, doel, paginatype en statusgroep.
- Geen citation afleiden uit een logrequest
- Onbekende bots zichtbaar houden
- Interne en klassieke crawlers uitsluiten
- Kwaliteit boven alleen requestvolume zetten
Vier meetlagen voor betrouwbare analyse
| Meetlaag | Voorbeeld | Wat je ermee kunt zeggen |
|---|---|---|
| Request | User agent, IP, timestamp | Een systeem vroeg een URL op |
| Response | Status, bytes, latency | De URL was bereikbaar of gaf een fout |
| Coverage | Paginatype en toppaden | Welke content wordt ontdekt |
| AI-antwoord | Mention, citation, positie | Of het merk zichtbaar wordt voor de gebruiker |
Crawler- en antwoorddata vullen elkaar aan, maar meten niet hetzelfde.
