Entscheidungsmatrix nach Zweck
| Situation | Tendenz | Zusätzliche Kontrolle |
|---|---|---|
| Öffentliche Produkt- und Hilfeseiten für Discovery | Search-Crawler eher zulassen | Coverage und Citation getrennt messen |
| Öffentliche Inhalte mit Training-Bedenken | Training-Crawler separat bewerten | Legal- und Lizenzprüfung dokumentieren |
| Nutzerinitiierter Abruf | Nach Produktnutzen und Risiko entscheiden | Rate Limits und Response Health |
| Kundenportal oder vertrauliche Daten | Nicht öffentlich zugänglich machen | Authentifizierung und Autorisierung |
Die Matrix ist ein Governance-Rahmen und keine Rechtsberatung.
Kapitel 1
Mit Geschäftszielen statt Angst oder Hype beginnen
Formulieren Sie zuerst, welche Ergebnisse die Website unterstützen soll. Publisher priorisieren möglicherweise Lizenz- und Content-Kontrolle, während ein SaaS-Anbieter aktuelle Produktseiten in AI Search auffindbar halten möchte. Ein E-Commerce-Team muss zusätzlich Produktdaten, Preise und Verfügbarkeit berücksichtigen.
Danach lässt sich jeder Agent gegen dieselben Kriterien bewerten: möglicher Discovery-Nutzen, Sensibilität der Inhalte, vertragliche Einschränkungen, Infrastrukturkosten und organisatorische Risikotoleranz.
Kapitel 2
Inhalte nach Risiko und Wert klassifizieren
Öffentliche Marketingseiten, Dokumentation, Help-Center, geschützte Kundenbereiche und lizenzierte Premium-Inhalte gehören nicht in dieselbe Regel. Erstellen Sie eine einfache Inhaltsmatrix und bestimmen Sie pro Gruppe, welche Crawler-Zwecke akzeptabel sind.
Alles, was wirklich vertraulich ist, muss durch Authentifizierung, Autorisierung und geeignete Netzwerkkontrollen geschützt werden. Eine Disallow-Zeile verhindert keinen absichtlichen Zugriff durch einen nicht kooperierenden Client.
- Öffentlich und für Discovery vorgesehen
- Öffentlich, aber lizenz- oder trainingssensibel
- Nur für Kunden oder Partner bestimmt
- Intern, personenbezogen oder vertraulich
Kapitel 3
Eine differenzierte robots.txt-Policy aufbauen
Verwenden Sie spezifische Blöcke für dokumentierte Agenten und halten Sie den Zweck jeder Regel intern fest. So können Sie Trainingszugriff begrenzen, ohne automatisch den Such-Crawler desselben Anbieters zu blockieren.
Achten Sie auf Verzeichnisregeln, Wildcards und globale User-Agent-Blöcke. Eine versehentlich zu breite Regel kann klassische Suchmaschinen, AI Search oder wichtige Hilfeseiten gleichzeitig treffen.
robots.txt ist öffentlich einsehbar. Schreiben Sie dort keine sensitiven Pfade als vermeintlichen Geheimschutz aus; schützen Sie sie technisch.
Kapitel 4
Ausnahmen, Rate Limits und operative Schutzmaßnahmen
Nicht jede Belastung erfordert ein vollständiges Blockieren. Rate Limits, Caching, Bot-Management und gezielte Regeln für teure Endpunkte können die Infrastruktur schützen, während wichtige HTML-Seiten verfügbar bleiben.
Prüfen Sie, ob Ihre WAF verifizierte Bots falsch klassifiziert oder JavaScript-Challenges ausliefert, die der Crawler nicht lösen kann. Ein nominelles Allow in robots.txt hilft nicht, wenn die Anwendung anschließend 403 oder 5xx liefert.
- Statische Inhalte cachen
- Teure Such- und Filterendpunkte begrenzen
- Bekannte Bots verifizieren
- Fehlerquoten je Bot überwachen
Kapitel 5
Policy als kontrolliertes Experiment behandeln
Dokumentieren Sie Ausgangswert, Änderungsdatum, erwartete Wirkung und verantwortliche Person. Beobachten Sie danach Crawler-Aktivität, Coverage, Statuscodes sowie getrennt davon Mentions und Citations in AI-Antworten.
Überprüfen Sie die Policy regelmäßig, weil sich Anbieterregeln, Produkte und Geschäftsziele ändern. Eine gute Richtlinie ist versioniert, nachvollziehbar und reversibel.