Leitfaden für llms.txt und KI-Crawler
So veröffentlichen Sie maschinenlesbare Kontextdateien und machen Ihre Website für KI-Agenten technisch zugänglich.
llms.txt
Veröffentlichen Sie eine kurze, stabile Übersicht unter /llms.txt. Verwenden Sie eine klare H1-Überschrift, eine Beschreibung und absolute kanonische Links zu den wichtigsten Inhalten.
llms-full.txt
Die optionale Datei /llms-full.txt kann ausführlichere Inhalte enthalten. Sie ersetzt weder HTML-Seiten noch sitemap.xml, robots.txt oder kanonische URLs.
robots.txt und ai.txt
robots.txt steuert den technischen Zugriff einzelner Crawler. ai.txt kann zusätzliche Hinweise zur Nutzung durch KI-Systeme beschreiben, ist jedoch kein Ersatz für robots.txt.
Prüfung
Testen Sie HTTP-Status, Content-Type, Zeichencodierung, Weiterleitungen und die Erreichbarkeit aus einem öffentlichen Netzwerk. Aktualisieren Sie nur stabile Informationen.