robots.txt-Datei anwenden & für SEO nutzen
Die Robots Exclusion Protocol, kurz robots.txt, ist eine reine Textdatei (nicht HTML), die vom Webmaster einer Domain erstellt wird, um den Bot einer Suchmaschine anzuweisen, auf welche Teile einer Webseite er Zugriff bekommt. Wann und wie Du diese verwendest wird hier erklärt! Inhaltsverzeichnis Wo liegt die robots.txt und wofür verwende ich diese? Wann verwende ich […]