von Rainer Meyer

Leider kommt es immer mal wieder vor, dass man in der Hektik des Alltags Webseiten produziert, die man später gerne wieder aus den Suchmaschinen-Ergebnisseiten entfernen möchte. Es geht dabei weniger um Seiten, die fehlerhafte Inhalte enthalten. Viel häufiger ist Fall, dass man temporäre Ergebnisse durch ein Content-Management-System publiziert, die dann von den Suchmaschinen-Robots in die Datenbank der Suchmaschine aufgenommen werden. Schlecht ist es, wenn diese Seiten auch noch extern verlinkt werden.

Um solchen Effekten auf die Spur zu kommen, bieten sind die Google Webmaster Tools an, die man kostenlos mit einem ebenfalls kostenlosen Google-Konto nutzen kann. Diese Webmaster Tools wurden hier schon öfters empfohlen: http://blog.seo-ambulance.de/suchmaschinenoptimierung/link-analyse-mit-google-webmaster-tools/.

Man findet solche fehlerhaften Webadressen, wenn man zum Auswahlpunkt Diagnose > Crawling-Fehler wechselt und dort auf Nicht gefunden klickt.

Praktischerweise hat man mit den Google Webmaster Tools auch schon ein Instrument, um die fehlerhafte Seite bei der Suchmaschine Google abzumelden.

Crawler-Zugriff > URL entfernen > Neuer Antrag auf Entfernung:

Man kann einzelne Webadressen, einzelne Bilder oder einzelne sonstige Dateien entfernen lassen. Es ist aber auch möglich, komplette Verzeichnisse bzw. Unterverzeichnisse zu blockieren. Möglich ist es auch, die bei Google im Cache gespeicherte Variante einer neu gestalteten Webadresse zu beseitigen, falls man nicht mehr möchte, dass Besucher auf diesen veralteten Inhalt mittels des Google-Caches zugreifen können.

Diese Vorgehensweise zum Löschen von Inhalten funktioniert natürlich nur für die Suchmaschine Google. Es gibt aber weitere Techniken zum Löschen von Inhalten aus Suchmaschinen-Ergebnisseiten, die generell funktionieren.

Die Nutzung der .htaccess-Datei zum Sperren von Inhalten.

Bei .htaccess handelt es sich um eine Konfigurationsdatei, die der Webmaster im Stammverzeichnis seiner Website ablegt und in der Webadressen auf eine andere Adresse umgeleitet werden können. So kann man unerwünschte Seiten einfach dadurch unwirksam machen, dass man gezielt auf eine andere Seite umleitet. Diese Seite kann auch die Startseite der Webpräsenz oder eine spezielle Seite mit weiteren Suchmöglichkeiten sein. Allerdings ist es nicht bei jedem Webhoster gestattet, eine eigene .htaccess-Datei zu verwenden.

Mit robots.txt den Zugriff auf bestimmte Inhalte der Website dem Suchmaschinen-Robot verbieten

Robots.txt ist eine einfache Textdatei, die es den Suchmaschinen-Robots verbietet, eine bestimmte Adresse oder eine bestimmtes Verzeichnis zu crawlen. Man kann hier wieder die Google-Webmaster-Tools nutzen, um die Datei zu erstellen. Je nach Einstellung funktioniert diese Datei dann auch für andere Suchmaschinen-Robots.

Zur Erstellung einfach auf Crawler-Zugriff > Datei “robots.txt” erstellen gehen.

Allerdings wird die URL möglicherweise nicht aus den Suchmaschinen-Ergebnisseiten entfernt, wenn auf einer anderen Website ein Link auf einen entsprechenden Inhalt gesetzt wurde. Solche unerwünschten Links können aber mit den Google Webmaster Tools erkannt werden und man könnte den Inhalt ändern oder umleiten oder den jeweiligen Webmaster auf den Verzicht auf die Verlinkung motivieren.