Getunte robots.txt

Im Einnahmenbericht von gestern erwähnte ich eine spezielle robots.txt, die ich seit kurzem verwende. Da mich deswegen viele Nachfragen erreichten, will ich kurz erklären was es damit auf sich hat.

Seit dem Start meines Blog beklage ich mich darüber, dass kaum Besucher über Google zu mir finden. Tatsächlich beträgt der Anteil von Google bei mir nur 3%, was ausgesprochen wenig ist, da man auch ohne irgendwelche SEO-Tätigkeiten wesentlich mehr Google-Besucher bekommt. Irgendetwas musste ich also falsch gemacht haben. Das ganze lief ca. 4 Monate so und ich vermutete ich bin in der Google Sandbox gelandet.

In dieser Sandbox landen alle die Webseiten, die aus irgendwelchen Gründen kein Vertrauen von Google haben. Sie werden dort so lange platziert, bis sie sich ein gewisses “Trust-Level” erarbeitet haben z.B. durch seriösen Linkaufbau oder durch regelmäßig frischen Content.

Allerdings ist es schon ziehmlich ungewöhnlich ganze 4 Monate in der Google Sandbox zu verbringen, obwohl ich mir nichts zu schulden kommen lassen habe. Ich war also sehr verzweifelt. Eines Tages bekam ich ein Mail von Sven, der von meinem Problem mit Google gehört hat. Er meinte ich solle doch mal meine robots.txt überprüfen.

Eine robots.txt ist eine Art Wegweiser für die Bots der Suchmaschinen. In der robots.txt steht drin welche Teile der Website/Blog bei Google indexiert werden sollen. Ich weiß nicht genau was passiert, wenn man keine robots.txt besitzt. Vermutlich erlaubt man den Suchmaschinen-Bots dann den gesamten Teil der Website/Blog zu indexieren.

Das kann sich jedoch unter Umständen sehr negativ auswirken. Stichwort doppelter Content! Daher würde ich jedem empfehlen sich eine robots.txt anzulegen. Dazu geht man beispielsweise auf 6webmaster.com und nutzt den robtos.txt Generator.

SEO-getunte Robots.txt

Wie bereits oben erwähnt war Sven so nett mir eine robots.txt zu schicken, die er von einem SEO erhalten hatte. Sie sorgt dafür, dass speziell bei Blogs doppelter Content vermieden wird.

Hier kurz der Inhalt dieser robots.txt:

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /sitemap.xml
Disallow: /index.php
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-Agent: Googlebot
Disallow: /link.php
Disallow: /gallery2
Disallow: /gallery2/
Disallow: /feed/
Disallow: /feed

User-agent: *
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /sitemap.xml
Disallow: /index.php
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

Wirkung

Diese getunte robots.txt habe ich seit dem 25.08.2008 installiert. Folgende Veränderungen haben sich bei mir danach eingestellt:

• Anteil Google Besucher vor dem 25.08.: ca. 7 %
• Anteil Google Besucher 2 Wochen nach dem 25.08.: ca 12 %
• Anteil Google Besucher heute: ca. 15 % mit steigender Tendenz

Dummer Fehler

Dass die neue robots.txt so gut bei mir eingeschlagen ist liegt an einem dummen Fehler von mir. Als ich damals die getunte robots.txt bekam, schaute ich mir meine eigene robots.txt mal genauer an. Mir fiel auf, dass meine damals manuell erstellte Datei von mir falsch benannt wurde. Anstatt robots.txt habe ich die Datei robot.txt genannt. Es fehlte also ein “s”. Kein Wunder dass ich seit jeher ein Problem mit Google habe.

Das hat sich nun endlich geändert und ich kann Sven nur danken.

Wer einmal seine eigene robots.txt überprüfen möchte kann dass mit dem Robots.txt Syntax Checker tun.

Weitere Infos zur robots.txt gibt es überigens bei ABAKUS.

Ganz interessant kann es auch sein, einmal die robots.txt von anderen erfolgreichen Bloggern unter die Lupe zu nehmen. Einblick erhält man, indem man im Bowser folgendes eingibt:

www.domainname.de/robots.txt

Ich hoffe ich konnte einigen von euch etwas weiterhelfen, auch wenn diese Informationen für die meisten nichts Neues sind.

Wie hoch ist eigentlich euer Google-Anteil? Schreibt mir in den Kommentarbereich.