Hast du schon einmal die Google Webmaster Tools ausprobiert? Sie bieten wertvolle Informationen über deine Seite, wie beispielsweise die am häufigsten verwendeten Keywords.
Leider habe ich kürzlich festgestellt, dass „Agent“ und „Disallow“ unter den Top 5 auftauchen. Hier ist ein Screenshot davon.
Ich vermute, dass dies hauptsächlich daran liegt, dass die Seite (2011) relativ neu ist und über 40 Unterseiten verfügt, aber auch jede Menge Inhalte hat – immer über 300 Wörter pro Seite ohne Navigation. [Einschub: Die Wortzahl sollte kein Qualitätskriterium sein, sondern die Aussage des Textes. Für ein komplexes Produkt könnten 2000 Wörter zu wenig sein, während 100 Wörter für eine Badeente ausreichen könnten. /Einschub]
Trotzdem richten sich diese Inhalte nicht strikt nach den Vorlieben der lokalen Bots (SEO), sondern eher darauf, den Leser/Kunden für das Produkt/die Dienstleistung zu gewinnen. Es wäre also von Vorteil, a) mehr Texte mit den gewünschten Stichworten zu erstellen und/oder b) die robots.txt einfach ganz zu entfernen.
Vor ein paar Jahren habe ich mich für eine robots.txt entschieden, um bestimmte Bots auszuschließen, aber mittlerweile habe ich auf vielen Seiten von Mitbewerbern keine robots.txt mehr gefunden. Deshalb werde ich überlegen, ob ich sie doch entfernen sollte. Schließlich sollten „Agent“ und „Disallow“ nicht als Hauptkeywords dienen, trotz jeder Menge vermutlich unoptimierter Seiten. Deshalb ist es wichtig, öfter in den Google Webmaster Tools vorbeizuschauen und solche Disallows aufzudecken.
Ich werde mich jetzt auf die Suche nach Tipps machen, wie man die robots.txt ggf. aus der Bots-Suche entfernt – in der Sitemap.xml ist sie auf jeden Fall nicht.
Nachtrag:
So, da es über 125 ‚Disallowed Bots‘ in meiner robots.txt gab habe ich kurzer Hand die Liste um gut 3/4 gekürzt, wenn man sich einen kurzen Überblick bei den Webdesign-Koryphäen wie Perun, Bueltge & Co macht, dann sieht man, dass man mit der robots.txt eher zum Verzeichnisschutz verwendet als zum Aussperren böser Bots – im Grunde ist es ja auch so, dass die Bots die Namen nach belieben ändern können, so dass von daher wenig Sinn macht alle namentlich auszuschließen – nun denn, auf jeden Fall ein Keyword-Anhäufungsproblem in den Webmaster Tools gelöst.
Ähnliche Beiträge:
- KI-Bilder generieren – Tools im Überblick
KI-Bildgeneratoren sind im Trend und liefern erstaunliche Ergebnisse. Hier findest du eine Liste... - Wie relevant ist die Suchmaschine Bing? Bing FAQs
Trotz Schwächen bleibt Microsoft's Suchmaschine Bing relevant, besonders als Standard in Windows. Hier... - Best Practises für eine Feature-Liste auf der Website
Um die Funktionen einer SaaS übersichtlich darzustellen sind Feature-Listen optimal. Hier einige Tipps...
Sind die Keywords aus der robots.txt bei dir verschwunden? Ich habe NUR „agent“ und „allow“ in der Keyword-Liste der Webmastertools… Google intzeressiert sich nicht für den Seiteninhalt. Woran kann das liegen?
Ja, die beiden Keywords sind nun komplett raus. Ich nehme an, dass die .txt Liste einfach zu lang war.
Seltsam, bei mir hat die robots.txt nur eine Zeile. Ich werde mal abwarten und schauen, ob sich etwas ändert. Vielen Dank!