AW: Google Webmaster-Tools
Habe es gestern auch getestet , ich habe 4 blockierte URL , wobei es bei mir *.html Seiten sind - ist das normal ?
AW: Google Webmaster-Tools
Zitat:
Habe es gestern auch getestet , ich habe 4 blockierte URL , wobei es bei mir *.html Seiten sind - ist das normal ?
Gibt es da einen Fehlercode zu? Und welche Seiten sind das? Und wann war das?
Es ist völlig normal, dass in Google Webmaster-Tools Fehler angezeigt werden.
Du willst irgendwo im Internet eine Seite öffnen, geht aber nicht. Nach ein paar Sekunden ziehst du weiter. Genauso macht das der Google-Bot auch.
Angefangen im DataCenter in den USA muss der Bot über etliche Server, DNS, Router, Nodes, usw. bis er endlich auf deiner Seite, z.B. index.html ist.
Es braucht nur einer der genannten Knotenpunkte etwas überlastet sein und schon hängt die Anfrage. Für den Bot ist das dann nach wenigen Sekunden erstmal ein 404.
Heute sind es diese Seiten, die nicht erreichbar waren, morgen sind es andere. Es ist eher selten, dass gar keine Fehlermeldungen erscheinen.
Zitat:
... zunächst einmal hab ich die robots.txt wieder entfernt ich hab gelesen das Sie nicht zwingend erfordelich währe
Die robots.txt ist dazu da, Suchmaschinen anzuweisen, welche Seiten sie nicht indexieren dürfen. Die allermeisten Suchmaschinen halten sich auch daran.
Das hat den Vorteil, dass man Google damit nur die wirklich wichtigen und interessanten Seiten anbietet, indem man ihm den Müll vorenthält, was sich widerum positiv auf das Ranking auswirkt.
Kein Mensch interessiert sich nämlich für die fax.html, die cookie_usage.php oder den Inhalt des Cache-Verzeichnisses.
Zitat:
... ich möchte aber das meine komplette HP erfasst wird.
Wer nun aber meint, all die von Gambio in die robots.txt eingetragenen Dateien und Ordner seien extrem wichtig für die Menschheit, der kann natürlich gerne die robots.txt löschen.
Alle anderen, die nur qualitative Seiten anbieten möchten und somit auch für Google interessant und wichtig erscheinen möchten, sollten die robots.txt immer schön pflegen bzw. aktuell halten!
Zitat:
... URL wird von der "robots.txt"-Datei blockiert. und bei Sitmap werden nur die 3 URL angezeigt
Wenn der Google-Bot zuvor eine Seite gecrawlt hatte, die nun aber durch einen Eintrag in robots.txt verboten wird, dann wird natürlich eine entsprechende Fehlermeldung ausgegeben.
Das passiert, wenn robots.txt und sitemap.xml ständig geändert werden, mal fehlen und plötzlich wieder da sind, oder sogar widersprüchlich sind.
Die robots.txt enthält die explizit verbotenen Dateien und die sitemap.xml gibt explizit die zu indexierenden Seiten plus einige Infos an.
Beides will gepflegt werden, wie ein neues paar Schuhe!
AW: Google Webmaster-Tools
AW: Google Webmaster-Tools
Zitat:
Zitat von
KlausK
Gibt es da einen Fehlercode zu? Und welche Seiten sind das? Und wann war das?
Es ist völlig normal, dass in Google Webmaster-Tools Fehler angezeigt werden.
Du willst irgendwo im Internet eine Seite öffnen, geht aber nicht. Nach ein paar Sekunden ziehst du weiter. Genauso macht das der Google-Bot auch.
Angefangen im DataCenter in den USA muss der Bot über etliche Server, DNS, Router, Nodes, usw. bis er endlich auf deiner Seite, z.B. index.html ist.
Es braucht nur einer der genannten Knotenpunkte etwas überlastet sein und schon hängt die Anfrage. Für den Bot ist das dann nach wenigen Sekunden erstmal ein 404.
Heute sind es diese Seiten, die nicht erreichbar waren, morgen sind es andere. Es ist eher selten, dass gar keine Fehlermeldungen erscheinen.
Die robots.txt ist dazu da, Suchmaschinen anzuweisen, welche Seiten sie nicht indexieren dürfen. Die allermeisten Suchmaschinen halten sich auch daran.
Das hat den Vorteil, dass man Google damit nur die wirklich wichtigen und interessanten Seiten anbietet, indem man ihm den Müll vorenthält, was sich widerum positiv auf das Ranking auswirkt.
Kein Mensch interessiert sich nämlich für die fax.html, die cookie_usage.php oder den Inhalt des Cache-Verzeichnisses.
Wer nun aber meint, all die von Gambio in die robots.txt eingetragenen Dateien und Ordner seien extrem wichtig für die Menschheit, der kann natürlich gerne die robots.txt löschen.
Alle anderen, die nur qualitative Seiten anbieten möchten und somit auch für Google interessant und wichtig erscheinen möchten, sollten die robots.txt immer schön pflegen bzw. aktuell halten!
Wenn der Google-Bot zuvor eine Seite gecrawlt hatte, die nun aber durch einen Eintrag in robots.txt verboten wird, dann wird natürlich eine entsprechende Fehlermeldung ausgegeben.
Das passiert, wenn robots.txt und sitemap.xml ständig geändert werden, mal fehlen und plötzlich wieder da sind, oder sogar widersprüchlich sind.
Die robots.txt enthält die explizit verbotenen Dateien und die sitemap.xml gibt explizit die zu indexierenden Seiten plus einige Infos an.
Beides will gepflegt werden, wie ein neues paar Schuhe!
Hallo,
Zitat: Wer nun aber meint, all die von Gambio in die robots.txt eingetragenen Dateien und Ordner seien extrem wichtig für die Menschheit, der kann natürlich gerne die robots.txt löschen.
Alle anderen, die nur qualitative Seiten anbieten möchten und somit auch für Google interessant und wichtig erscheinen möchten, sollten die robots.txt immer schön pflegen bzw. aktuell halten!
Mann kann es aber auch von einer anderen Seite sehen, denn mann kann ja auch über einen anderen Weg auf die HP gelangen ne. Das kann man so oder so sehen.
AW: Google Webmaster-Tools
Zitat:
Zitat von
Tormentor
Ja, das eBook ist sicher sehr hilfreich, und nicht nur für Anfänger. Es gibt aber auch sehr viele andere gute Quellen!
Informationen dieser Art solltest du dir aber auf jeden Fall aneignen! Das ist Pflicht, wenn du mit einem Shop Geld verdienen willst.
Zitat:
Mann kann es aber auch von einer anderen Seite sehen, denn mann kann ja auch über einen anderen Weg auf die HP gelangen ne. Das kann man so oder so sehen.
Das kann man überhaupt nicht so oder so sehen!
Das Eine hat mit dem Anderen nichts zu tun! Es geht nicht darum, wie man auf eine Website gelangt.
Es geht hier ausschließlich darum, welche deiner Seiten im Google-Index stehen und welche nicht.
Warum?
Nehmen wir die shopping_cart.php
Die kannst du nur erreichen, indem du im Shop auf Warenkorb klickst oder direkt http://www.kindermoebel-24.de/shop09/shopping_cart.php eingibts.
Nahezu 100% aller weltweiten Internetnutzer verwenden aber eine Suchmaschine, wie z.B. Google, um eine bestimmte Homepage oder einen Shop zu finden.
Über die Googlesuche wirst du die Seite aber nicht finden, weil ich es Google verboten habe. Guckst du: https://www.google.de/search?q=site%...pping_cart.php
Google weiß zwar, dass es die Seite gibt, wertet Sie aber nicht weiter aus.
Und warum will ich das nicht?
Die shopping_cart.php und alle anderen Dateien, die in der robots.txt stehen haben keinen relevanten Wert.
Dort stehen keinerlei Informationen drin mit denen auch nur ein Mensch etwas anfangen könnte, sind also vollkommen wertlos.
Noch schlimmer ist, dass es diese Seite ja bereits 200.000 mal allein nur in den Gambio-Shops gibt. Weitere 5.000.000 mal in allen anderen xt:Commerce-Derivaten.
Da sie nämlich alle den gleichen Content haben ("Ihr Warenkorb enthält :", usw.), wäre das für Google "DoubleContent" (DC). Das hätte negative Auswirkungen auf das gesamte Ranking meiner Domain.
Wenn die Hälfte aller Seiten einer Domain aus wertlosen Seiten besteht und es davon auch noch tausende identische Kopien im Netz gibt, dann ist die Domain uninteressant und verschwindet auf die hinteren Plätze wo nie die Sonne hinscheint.
Besteht die Domain jedoch nur aus informativen, lesbaren und einzigartigen Inhalt, der am besten noch von vielen Usern gesucht wird, dann sind dir die vorderen Plätze und damit viele, sehr viele Besucher sicher.
AW: Google Webmaster-Tools
Ok hast ja recht dank für deine Ausführliche Informationen
