[Erledigt] An alle Webmaster - Google Index

[helmut_grokenberger]

Hallo zusammen,

ich habe ein paar Webseiten, die auch alle schön von google und co. indiziert sind und auch werden sollen :thumbup:
Nur manche Unterverzeichnisse würde ich gerne von dieser Indizierung ausschließen. Geht das? Und wenn ja, wie?

Sicherlich könnte ich ein Verzeichnis komplett mit einem Passwortschutz versehen. Aber das möchte ich nicht immer.

Habe mir schon immer die Frage gestellt. Konkret möchte ich jetzt ein paar download-links anderen Leuten zur Verfügung stellen - ohne Passwortschutz, aber auch ohne, dass die Dateien gleich bei Google ganz oben erscheinen!

Danke euch!

 

[Le_Nerd]

Bin zwar kein Webmaster, aber: http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

 

[Stephnovo]

<meta name="robots" content="noindex,nofollow" /> wäre auch mein Vorschlag gewesen wie in der Wikipedia hier beschrieben.

 

[Think_o_mat]

der Ausschluß der Unterverzeichnisse im Suchergebnis kann ja nur erfolgen, wenn die indexierten Seiten nicht mit den "ich nenn es mal privaten Seiten" verlinkt sind... insofern musst du diese Unterverzeichnisse separat uploaden. Da ist "nofollow" schon ein guter Ansatz, ausserdem darf die Datei nicht auf Index.html bzw. php lauten...

Weitere Möglichkeit: eine Robot.txt definieren! Attribute, bzw. die Datei auf "disallow" stellen oder als temporär kennzeichnen und auskommentieren...(wird dann auch von der Indexierung ausgenommen)

so sieht das das aus:

User-agent: *
Disallow: /
diese Anweisung in der Robot.txt verhindert die Indexierung deiner Datei "privat" und aller anderen Dateien absolut!

Willst du nur die Datei "privat" vom Index ausschliessen, dann mußt du in die Robot.txt folgendes hineinschreiben:

User-agent: *
Disallow: /privat/

 

[helmut_grokenberger]

Super! Vielen Dank. Genau das was ich gesucht habe.

Habe noch ein paar kleine/letzte Fragen für die newbies unter den Webmastern - also mich [quote='Think_o_mat',index.php?page=Thread&postID=790155#post790155]insofern musst du diese Unterverzeichnisse separat uploaden[/quote]1. Meinst du damit, die Dateien in ein separaten Ordner zu schieben, der nicht mit den HTML/PHP Seiten verlinkt ist?!

Fragen zu Robot.txt:
2. Ich lege also eine Datei robot.txt an und schreibe hinein:

--
User-agent: *
Disallow: /downloads/
--

3. Der User-agent: * bedeudet also, dass alle Such-Bots diese Regel befolgen? Was würde z.B. Sidewinder aus dem Wiki Eintrag bedeuten? Was ist also dieser User-agent? Das verstehe ich noch nicht ganz

4. Disallow: /downloads/ - würde also bedeuten, dass alle Dateien im Ordner downloads nicht indiziiert werden sollen?

5. Sonst würde in der .txt nix drinstehen? Diese .txt wird dann in das Root-Verzeichnis der Domain gelegt?!

Frage zu Meta-Tags:
6. Wenn ich den Tag "<meta name="robots" content="noindex,nofollow" />" in eine HTML-Page kopiere, wird nur diese Page und deren Links nicht indiziiert, oder alle Sites der Domain?

Noch eine kurze Frage zu HTTP-Authentifizierung:
Wenn ich einen Pfad über die .htaccess mit einem Passwort versehe, kann ich hier wirklich sicher sein? Also ist die HTTP-Authentifizierung ein sicheres Verfahren, dass nicht schnell geknackt werden kann (natürlich vorausgesetzt, dass Passwort ist gut)? Kann ich mir sicher sein, dass niemand (also auch keine Suchmaschine) Zugriff auf den PW-geschützten Bereich hat, ohne das Passwort zu kennen?

Vielen Dank für eure Geduld
Kenne mich in dem Bereich noch net wirklich aus...

vg, H.K.

 

[Bhavas]

Hi,
meine Robots.txt sieht z.B. so aus:

User-agent: *
Disallow: /downloads/
Disallow: /pics/
Disallow: /pics-e/

"User-agent: *" bedeutet, daß man alle Suchmaschinen aussperrt und nicht nur ausgewählte.

Die Robots.txt muß ins Root-Verzeichnis, weil hier ja die Suchmaschinen mit dem Schnüffeln anfangen und sich dann an den einzeln Links weiterhangeln. Das Ganze klappt sehr gut. Seit ich zum Beispiel den Bilderordner ausgesperrt habe, finde ich keine Bilder von meiner HP mehr in Google Bilder.

Du kannst Dir auch bei Google, Yahoo und Bing einen Webmaster-Account einrichten, um die Seiten aus dem Index rauszuwerfen, die dort schon drin sind. Langfristig werden sie sowie rausgeschmissen, wenn beim nächsten Scan Deiner HP nicht mehr auf die Link zugegriffen werden kann.

Grüße,
Bhavas

 

[verdi]

allerdings beachten nicht zwangsweise alle robots die datei auch ...

 

[Schnitzel2k8]

Zu htaccess: Ein so geschützter Bereich kann nicht von einer Suchmaschine erfasst werden.

 

[Bhavas]

Das kann sein. Aber Google,Yahoo und Bing tun es und damit hat man ja 96,6673263 % der Suchmaschinen abgedeckt. Es handelt sich ja nicht wirklich ums sensible Daten wie es mir scheint.

Die Paßwordlösung ist sicher besser.

 

[helmut_grokenberger]

[quote='Schnitzel2k8',index.php?page=Thread&postID=791962#post791962]Zu htaccess: Ein so geschützter Bereich kann nicht von einer Suchmaschine erfasst werden.[/quote]und "wie sicher" ist das? Kann man das irgendwie sagen? Z.B. AES 128bit oder so?
[quote='Bhavas',index.php?page=Thread&postID=791963#post791963]Es handelt sich ja nicht wirklich ums sensible Daten wie es mir scheint.[/quote]Ja, nix sensibles. Würde es nur gerne einschätzen können, falls doch mal was sensibleres dazukommt.
Merci!

 

[quarf]

.htaccess ist ansich wohl schon sicher. Allerdings sollte dann auch eine HTTPS-Verbindung zum Einsatz kommen, sonst wird das Passwort im Klartext uebermittelt und kann ggf. leicht mitgeschnitten werden...

 

[helmut_grokenberger]

super, danke :thumbup: wenn mir jetzt noch jem. die rote frage oben beantwortet, gebe ich ruhe zu dem thema

 

[Zaphod_42]

[quote='helmut_grokenberger',index.php?page=Thread&postID=791736#post791736]Frage zu Meta-Tags:
6. Wenn ich den Tag "<meta name="robots" content="noindex,nofollow" />" in eine HTML-Page kopiere, wird nur diese Page und deren Links nicht indiziiert, oder alle Sites der Domain?
[/quote]Nur diese Page und ihre Links ...
http://de.selfhtml.org/html/kopfdaten/meta.htm#robots


[quote='helmut_grokenberger',index.php?page=Thread&postID=791736#post791736]Noch eine kurze Frage zu HTTP-Authentifizierung:
Wenn ich einen Pfad über die .htaccess mit einem Passwort versehe, kann ich hier wirklich sicher sein? Also ist die HTTP-Authentifizierung ein sicheres Verfahren, dass nicht schnell geknackt werden kann (natürlich vorausgesetzt, dass Passwort ist gut)? Kann ich mir sicher sein, dass niemand (also auch keine Suchmaschine) Zugriff auf den PW-geschützten Bereich hat, ohne das Passwort zu kennen?
[/quote]Da kannst Du Dir sicher sein.

HTH, Gruß Frank

 

[helmut_grokenberger]

:thumbsup: