Web

Vorwurf: Google indexiert auch HTTPS-Seiten

04.03.2002

MÜNCHEN (COMPUTERWOCHE) - Die britische Firma Klaus Schallhorn Omnisearch erhebt schwere Vorwürfe gegen die Betreiber von Google: Die Suchmaschine indexiere stillschweigend auch Seiten auf über SSL abgesicherten Servern (Protokoll HTTPS), obwohl sie das Gegenteil behaupte. Omnisearch zufolge hat Google bereits mehr als 3,8 Millionen solcher Seiten erfasst.

Besonders ärgerlich sei dabei, dass sich die Suchmaschine hier nicht an den "robots.txt"-Standard halte, der Spidern den Zugriff auf bestimmte Bereiche einer Site untersage. Googles Spider hätten mehr als 161.000 CGI-Skripte auf HTTPS-Servern ein- oder mehrfach ausgeführt, heißt es. Die Prüfung entsprechender Suchergebnisse führe schon unter den ersten zehn Resultaten zu Sites, deren robots.txt-Datei Spider-Programmen den Zugriff auf "/cgi-bin" und andere sensible Bereich ausdrücklich verbiete. Web-Administratoren seien deswegen gezwungen, neue Schutzmaßnahmen zu ergreifen. Weitere Informationen erteilt Klaus Schallhorn per E-Mail oder unter Telefon +441736/362964. (tc)