MÜNCHEN (COMPUTERWOCHE) - Im Zuge unserer Berichterstattung zu einer möglicherweise fehlerhaften Indexierung von per SSL abgesicherten Web-Seiten durch die Suchmaschine Google baten wir deren Betreiber um eine Stellungnahme zu den Vorwürfen. Diese erhielten wir an diesem Wochenende. "Google testet derzeit eine neue Crawler-Technik, mit der unsere Nutzer demnächst auch HTTPS-Seiten als Ergebnis angezeigt bekommen. Dies ist ein wichtiges Feature, weil eine große Zahl von Seiten nur auf sicheren Servern existieren und von Suchmaschinen heute nicht gefunden werden können (zum Beispiel https://www.gotomypc.com)", schreibt uns Google-Sprecher Nathan Tyler.

"In einem Test haben wir neulich in dieser neuen Technik einen Fehler gefunden, aufgrund dessen unser Crawler die robots.txt-Dateien auf sicheren Servern ignorierte. Diesen Fehler haben wir behoben und alle HTTPS-Seiten aus unserem Index und Cache gelöscht." Die verbesserte Version des Google-Crawlers werde alle robots.txt-Angaben in Verbindung mit sicheren Web-Seiten berücksichtigen und im Laufe der nächsten 30 Tage aktiviert. (tc)