Schlagwort: Webcrawler

Reddit angekündigt am Dienstag, dass es sein Robots Exclusion Protocol (Datei robots.txt) aktualisiert, das automatisierten Web-Bots mitteilt, ob sie eine Site crawlen dürfen. In der Vergangenheit wurde die robots.txt-Datei verwendet,…