Robots Exclusion Protocol

Robots.txt er 25 år. Ble framprovosert av en science fiction-forfatter