In questa piccola sfida, imparerai qualcosa a riguardo del Protocollo di esclusione robot.
Il file robots è utilizzato dai web crawlers per controllare se sono autorizzati a navigare ed indicizzare tutto il tuo sito o solo parti di esso.
A volte, questi file rivelano informazioni sulla struttura delle cartelle del sito invece che proteggere il sito stesso del crawling.

Buon divertimento!