1 article
Una guía exhaustiva de todas las directivas de robots.txt. Aprende la sintaxis estándar (Allow, Disallow) y parámetros menos conocidos como Crawl-delay y Clean-para de Yandex.