robots-txt

Una guía exhaustiva sobre /llms.txt, el estándar propuesto para ayudar a la IA a analizar sitios web. Explicamos su formato, propósito y el debate actual con Google y los profesionales de SEO.

Una guía exhaustiva de todas las directivas de robots.txt. Aprende la sintaxis estándar (Allow, Disallow) y parámetros menos conocidos como Crawl-delay y Clean-para de Yandex.

Un análisis de por qué Cloudflare ahora bloquea los rastreadores de IA por defecto. Aprenda sobre el razonamiento económico, las tasas de rastreo asimétricas y el papel cambiante de los robots.