Verifica la existencia, accesibilidad y directivas del archivo robots.txt para evitar bloqueos involuntarios de indexación.