MarketGrowBot
MarketGrowBot es el rastreador de Market Grow, una plataforma de análisis SEO, de búsqueda local y de visibilidad en buscadores con IA. Lo usamos para analizar sitios web de clientes que nos lo encargaron.
Cómo se identifica
MarketGrowBot/1.0 (+https://market-grow.com/bot)Qué hace
- Lee solo páginas públicas que figuran en el sitemap del sitio.
- Antes de leer cualquier página, consulta el archivo robots.txt y respeta sus reglas, incluido Crawl-delay. Si no puede leer el robots.txt, no rastrea el sitio.
- Va despacio: como máximo 2 pedidos a la vez, con una pausa entre pedidos.
- No inicia sesión, no envía formularios y no lee nada fuera del dominio que analiza.
Cómo bloquearlo
Para impedir que MarketGrowBot lea todo el sitio, agregá esto a tu robots.txt:
User-agent: MarketGrowBot
Disallow: /Para bloquear solo una carpeta:
User-agent: MarketGrowBot
Disallow: /privado/Contacto
Si tenés una pregunta o querés que dejemos de analizar tu sitio, escribinos a bot@market-grow.com.