MarketGrowBot
MarketGrowBot ist der Crawler von Market Grow, einer Plattform für SEO, lokale Suche und Sichtbarkeit in KI-Suchmaschinen. Wir nutzen ihn, um Websites von Kunden zu analysieren, die uns damit beauftragt haben.
So identifiziert er sich
MarketGrowBot/1.0 (+https://market-grow.com/bot)Was er tut
- Er liest nur öffentliche Seiten, die in der Sitemap der Website stehen.
- Vor jeder Seite liest er die robots.txt und hält sich an ihre Regeln, einschließlich Crawl-delay. Ist die robots.txt nicht abrufbar, crawlt er die Website nicht.
- Er geht langsam vor: höchstens 2 Anfragen gleichzeitig, mit einer Pause zwischen den Anfragen.
- Er meldet sich nirgends an, sendet keine Formulare ab und liest nichts außerhalb der analysierten Domain.
So sperren Sie ihn
Um MarketGrowBot für die gesamte Website zu sperren, ergänzen Sie Ihre robots.txt:
User-agent: MarketGrowBot
Disallow: /Nur einen Ordner sperren:
User-agent: MarketGrowBot
Disallow: /privat/Kontakt
Bei Fragen oder wenn wir Ihre Website nicht mehr analysieren sollen: bot@market-grow.com.
English
MarketGrowBot is the crawler of Market Grow, a platform for SEO, local search and visibility in AI search engines. We use it to analyze websites of clients who asked us to. It identifies itself as "MarketGrowBot/1.0 (+https://market-grow.com/bot)", only reads public pages listed in the site's sitemap, checks robots.txt before every page and follows its rules (including Crawl-delay), makes at most 2 requests at a time with a pause between them, and never logs in or submits forms. To block it, add "User-agent: MarketGrowBot" and "Disallow: /" to your robots.txt. Contact: bot@market-grow.com.