De Murph Relay-bot
Murph Relay helpt bij het analyseren en verbeteren van eigen en geautoriseerde websites. Onze bot haalt daarvoor openbare websitegegevens op. Je kunt deze geautomatiseerde verzoeken herkennen in je serverlogs.
Zo herken je onze verzoeken
Onze websiteverzoeken gebruiken dezelfde User-Agent:
MurphRelayBot/1.0 (+https://murph-relay.com/bot)
De botnaam is MurphRelayBot. Het versienummer hoort bij het ophaalgedrag van de bot en staat los van wijzigingen aan het portaal. Het informatieadres blijft publiek, ook bij verzoeken vanuit onze ontwikkelomgeving.
Een User-Agent is een herkenningskenmerk. Hij bewijst op zichzelf niet wie een verzoek verstuurt en verleent geen toegang tot je website.
Welke gegevens haalt de bot op?
Bij technische websitecontroles haalt Murph Relay openbare HTML-pagina's en robots.txt op. Daarmee controleren we onder meer bereikbaarheid, paginametadata en interne links. We voeren daarbij geen JavaScript uit.
Bij een gekoppelde sitemap halen we XML-sitemaps op om openbare website-URL's te inventariseren. Ook deze verzoeken gebruiken dezelfde User-Agent.
Voor een verbonden WordPress-website kunnen we via de openbare WordPress-API gepubliceerde pagina- en berichtmetadata ophalen. Deze verzoeken gebruiken dezelfde botnaam. Er worden geen concepten of privépagina's via een CMS-login opgehaald.
Toegang en aanwijzingen beperken
De technische crawler leest robots.txt voordat hij HTML-pagina's ophaalt. Je kunt daarin regels opnemen voor MurphRelayBot. Zonder een specifieke groep gebruikt de crawler de toepasselijke algemene *-regels. Een verboden pagina wordt niet opgehaald.
Voorbeeld om de technische HTML-controles te blokkeren:
User-agent: MurphRelayBot
Disallow: /De crawler verwerkt ook algemene en botgerichte meta-aanwijzingen en X-Robots-Tag. Een nofollow-aanwijzing beperkt het ontdekken van links; noindex is een aanwijzing over indexering. Zulke aanwijzingen vervangen geen toegangsbeveiliging en vereisen dat de pagina eerst is opgehaald.
Bekende URL's uit een sitemap of WordPress kunnen afzonderlijk voor HTML-controle gepland staan. Een nofollow-aanwijzing verbiedt het ophalen van die pagina's niet; daarvoor gelden de toepasselijke robots.txt-regels en je serverbeveiliging.
De openbare WordPress-koppeling leest geen robots.txt vóór API-verzoeken. Wil je die verzoeken beperken, stel dan toegangsregels in op je webserver of bij de openbare WordPress-API. Gebruik authenticatie en serverbeveiliging voor gegevens die niet openbaar mogen zijn.
Een vraag over botverkeer?
Neem contact met ons op. Noem het websiteadres, het tijdstip en het pad van het betreffende verzoek. Deel geen wachtwoorden, toegangstokens of gegevens over individuele bezoekers.