SenderBot ist der Webcrawler der Sender Online Marketing GmbH. Diese Seite erklärt, was er tut, wie Sie ihn erkennen und wie Sie ihn steuern
oder vollständig aussperren.
Steckbrief
| Name | SenderBot |
|---|---|
| Betreiber | Sender Online Marketing GmbH |
| User-Agent | Mozilla/5.0 (compatible; SenderBot/1.0; Sender Online Marketing GmbH; +https://sender-marketing.de/bot) |
| Kennung für robots.txt | SenderBot |
| Kontakt | [email protected] |
Was der SenderBot tut
Der SenderBot ruft öffentlich zugängliche Webseiten auf und liest daraus zwei Dinge aus:
- Verlinkungen – welche Seite verweist mit welchem Linktext auf welche
andere Seite. Daraus entsteht eine Datenbank über Verlinkungsstrukturen im Web. - Den Haupttext der Seite – um ihn später nach Erwähnungen bestimmter
Marken und Unternehmen durchsuchen zu können.
Beides dient der internen Analyse für unsere Kundenprojekte. Wir veröffentlichen die erhobenen Texte nicht, geben sie nicht an Dritte weiter und bieten sie nicht als Produkt an. Der SenderBot trainiert keine KI-Modelle.
Was der SenderBot nicht tut
- Er führt kein JavaScript aus und rendert keine Seiten – er liest nur den ausgelieferten HTML-Quelltext.
- Er lädt keine Bilder, Videos, Schriften oder Downloads. Nur HTML-Dokumente.
- Er füllt keine Formulare aus, meldet sich nirgends an und umgeht keine Bezahlschranken oder Zugangsbeschränkungen.
- Er sammelt keine personenbezogenen Daten gezielt und legt keine Profile über Personen an.
- Er verarbeitet ausschließlich deutschsprachige Inhalte. Fremdsprachige Seiten werden erkannt und ihr Text wird verworfen.
Wie oft der Bot kommt
Der SenderBot ist bewusst zurückhaltend eingestellt. Er ruft standardmäßig höchstens eine Seite pro Sekunde je Website ab und begrenzt zusätzlich die Anzahl der Seiten pro Website und Tag. Größere Websites werden deshalb über Wochen verteilt besucht statt an einem Stück – Ihr Server soll den Bot nicht bemerken.
Gibt Ihre robots.txt ein Crawl-delay an, hält der Bot sich daran. Antwortet Ihr Server mit 429 oder 403, verlangsamt er sich automatisch und pausiert die Website bei wiederholter Abweisung.
Wie Sie den SenderBot steuern
Der SenderBot hält sich an den Robots Exclusion Standard. Alle folgenden Angaben werden ausgewertet:
Komplett aussperren
User-agent: SenderBot Disallow: /
Nur einzelne Bereiche ausschließen
User-agent: SenderBot Disallow: /intern/ Disallow: /suche
Abstand zwischen Abrufen vorgeben
User-agent: SenderBot Crawl-delay: 10
Einzelne Seiten ausnehmen
Der Bot beachtet außerdem das robots-Meta-Tag und den X-Robots-Tag-HTTP-Header:
<meta name="robots" content="noindex">
Bei noindex speichern wir den Text der Seite nicht. Bei nofollow folgen wir den Links der Seite nicht weiter. rel=“nofollow“ an einzelnen Links wird ebenfalls beachtet.
Änderungen an Ihrer robots.txt wirken innerhalb von 24 Stunden – so lange zwischenspeichern wir die Datei.
Rechtlicher Rahmen
Die automatisierte Auswertung öffentlich zugänglicher Inhalte stützt sich auf die Regelung zum Text und Data Mining (§ 44b UrhG). Ein maschinenlesbarer Nutzungsvorbehalt – etwa über Ihre robots.txt – wird von uns beachtet. Wenn Sie nicht möchten, dass wir Ihre Inhalte auswerten, sperren Sie den Bot wie oben beschrieben aus; er hält sich daran.
Kontakt
Fragen zum Bot, Auffälligkeiten oder die Bitte, eine Website nicht mehr zu besuchen, richten Sie bitte an [email protected]. Wir reagieren auf Ausschlusswünsche auch dann, wenn keine robots.txt gepflegt wird. Anschrift und Vertretungsberechtigte entnehmen Sie bitte unserem Impressum.
