StructifaiBot

Informationen für Serverbetreiber, deren Logs den User-Agent unten zeigen.

Wer

StructifaiBot ist ein plattformeigener Crawler von structifai. Wir betreiben ihn für die Content-Pipeline, mit der wir Artikel für mehrere Mandanten produzieren.

Was er tut

Er prüft, ob in Artikeln zitierte Quellen erreichbar sind — per HTTP HEAD, bei Bedarf per GET mit Range: bytes=0-0. Er prüft die Indexierung eigener Seiten und ruft eigene Sitemaps ab. Er lädt keine Inhalte für Trainingszwecke herunter und speichert keine fremden Seiteninhalte.

Wie oft

Selten und anlassbezogen, nicht flächendeckend crawlend. Er ruft jeweils einzelne URLs ab, die in einem Artikel zitiert werden — kein Durchsuchen ganzer Domains.

User-Agent

StructifaiBot/1.0 (<zweck>; +https://structifai.de/bot)
Der Teil in Klammern beschreibt den jeweiligen Zweck des Aufrufs und variiert entsprechend (z. B. Quellenprüfung, Indexierungs-Check, Sitemap-Abruf).

Kontakt

Läuft der Bot unerwünscht, verursacht er Last oder gibt es Rückfragen — bitte melden unter d.benter@djwcapitalmanagement.de. Wir reagieren auf jede Rückmeldung und respektieren einen Block.