vennbot, der Crawler von venn
vennbot liest öffentliche Dokumentation und Fachseiten, vor allem von Herstellern von Lagertechnik. Das venn-Team trägt diese Websites als Wissensquelle für Evi ein, den KI-Agenten in venn. Kunden von venn können mit vennbot keine Websites crawlen.
- User-Agent
vennbot/1.0 (+https://app.even-logistics.de/bot)- Token in der robots.txt
vennbot
Was vennbot abruft
- Websites, die das venn-Team als Wissensquelle eingetragen hat, etwa Produktdokumentation und Fachartikel
- HTML-Seiten und verlinkte PDFs, nur im Bereich, den das venn-Team für die Website festlegt
- Nur, was jeder ohne Anmeldung sieht: GET-Anfragen ohne Cookies und Zugangsdaten, keine Logins, keine Formulare
- Standardmäßig ohne Pfade wie /login, /search, /cart, /contact oder /privacy
Außerdem liest vennbot einzelne Seiten, RSS-Feeds und Sitemaps, die das venn-Team bei einer Technologie verfolgt, je Quelle und Abruf höchstens 30 Seiten. Auch dafür gilt deine robots.txt. Richtet ein Kunde Single Sign-on ein, lädt venn unter derselben Kennung die SAML-Metadaten von der Adresse, die der Kunde angibt, und lädt sie bei einer Anmeldung neu, sobald der gespeicherte Stand älter als ein Tag ist. Dieser Abruf gehört zur Einrichtung des Kunden und liest keine robots.txt.
So crawlt vennbot eine Website
Das gilt für Websites, die das venn-Team als Wissensquelle eingetragen hat. Für einzelne Seiten, Feeds und Sitemaps, die das venn-Team bei einer Technologie verfolgt, zählt bisher nur deine robots.txt: Tempo, Pausen, noindex und noai aus diesem Abschnitt gelten für sie noch nicht.
robots.txt
vennbot folgt der Gruppe für User-agent: vennbot, ohne sie der Gruppe für *. Allow und Disallow gelten nach der längsten passenden Regel, auch mit * und $. Ist deine robots.txt nicht erreichbar oder liefert sie einen Serverfehler, ruft vennbot von deinem Host nichts ab.
Tempo
vennbot ruft Seiten nacheinander ab, höchstens eine pro Sekunde von deinem Host. Steht in deiner robots.txt ein Crawl-delay, wartet vennbot so lange. Bei mehr als 30 Sekunden crawlt vennbot die Website nicht.
429 und 503
Antwortet dein Server mit 429 oder 503, pausiert vennbot deinen Host so lange, wie Retry-After angibt: mindestens eine Minute, höchstens eine Stunde. Ohne Retry-After sind es fünf Minuten.
Fehlerserien
Nach zehn Fehlern innerhalb einer Stunde, etwa Zeitüberschreitungen, Verbindungs- oder Serverfehlern, pausiert vennbot deinen Host eine Stunde lang.
noindex und noai
Steht noindex, none, noai oder noimageai im Meta-Tag robots oder vennbot oder im Header X-Robots-Tag, kommt die Seite nicht in Evis Wissen. Bei nofollow folgt vennbot den Links der Seite nicht, Links mit rel="nofollow" lässt er immer aus.
Sitemaps
Um Seiten zu finden, liest vennbot die Sitemaps aus deiner robots.txt sowie /sitemap.xml und /sitemap_index.xml, auch gepackt als .gz.
Bedingte Abrufe
Schickt dein Server einen ETag- oder Last-Modified-Header, fragt vennbot die Seite beim nächsten Mal bedingt ab. Ist sie unverändert, genügt eine Antwort mit 304.
Zeitplan
Standard ist ein Durchlauf pro Woche. Das venn-Team kann je Website auch täglich, monatlich oder nur manuell einstellen.
vennbot aussperren
Deine robots.txt entscheidet, was vennbot abrufen darf.
Ganze Website
vennbot liest dann nur noch deine robots.txt. Ausgenommen sind SAML-Metadaten, die ein Kunde von venn für Single Sign-on laden lässt.
User-agent: vennbot
Disallow: /Nur einen Bereich
Gibt es eine Gruppe für vennbot, gelten die Regeln unter * für ihn nicht mehr. Wiederhole dort, was gesperrt bleiben soll.
User-agent: vennbot
Disallow: /intern/Einzelne Seiten
Beim Crawlen einer Website im Kopf der Seite oder als Header der Antwort:
<meta name="vennbot" content="noindex">
X-Robots-Tag: vennbot: noindexvennbot speichert deine robots.txt höchstens 24 Stunden zwischen, jede Anfrage danach folgt den neuen Regeln. Crawlt vennbot eine Website, nimmt er Seiten, die er schon abgerufen hat und die deine Regeln jetzt sperren, beim nächsten Durchlauf aus Evis Wissen. Für einzelne Seiten, Feeds und Sitemaps, die das venn-Team bei einer Technologie verfolgt, wirkt bisher nur die robots.txt, und schon Abgerufenes bleibt, bis wir es auf deine Anfrage entfernen.
Fragen oder Löschung
Du hast Fragen zu vennbot oder möchtest Inhalte entfernen lassen, die er schon abgerufen hat? Schreib uns und nenne die Domain, um die es geht.