Zum Inhalt springen
Für Website-Betreiber

vennbot, der Crawler von venn

vennbot liest öffentliche Dokumentation und Fachseiten, vor allem von Herstellern von Lagertechnik. Das venn-Team trägt diese Websites als Wissensquelle für Evi ein, den KI-Agenten in venn. Kunden von venn können mit vennbot keine Websites crawlen.

User-Agent
vennbot/1.0 (+https://app.even-logistics.de/bot)
Token in der robots.txt
vennbot
Abrufe

Was vennbot abruft

  • Websites, die das venn-Team als Wissensquelle eingetragen hat, etwa Produktdokumentation und Fachartikel
  • HTML-Seiten und verlinkte PDFs, nur im Bereich, den das venn-Team für die Website festlegt
  • Nur, was jeder ohne Anmeldung sieht: GET-Anfragen ohne Cookies und Zugangsdaten, keine Logins, keine Formulare
  • Standardmäßig ohne Pfade wie /login, /search, /cart, /contact oder /privacy

Außerdem liest vennbot einzelne Seiten, RSS-Feeds und Sitemaps, die das venn-Team bei einer Technologie verfolgt, je Quelle und Abruf höchstens 30 Seiten. Auch dafür gilt deine robots.txt. Richtet ein Kunde Single Sign-on ein, lädt venn unter derselben Kennung die SAML-Metadaten von der Adresse, die der Kunde angibt, und lädt sie bei einer Anmeldung neu, sobald der gespeicherte Stand älter als ein Tag ist. Dieser Abruf gehört zur Einrichtung des Kunden und liest keine robots.txt.

Verhalten

So crawlt vennbot eine Website

Das gilt für Websites, die das venn-Team als Wissensquelle eingetragen hat. Für einzelne Seiten, Feeds und Sitemaps, die das venn-Team bei einer Technologie verfolgt, zählt bisher nur deine robots.txt: Tempo, Pausen, noindex und noai aus diesem Abschnitt gelten für sie noch nicht.

robots.txt

vennbot folgt der Gruppe für User-agent: vennbot, ohne sie der Gruppe für *. Allow und Disallow gelten nach der längsten passenden Regel, auch mit * und $. Ist deine robots.txt nicht erreichbar oder liefert sie einen Serverfehler, ruft vennbot von deinem Host nichts ab.

Tempo

vennbot ruft Seiten nacheinander ab, höchstens eine pro Sekunde von deinem Host. Steht in deiner robots.txt ein Crawl-delay, wartet vennbot so lange. Bei mehr als 30 Sekunden crawlt vennbot die Website nicht.

429 und 503

Antwortet dein Server mit 429 oder 503, pausiert vennbot deinen Host so lange, wie Retry-After angibt: mindestens eine Minute, höchstens eine Stunde. Ohne Retry-After sind es fünf Minuten.

Fehlerserien

Nach zehn Fehlern innerhalb einer Stunde, etwa Zeitüberschreitungen, Verbindungs- oder Serverfehlern, pausiert vennbot deinen Host eine Stunde lang.

noindex und noai

Steht noindex, none, noai oder noimageai im Meta-Tag robots oder vennbot oder im Header X-Robots-Tag, kommt die Seite nicht in Evis Wissen. Bei nofollow folgt vennbot den Links der Seite nicht, Links mit rel="nofollow" lässt er immer aus.

Sitemaps

Um Seiten zu finden, liest vennbot die Sitemaps aus deiner robots.txt sowie /sitemap.xml und /sitemap_index.xml, auch gepackt als .gz.

Bedingte Abrufe

Schickt dein Server einen ETag- oder Last-Modified-Header, fragt vennbot die Seite beim nächsten Mal bedingt ab. Ist sie unverändert, genügt eine Antwort mit 304.

Zeitplan

Standard ist ein Durchlauf pro Woche. Das venn-Team kann je Website auch täglich, monatlich oder nur manuell einstellen.

Opt-out

vennbot aussperren

Deine robots.txt entscheidet, was vennbot abrufen darf.

Ganze Website

vennbot liest dann nur noch deine robots.txt. Ausgenommen sind SAML-Metadaten, die ein Kunde von venn für Single Sign-on laden lässt.

User-agent: vennbot
Disallow: /

Nur einen Bereich

Gibt es eine Gruppe für vennbot, gelten die Regeln unter * für ihn nicht mehr. Wiederhole dort, was gesperrt bleiben soll.

User-agent: vennbot
Disallow: /intern/

Einzelne Seiten

Beim Crawlen einer Website im Kopf der Seite oder als Header der Antwort:

<meta name="vennbot" content="noindex">
X-Robots-Tag: vennbot: noindex

vennbot speichert deine robots.txt höchstens 24 Stunden zwischen, jede Anfrage danach folgt den neuen Regeln. Crawlt vennbot eine Website, nimmt er Seiten, die er schon abgerufen hat und die deine Regeln jetzt sperren, beim nächsten Durchlauf aus Evis Wissen. Für einzelne Seiten, Feeds und Sitemaps, die das venn-Team bei einer Technologie verfolgt, wirkt bisher nur die robots.txt, und schon Abgerufenes bleibt, bis wir es auf deine Anfrage entfernen.

Kontakt

Fragen oder Löschung

Du hast Fragen zu vennbot oder möchtest Inhalte entfernen lassen, die er schon abgerufen hat? Schreib uns und nenne die Domain, um die es geht.