Der Crawler von Suppsvergleich
Suppsvergleich vergleicht Nahrungsergänzungsmittel nach dem Preis pro Tagesdosis. Dafür liest ein Programm einmal täglich (gegen 4 Uhr, Europe/Berlin) die Preise und Etikettangaben der Shops, die wir auflisten: die Produktliste des Shops, einzelne Produktseiten und dort verlinkte Datenblätter und Laboranalysen. Es kauft nichts, legt keine Konten an und füllt keine Formulare aus.
So erkennst du ihn
User-Agent: suppsvergleich/0.2 (+https://suppsvergleich.de). Die Anfragen kommen von Cloudflare Workers. Sobald Cloudflare den Crawler bestätigt hat, sind sie zusätzlich mit Web Bot Auth signiert; die öffentlichen Schlüssel stehen unter https://suppsvergleich.de/.well-known/http-message-signatures-directory.
robots.txt
Vor dem ersten Abruf eines Shops liest er dessen robots.txt und hält sich daran: Regeln für User-agent: suppsvergleich, sonst die für *, und eine Crawl-delay-Angabe. Er stellt immer nur eine Anfrage zur Zeit an einen Shop. Ist die robots.txt nicht lesbar (z. B. 429 oder 5xx), ruft er nichts ab. Um ihn auszuschließen:
User-agent: suppsvergleich Disallow: /
In English
Suppsvergleich compares dietary supplements sold in Germany by their price per daily dose. Once a day (around 04:00 Europe/Berlin) our crawler reads the prices and label data of the shops we list: the shop's product list, individual product pages, and the data sheets and lab reports they link. It never buys, signs up or submits forms.
It identifies as suppsvergleich/0.2 (+https://suppsvergleich.de) and runs on Cloudflare Workers. Once verified by Cloudflare, its requests are also signed with Web Bot Auth; the key directory is https://suppsvergleich.de/.well-known/http-message-signatures-directory.
It reads each shop's robots.txt before fetching anything and follows the group for suppsvergleich (else *), including Crawl-delay, with one request at a time per shop. If robots.txt can't be read (429, 5xx), it fetches nothing. To opt out, add User-agent: suppsvergleich / Disallow: / to your robots.txt.