Nicht jeder Besucher ist ein Mensch

Ein erheblicher Teil des Verkehrs im Netz stammt von automatischen Programmen — Bots. Manche sind nützlich, etwa die Crawler von Suchmaschinen. Andere durchsuchen Seiten nach Schwachstellen, kratzen Inhalte ab oder erzeugen schlicht so viel Last, dass echte Besucher ausgebremst werden.

Wie man schädliche Bots erkennt

Ein einzelner Aufruf verrät wenig. Das Muster verrät alles:

  • Hunderte oder tausende Aufrufe in kürzester Zeit von derselben Quelle
  • Anfragen, die einen Browser vortäuschen, sich aber nicht wie einer verhalten
  • Zugriff auf Pfade, die ein normaler Besucher nie ansteuert
  • Sitzungen, die im Sekundentakt entstehen und nie wiederkommen
In einem Fall haben verteilte Bots in kurzer Zeit Millionen leerer Sitzungen erzeugt und damit den Sitzungsspeicher mit Gigabyte an Müll geflutet — bis die Seite spürbar einbrach. Sichtbar wurde das erst, als man die Last nach Muster statt nach Einzelaufruf betrachtete.

Warum simple Sperren nicht reichen

Eine einzelne Adresse zu blockieren, bringt wenig, wenn der nächste Bot aus einem anderen Netz kommt. Wirksamer Schutz arbeitet mit Mustern und Schwellen: Wer sich auffällig verhält, wird gebremst oder ausgesperrt — automatisch und mit Augenmaß, damit echte Besucher und Suchmaschinen-Crawler ungehindert durchkommen.

Was wir in der Praxis aufsetzen

  • Verkehr nach Verhalten statt nach Einzeladresse bewerten
  • Auffällige Quellen automatisch und befristet aussperren, mit zentraler Sperrliste
  • Echte Crawler gezielt durchlassen, damit die Sichtbarkeit nicht leidet
  • Last und Sperren sichtbar machen, statt im Blindflug zu blocken

Bot-Schutz ist kein einmaliger Wall, sondern ein laufender Abgleich. Richtig gemacht, merken ihn nur die, die er aussperren soll.