Know How

Informationen zu Bots, Spidern, Crawlern und Harvestern

robots.txt

Über die Datei robots.txt können die Zugriffe von Crawlern auf eine Website gesteuert werden. Der Aufbau der robots.txt ist im Robots Exclusion Standard beschrieben.

# robots.txt 
# alle Zugriffe von Bots verbieten
User-agent: *
Disallow: /

# robots.txt
# alle Zugriffe von Bots erlauben
User-agent: *
Disallow:

# robots.txt
# allen Bots den Zugriff auf /forum verbieten
User-agent: *
Disallow: /forum

# robots.txt
# dem GoogleBotden Zugriffe auf /blog verbieten
User-agent: googlebot
Disallow: /blog

Über die Anweisung User-Agent: können einzelne Robots angesprochen werden. Der * steht für alle Robots. Im Wikipedia Artikel zur robots.txt finden Sie weitere Details.

Leider halten sich nur freundliche Bots auch an die robots.txt. Fehlerhafte oder böswillige Crawler lesen die robots.txt nicht oder ignorieren deren Inhalt.

zur Startseite der User Agent Liste

Aktuelle Artikel

Offene Ports - was ist das eigentlich?
Grundlagen zu UDP- und TCP-Port, offenen Ports und der Nutzung von netstat unter Linux und Windows

Iperf als Service konfigurieren
Der Artikel beschreibt wie sich Iperf3 auf einem Linux-System als Dienst einrichten lässt, um so einen permanenten Iperf-Server zu betreiben.

JPerf - grafische Oberfläche für iperf
Mit iperf kann die Übertragungsgeschwindigkeit von Netzwerken gemessen werden. JPerf ist eine grafische Oberfläche für iperf. Der Artikel beschreibt die Messung mit TCP und UDP und gibt Anregungen zur Fehlersuche bei Performanceproblemen.

Alle Artikel...

Neue Tutorials

Prometheus Node Exporter
Mit dem Prometheus Node Exporter lassen sich viele interessante Metriken von Linux-Servern auslesen. Die so gewonnenen Daten können in Prometheus gespeichert werden und mit Grafana in Dashboards anschaulich visualisiert werden.

VPN mit der FritzBox
Die Fritz!Box von AVM unterstützt den Aufbau von VPN-Verbindungen mit dem Protokoll IPsec. AVM stellt dafür die Windows-Software FRITZ!Fernzugang zur Verfügung. Das Tutorial beschreibt die Konfiguration eines VPNs mit der AVM FRITZ!Box Fon WLAN 7270.

Virtuelle Netze mit VMware Server
VMware Server bietet drei Arten der virtuellen Vernetzung für ein Gastsystem an: Bridged Networking, Network Address Translation (NAT) und Host-only Networking. Das Tutorial beschreibt die Möglichkeiten der einzelnen Betriebsarten und deren Konfiguration.

Alle Tutorials...

Neue Testberichte

Net Optics iBypass Switch
Der iBypass von Net Optics ist Bypass Switch zum unterbrechungsfreien Einschleifen eines Intrusion Prevention Systems.

ePowerSwitch-4
Der ePowerSwitch-4 ist eine Schuko-Steckdosenleiste mit Ethernet-Interface und integriertem Webserver. Über einen Browser lassen sich die vier Schuko-Steckdosen über das Netzwerk schalten.

Alle Testberichte...