|
|
Know How
|
Informationen zu Bots, Spidern, Crawlern und Harvestern
Klassifizierung der Bots
Die Einstufung der Robots erfolgt in die folgenden Gruppen:
- Robot, Crawler, Spider
- Bei diesen Bots handelt es sich um normale Crawler von Suchmaschinen. Sie lesen die robots.txt und respektieren deren Einträge.
- fehlerhafter Bot
- Die fehlerhaften Crawler lesen entweder die robots.txt nicht oder ignorieren die Anweisungen in dieser Datei.
Dadurch kann der Webmaster den Zugriff nicht über die robots.txt steuern.
- Bad Bot
- Diese Bots möchte man nicht auf seinen Seiten haben.
Es handelt es um Angreifer die Schadcode (Exploits) testen, Forenspammer, Content Grabber und Adressensammler.
Leider sind nur die wenigsten dieser Zeitgenossen so freundlich, den User Agent nicht zu verschleiern.
- Linkchecker
- Mit Linkcheckern lässt sich die Konsistenz von Hyperlinks überprüfen.
- Browser
- Diese User Agents werden von Browsern gesendet.
- Downloader
- Mit Downloadern oder Download Managern lassen sich ganze Websites auf einen PC kopieren.
zur Startseite der User Agent Liste
|
|
|
Aktuelle Artikel
|
Offene Ports - was ist das eigentlich?
Grundlagen zu UDP- und TCP-Port, offenen Ports und der Nutzung von netstat unter Linux und Windows
Iperf als Service konfigurieren
Der Artikel beschreibt wie sich Iperf3 auf einem Linux-System als Dienst
einrichten lässt, um so einen permanenten Iperf-Server zu betreiben.
JPerf - grafische Oberfläche für iperf
Mit iperf kann die Übertragungsgeschwindigkeit von Netzwerken
gemessen werden.
JPerf ist eine grafische Oberfläche für iperf.
Der Artikel beschreibt die Messung mit TCP und UDP und gibt Anregungen
zur Fehlersuche bei Performanceproblemen.
Alle Artikel...
|
|
Neue Tutorials
|
Prometheus Node Exporter
Mit dem Prometheus Node Exporter lassen sich viele interessante Metriken von Linux-Servern auslesen.
Die so gewonnenen Daten können in Prometheus gespeichert werden und mit Grafana in Dashboards
anschaulich visualisiert werden.
VPN mit der FritzBox
Die Fritz!Box von AVM unterstützt den Aufbau von VPN-Verbindungen mit dem Protokoll IPsec.
AVM stellt dafür die Windows-Software FRITZ!Fernzugang zur Verfügung.
Das Tutorial beschreibt die Konfiguration eines VPNs mit der AVM FRITZ!Box Fon WLAN 7270.
Virtuelle Netze mit VMware Server
VMware Server bietet drei Arten der virtuellen Vernetzung für ein Gastsystem an: Bridged Networking, Network Address
Translation (NAT) und Host-only Networking. Das Tutorial beschreibt die Möglichkeiten der einzelnen Betriebsarten und
deren Konfiguration.
Alle Tutorials...
|
|
Neue Testberichte
|
Net Optics iBypass Switch
Der iBypass von Net Optics ist Bypass Switch zum unterbrechungsfreien Einschleifen eines Intrusion Prevention Systems.
ePowerSwitch-4
Der ePowerSwitch-4 ist eine Schuko-Steckdosenleiste mit Ethernet-Interface und integriertem Webserver.
Über einen Browser lassen sich die vier Schuko-Steckdosen über das Netzwerk schalten.
Alle Testberichte...
|
|
|