Netzwerkanalyse, Fehlersuche, Testberichte
Home / News
Netzwerkanalyse
Grundlagen
Verkabelung
Erste Schritte
Baselining
Let's sniff
Tools
Auswerten/Filtern
Typische Probleme 1
Typische Probleme 2
Sicherheit
Bücher
Tutorials
Cacti
DSL einrichten
DynDNS einrichten
m0n0wall | pfSense
Nmap
VirtualBox
Wireshark
Forum
Shop
FAQ
Know How
Testberichte
Hardware-DB
Events
Netzwerklexikon
Links / Service
Suche
Kontakt
Impressum
Feedback
Sitemap
Partner
Unser Partner für
SSL Zertifikate
ist Checkdomain GmbH.
Know How

Informationen zu Bots, Spidern, Crawlern und Harvestern

Klassifizierung der Bots

Die Einstufung der Robots erfolgt in die folgenden Gruppen:

Robot, Crawler, Spider
Bei diesen Bots handelt es sich um normale Crawler von Suchmaschinen. Sie lesen die robots.txt und respektieren deren Einträge.
 
fehlerhafter Bot
Die fehlerhaften Crawler lesen entweder die robots.txt nicht oder ignorieren die Anweisungen in dieser Datei. Dadurch kann der Webmaster den Zugriff nicht über die robots.txt steuern.
 
Bad Bot
Diese Bots möchte man nicht auf seinen Seiten haben. Es handelt es um Angreifer die Schadcode (Exploits) testen, Forenspammer, Content Grabber und Adressensammler. Leider sind nur die wenigsten dieser Zeitgenossen so freundlich, den User Agent nicht zu verschleiern.
 
Linkchecker
Mit Linkcheckern lässt sich die Konsistenz von Hyperlinks überprüfen.
 
Browser
Diese User Agents werden von Browsern gesendet.
 
Downloader
Mit Downloadern oder Download Managern lassen sich ganze Websites auf einen PC kopieren.
 

zur Startseite der User Agent Liste

Aktuelle Meldungen

Netgear präsentiert ProSAFE 28-Port 10-Gigabit Smart Managed Switches XS728T

Netgear bringt Speicherlösung für Großunternehmen

SFP-Transceiver für explosionsgefährdete Umgebungen

Neue Generation nicht-managebarer Switche von SMC Networks

Universeller IPsec VPN Client für Android

Diskussionen im Forum

Verständnisfrage: Kommunikation Router-PC

Zwei logisch getrennte Netz an einem Router erstellen

Sitecom Router als Accesspoint konfigurieren

Buchempfehlung

Wireshark - keine ausgehenden Pakete

Aktuelle Artikel
JPerf - grafische Oberfläche für iperf
Mit iperf kann die Übertragungsgeschwindigkeit von Netzwerken gemessen werden. JPerf ist eine grafische Oberfläche für iperf. Der Artikel beschreibt die Messung mit TCP und UDP und gibt Anregungen zur Fehlersuche bei Performanceproblemen.

Fehlersuche im VPN
Der Artikel liefert dem Admin einige Anregungen zur Fehlersuche in IPsev-VPN-Installationen. Was ist beim Aufbau von VPN-Tunneln zu beachten, was sind typische Fehler.

Alle Artikel...
Neue Tutorials
VPN mit der FritzBox
Die Fritz!Box von AVM unterstützt den Aufbau von VPN-Verbindungen mit dem Protokoll IPsec. AVM stellt dafür die Windows-Software FRITZ!Fernzugang zur Verfügung. Das Tutorial beschreibt die Konfiguration eines VPNs mit der AVM FRITZ!Box Fon WLAN 7270.

Virtuelle Netze mit VMware Server
VMware Server bietet drei Arten der virtuellen Vernetzung für ein Gastsystem an: Bridged Networking, Network Address Translation (NAT) und Host-only Networking. Das Tutorial beschreibt die Möglichkeiten der einzelnen Betriebsarten und deren Konfiguration.

Outlook einrichten
Sie möchten Ihre E-Mails von Web.de, GMX oder T-Online mit Outlook abrufen? Das Tutorial beschreibt die Einrichtung eines IMAP-Kontos mit Outlook 2007 an einem Beispiel.

Alle Tutorials...
Neue Testberichte
Net Optics iBypass Switch
Der iBypass von Net Optics ist Bypass Switch zum unterbrechungsfreien Einschleifen eines Intrusion Prevention Systems.

ePowerSwitch-4
Der ePowerSwitch-4 ist eine Schuko-Steckdosenleiste mit Ethernet-Interface und integriertem Webserver. Über einen Browser lassen sich die vier Schuko-Steckdosen über das Netzwerk schalten.

Alle Testberichte...

 

 
© 2004-2015, network lab - we make your net work - Netzwerkforum
aktualisiert am 22.03.2012