Netzwerk dateiübertragung
geschrieben am 15.07.2007 um 12:26 von falco2930
Ich habe ein Dickes problem, ich bekomme meine Netzwerkauslastung bai dateintransvers nicht höher als 2% und wenn ich dann noch as aus dem internet downloade sinkt das auch noch auf 1% herab.
Gestetet mit USB sticks USB festplatten, der Systemplatte selbst egal was ich mache 2%.
Früher ging das mal je nach auslastung bis 25% vom Gbit lan. Aber jetzt plötzlich nicht mehr.
Netio macht wie erwartet seine fast volle bandbreite. 70% geht damit.
Ist bei mir irgendein netzwerk dienst Defekt oder so? Denn es hatte ja mal funktioniert.
Etwas über die hardware:
Server AMD X2 3800+
clients:
AMD Athlon643500+
P4 3ghz HT
AMD Duron 1600mhz
AMD Athlon 1200mhz
Ich setzte die testreihe mal unter den Clients durch ob da auch nur 2% kommen.
.... Ich bekomm ne kriese, seit zwei wochen eiere ich hier mit 2% rum und kaum fahre ich alle PCs hoch und teste es dort, bekomm ich wieder meine gewohnte performance, das problem mit den 2% hat sich soeben zeitweise in luft aufgelöst....
Hat mein Digitus 8Port Gigabit switch ne make?
Ich habe den 3h am Tag ausgeschalten zum abkühlen, ich habe ich an den Füßen 2cm Hochgestellt damit ich ihn unterlüfte.
eins kann ich noch feststellen, ich habe gelegentlich einbrüche von 20% auf 2% beim transver.
Es sind fast überall 2 Sata platten im raid0 verbund mit ner fast leeren gut Defragmentierte Datenpartition verbaut.
Der server schaft eine verbindung mit 25% auszulasten
aber wenn ich it nem 2. client eine 2. verbindung über eine im server seperat verbaute festplatte herstelle sinkt die auslastung auf insgesammt konstante 4% (2 x 2%).
CPU last bei server:
leerlauf 1-5% CPU
eine verbindung k1:20% k2:20%, 250mbit (client 100%)
2 verbindungen geschätze k1:25% k2:70% (50% sagt Taskmanager) 40mbit (clients 10-20%)
obwohl ich zich datenträger verwende und jeden nur einmal ansteuere schaff ich bei mehreren verbindungn lange nicht das was er eigentlich sollte.
Wo liegt das Problem?
geschrieben am 17.07.2007 um 08:19 von layer8
Nimm dir deinen Server und einen deiner Clients
Erzeuge eine 1GB große Datei
Erzeuge 1000 8kb Dateien
Kopiere die Dateien vom Client auf den Server mittels COPY (aus der Eingabekonsole NICHT mit dem Explorer) auf den Server
Und hole die Dateien dann auch vom Server
Messe dabei die Zeiten.
geschrieben am 17.07.2007 um 12:20 von falco2930
Von belibigen Client to server:
Systemplatte (+extra leere partition):
1GB ca. 40Mbit hohe CPU last (60%; 90%) Interwallmäßig 100mbit sonst zwischen 20Mbit und 40Mbit
1000 8kb daten ca. 6Mbit CPU last (2x20%)
USB:
1GB ca 200Mbit und wie schon gesagt eine sehr geringe CPU last (2x40%)
1000 dateien ca. 7Mbit auch nur (2x20%) last
Aber auf der systemplatte ist es irgendwie mit sehr hoher belastung
40mbit bei 1GB und 90% last, aber nicht immer.
Es scheint so als hätte die X2 CPU ein ernsthaftest problem mit der verwaltung des der eingehenden daten und der benutzung der system Daten auf der selben festplatte. Liegt das am Sata Kontroler? Ist onboard. Ohne Netzwerktransver ist die Performenc der Festplatte gut und die CPU last gering.
Sata Kontroler und Glan sind onboard, ist das zu viel für den Chipsatz?
Der eine Client hat die selbe hardware mit ner schwachen CPU verbaut und bekommt das locker auf die reihe.
Warum habe ich mit dem X2 3800+ so eine Hohe CPU last bei kopiervorgang auf systemplatte? Mein 3500+ Client hat die selben chipsätze, Via K8T890 und nen VT8237. Einzigster unterschied, der Client hat ein Raid system. Betriebsystem ebendfalls auf den Festplatten genutz aber dennnoch viel geringere CPU last.
Bei Kopiervorgang über netz auf USB Platte maximale Performance (200Mbit) und geringe last bei X2 3800+ 2x 40% und der 3500+ hat 80%.
Die Clients mit Raid0 array schaffen unterenander unter zusatzbelastung (auf dem Raid0 Array ist das Betriebsystem Platziert) 250-300Mbit und 100% auslastung beim schwächeren partner
Ich hätte ne Ausweichlösung, Eine Separate Datenplatte für den Server. Aber ich habe die Befürschtung das diese die Selben probleme haben wird. Da mein 3500+ client fast identisch aufgebaut ist und keine probleme hat.
An den Sata Platten liegt es nicht ich habe fast Überall samsung 160GB eingebaut (insgesammt 5mal) also überall gleiche bedingungen.
Falls keiner einen rat weis hätte ich eine Unbewiesene Begründung. eventuel lässt sich auf einem Raid0 Array gleichzeitig lesen uns schreiben effektiver umsetzten.
Der server ist leider der einzigste mit ner Single Platte daher kann ich es leider nicht überprüfen. (an dem hängen ein Paar USB platten daher wollte ich die 50€ extra für ein Raid system Sparen).
Es hängen noch ein paar schwächere Clients mit ner single platte drann diese sind aber meist sehr voll, schwach und total fragmentiert. Daher kann ich auf diesen systemen keinen Ernstzunehmenen Test durchführen.
geschrieben am 17.07.2007 um 20:17 von falco2930
NNEEIINNN!!!!
ich habe aus einem ähnlichen Thema im Forum eine Problemlösung umgesetzt.
"TcpWindowSize"=dword:00020148
"Tcp1323Opts"=dword:00000003
"ForwardBufferMemory"=dword:00013880
"NumForwardPackets"=dword:0000ea60
diese habe ich eingetragen um die clients unternander zu optimieren, und danach...das selbe wie beim server...
4% (40Mbit) und interwallartige erhöhung auf 200Mbit cpu last 15% interwallartig 60%
selbst nach entfernung der einträge und verzweifelten neustarts ist es jetzt nun auch unter den Clients. Wie bekomm ich diese performencebremse heraus? Ich weis nicht mehr weiter.
Ich könnte alle systeme neu machen und eine sicherung erstellen die ich dann aller 3 tage wieder herstelle aber das ist ja wohl nicht sinn und zweck der sache.
geschrieben am 18.07.2007 um 07:46 von layer8
Wie waren denn die ZEITEN beim kopieren über die "DOS-Box" von den Dateien (zum Server und vom Server)?
Welcher Prozess lastet denn deine CPU aus?
NetIO: Welche Protokolle mit welchem Dursatz hast du getestet?
geschrieben am 18.07.2007 um 10:24 von falco2930
Die 1000 datein lass ich erstmal weg, das dauert alles
Client 3500+ to server X2 3800+:
Netio
der 3500+ läuft mit 100%
TCP connection established.
Packet size 1k bytes: 12074 KByte/s Tx, 15369 KByte/s Rx.
Packet size 2k bytes: 20235 KByte/s Tx, 25562 KByte/s Rx.
Packet size 4k bytes: 34724 KByte/s Tx, 42851 KByte/s Rx.
Packet size 8k bytes: 49829 KByte/s Tx, 60136 KByte/s Rx.
Packet size 16k bytes: 62704 KByte/s Tx, 60941 KByte/s Rx.
Packet size 32k bytes: 74813 KByte/s Tx, 62200 KByte/s Rx.
Packet size 64k bytes: 80181 KByte/s Tx, 66978 KByte/s Rx.
Done.
UDP connection established.
Packet size 1k bytes: 3355 KByte/s (70%) Tx, 3363 KByte/s (0%) Rx.
Packet size 2k bytes: 1706 Byte/s (99%) Tx, 0 Byte/s (100%) Rx.
Packet size 4k bytes: 0 Byte/s (100%) Tx, 0 Byte/s (100%) Rx.
Packet size 8k bytes: 0 Byte/s (100%) Tx, 0 Byte/s (100%) Rx.
Packet size 16k bytes: 0 Byte/s (100%) Tx, 0 Byte/s (100%) Rx.
Packet size 32k bytes: 0 Byte/s (100%) Tx, 0 Byte/s (100%) Rx.
Done.
Was ist mit dem UDP los? ist das normal?
Raid0 (ink system) nach USB Platte (ohne betriebsystem belastet)
1GB datei
1.versuch zeit: 2:07
3500+: CPU last schwank stark zwischen 4 und 90% cmd.exe nur 10-30% luaproxy und sowas hatte noch procente es wahren 3 oder 4 stück konnte sie nicht auslesen da alles geschwankt hatte daher hatte ich den test wiederholt
X2: verggessen auszulesen
2.Versuch zeit: 1:09
3500+: CPU 55-60% und NUR cmd.exe! 50-55% die anderen processe wahren nicht aufzufinden
X2: system 20-30% smc.exe 10%
3.versuch wie 2.
Raid0 (ink system) nach Sata (systemlaufwerk)
1GB datei
Muss ich später machen, die festplatte ist fast vollgelaufen da ich mich in leitzer zeit nicht mit den eingehenden daten beschäftigt habe.
Die müsste jetzt derart fragmentiert sein das keine vernünftigen ergebnise mehr zustande kommen.
eh hallo, gehts noch? 4mb/s max auf der serverplatte ich glaub da muss ich mal aufräumen ^^
vorsichtshalber habe ich mein raid0 system nochmal gecheckt, da dies auch relativ voll ist, sieht noch gut aus 150mb/s durchschnitt das reicht um ein GBit/s zu schaffen. Dann wollen wir nochmal einen test zu einem vergleichbaren Raid system machen.
Client 3500+ to client P4 3ghz HT:
Netio
der P4 HT benutz nur einen Kern :(
TCP connection established.
Packet size 1k bytes: 12601 KByte/s Tx, 32590 KByte/s Rx.
Packet size 2k bytes: 21170 KByte/s Tx, 40588 KByte/s Rx.
Packet size 4k bytes: 34353 KByte/s Tx, 59913 KByte/s Rx.
Packet size 8k bytes: 49421 KByte/s Tx, 62625 KByte/s Rx.
Packet size 16k bytes: 53229 KByte/s Tx, 64189 KByte/s Rx.
Packet size 32k bytes: 55654 KByte/s Tx, 69454 KByte/s Rx.
Packet size 64k bytes: 80744 KByte/s Tx, 67586 KByte/s Rx.
Done.
UDP connection established.
Packet size 1k bytes: 10532 KByte/s (11%) Tx, 28275 Byte/s (99%) Rx.
Packet size 2k bytes: 8947 KByte/s (0%) Tx, 9970 KByte/s (0%) Rx.
Packet size 4k bytes: 17595 KByte/s (0%) Tx, 19923 KByte/s (0%) Rx.
Packet size 8k bytes: 28032 KByte/s (0%) Tx, 39501 KByte/s (0%) Rx.
Packet size 16k bytes: 46407 KByte/s (0%) Tx, 39768 KByte/s (0%) Rx.
Packet size 32k bytes: 76892 KByte/s (0%) Tx, 51999 KByte/s (0%) Rx.
Done.
Raid0 (ink system) nach Raid0 (ink system)
1GB datei
Zeit: 0:53
3500+: CPU 50-60% cmd.exe 50% und noch ein bisl system
P4: nur ein kern verwendet aber auch nur ca. 20-30% auslastung (weis nicht was, da ich die processe des nicht werwendeten kerns gesehen habe)
also für jewals 150MB/s sind 53s sehr mager.
so reicht erstmal, sag mit bitte wenn du noch mehr tests benötigst um ein urteil zu bilden.
Am ausschlaggebensten ist wahrscheinlich dieser ausreißer bei begin der tests, schade das ich nicht besser bei den Processen aufgepasst habe das hätte bestimt ein ansatz zur problemlösung gegeben.
Die interwallmässige Höchstleistung von 15% Ntzauslastung wahr heute nicht dabei, alles relativ ausgeglichen bzw. der eine sehr schwankend.
geschrieben am 18.07.2007 um 17:26 von layer8
Sorry, nur auf die Schnelle:
Warum ist der Durchsatz bei großen Blöcken fast 8* größer als bei kleinen? Keine Ahnung!
Versuch mal nur 1K Blöcke zu übertragen und dann 32 K.
Wie hoch ist jeweils die CPU Auslastung? (RX/TX unterscheiden!)
1GB Daten / min = 16MB/s = immerhin schneller als Fast Ethernet :-)
Das würde heißen, dass er etwa so schnell ist wie 2K TCP-Blöcke oder, dass dein Plattensystem der Flaschenhals ist.
Die Lesegeschwindigkeit kannst du mit "copy 1GBFILE > nul' messen.
Für die Schreibgeschwindigkeit brauchst du wohl ein Messtool.
geschrieben am 18.07.2007 um 20:03 von falco2930
Ich nutze überall XP und die CPU last ist bei Netlimiter maximum.
aber bei Kopiervorgängen leider nicht, es würde mir schon sehr helfen wenn der kopiervorgang alle resorcen nutz die es gibt.
aber was mit dem UDP ist rätselhaft
nagut beschränken wir uns doch mal auf diese extremen Performencverluste, die manschmal eintreten und letztendlich dafür sorgen das ich für nen dateitransver ne stunde brauch...
Ich bin doch wohl nicht der einzigste mit Glan oder doch? An der beständigheit der betriebsysteme kann es ja kaum noch liegen, da ich die schon Xmal neu gemacht habe.
Was gibt es denn für möglichkeiten sein netzwerk zu optimieren?
geschrieben am 19.07.2007 um 13:45 von layer8
Dann mal anders herum:
Ich gehe davon aus, dass deine Rechner an einem Switch hängen und jeweils nur eine Netzwerkkarte haben.
Wie ist das Internet angebunden? Internet-Router im selben Switch?
Bitte kontrolliere an allen Rechnern:
- die Plattengeschwindigkeit auf allen Rechner lesend / schreibend ausreichend hoch ist (ggf. mit HDBENCH testen; den hier ermittelten kleinsten Wert wirst du nicht übersteigen können)
- dass alle GBIT Karten TCP Offload und TCP Checksum Offload haben und, dass es eingeschaltet ist
- Jumbo Frames deaktivert sind (oder Payload 1500)
- Du keine Registryänderungen an der MTU vorgenommen hast
- TcpWindowSize auf allen Rechnern gleich sind (tcp/parameters); gerne "TcpWindowSize"=dword:00020148
- sofernt TcpWindowSize auch unter tcp/parameters/interfaces/<guid>/stehen, diese dort auch gleich sind
- findest du GlobalMaxTcpWindowSize unter tcp/parameters?
- Wenn Tcp1323Opts=3 ist, dann dürfete die Windowsize sowieso dynamisch erzeugt werden
- auf allen Rechnern bei der jeweiligen Netzwerkkarte unter tcp/parameters/interfaces/<guid>/stehen TCPACKFREQUENCY=dword:1 (siehe
http://support.microsoft.com/kb/328890/EN-US)
- die Signierung deaktivert ist (http://support.microsoft.com/kb/321169/EN-US)
Solltest du aber einen XP als Router im Netz haben, dann kommen noch andere Dinge ist Spiel.
Was UDP angeht, so kommen deine Performanceprobleme nicht davon. Allerdings bieten manche gbit Karten auch individuelle UDP Parameter. Spiel mal
ggf. damit rum
Wenn die Probleme nicht behoben sind, dann starte den Server und einen Client, nachdem du mit MSCONFIG.EXE alle nicht MS Dienste deaktivert hast
und prüfe die Performance nochmals.
Noch was:
Wenn ich mir das hier ansehe, dann scheint der 3500+ beim Senden konstant zu sein, der Empfang hängt scheinbar von der Möglichkeit der Gegenstelle ab:
Client 3500+ to server X2 3800+:
TCP connection established.
Packet size 1k bytes: 12074 KByte/s Tx, 15369 KByte/s Rx.
Packet size 2k bytes: 20235 KByte/s Tx, 25562 KByte/s Rx.
Client 3500+ to client P4 3ghz HT:
TCP connection established.
Packet size 1k bytes: 12601 KByte/s Tx, 32590 KByte/s Rx.
Packet size 2k bytes: 21170 KByte/s Tx, 40588 KByte/s Rx.
geschrieben am 19.07.2007 um 21:59 von falco2930
Super, Danke für die ganzen tipps, werd gleich mal alles durchgehen.
Das hier ist jetzt das einzigste Forum wo mir so viele Problemlösungen angeboten werden, Spitze!
In anderen Netzwerkforen sagen die alle ich solle die qualität der Netzwerkkabel und so angeben und das das sowieso nicht mit onboardnetzwerkkarten und so geht. Ich glauch die weichen mit den Fragen nur vom Problem aus weil die wahrscheinlich garkeine ahnung haben ^^
Selbst mit den ergebnissen von Netio haben die mir immer noch gesagt das meine Kabellei nciht für die geschwindigkeiten fähig ist ^^
Also die Festplattengeschwindigkeiten ahbe ich alle getestet.
3500+ 150mb/s mit Raid0 (2x160GB samsung)
P4 3Ghz HT 128mb/s mit Raid0 (2x160GB Samsung)
X2 3800+ 33mb/s mit USB platte, die systemplatte habe ich von den tests ausgeschlossen die kommt dummerweise nur noch auf 3mb/s (ist ne 160gb samsung die etwas zugemüllt ist da ich in den letzten 2 wochen keine eingehnden daten mehr bearbeitet habe ^^)
So zur Netzwerkarchitektur ne Fritzbox 2030 ist als Router fürs internet zuständig und führt einen Festen Domainnamen für den Server.
An der fritzbox hängt ein D-link 8 Port Gigabitswitch, den ich mit ner 80mm aktivkühlung aufgepimpt habe da er in den letzten "Hochsommertagen" Sehr heiß geworden ist. Ich will ja nicht das der mir abraucht, den gabs ja schließlich nicht kostenlos.
Alle PCs haben eine Onboardnetzwerkkarte.
ein Client hat noch ne Gigabit PCI netzwerkkarte verbaut aber mit dem mach ich keine tests der ist zu schwach um gescheite ergebnise zu liefern.
Und noch ein weiterer client ist ähnlich dünn bemessen und hat ne 100mbit karte
Das mit den Gigabitnetzwerkkarteneinstellungen schau ich mir morgen an. Genau so wie die anderen kleinen veränderungen.
Trotzdem Vieln dank für deine Arbeit. Mit so einer Tatkräftigen unterstützung kann das ja nur funktionieren ^^
Update:
Wo sollte das TCP Offload und TCP Checksum Offload zu finden sein? Ich hatte es in den Erweiterten Einstellungen der netzwerkkarte vermutet, es aber nciht in der liste gefunden. Jumbo Frames war auch nciht da drinn zu finden daher frage ich besse nochmal wo das stehen sollte.
Die MTU ist bis jetzt unangetastet.
Und kein Einziger deiner genannten einträge ist aufzufinden, soll ich diese hinzufügen? Wenn ja, in welchen schlüssel soll ich dann die Werte setzten die du so angegeben hast "tcp/parameters/interfaces/<guid>". Ich habe 6 schlüssel da drinn stehen.
Ich schau mal beim leistungsschwachen PC mit der Neuen D-link Gigabitkarte nach was da alles zu finden ist.
Ich habe jetzt nachgesehen und bei Win2000 und der Dlinknetzwerkkarte sind dort all diese eiunstellungen vorhanden auch diese Duplexfunktion kann man steuern. Aber auch XP ohne die Dlink karte sind viel mehr einstellungen zu finden und zudem noch ganz andere
Empfangs und sende Puffer
IRQ pro Sek
Framegröße
Wake-Up
und noch viele mehr und bei dem alten rechner mit Win 2000 ist z.b. kein Wake-Up zu finden obwohl die Neue Dlink Karte eine Wake Up funktion hat und diese ist nur in der eigenen Software zu finden.
Liegt das jetzt an den onboard über PCI Express angebundenen Marvell Yukon netzwerkkarten oder am betriebsystem, da ich keinerle geminsame einstellungsmöglichkeiten finden konnte...
Ich habe für die Onboardnetzwerkkarte den Treiber 7.14.1.3 instaliert, sollte ich einen Neuen Instalierren? den 10.15.9.3? Oder gleich auch die Windows Diagnostic Utility?
http://www.marvell.com/drivers/driverSearchResults.do
so ich warte auf anweisungen...
geschrieben am 24.07.2007 um 09:00 von layer8
In den von mir genannten KB Artikeln sind die Registryschlüssel beschrieben.
Wenn du bei den erweiterten Netzwerkeinstellungen kein TCP Offload (o.ä) hast, dann wird der TCP Stack zu Lasten der CPU abgearbeitet. Hochwertigere Netzwerkkarten haben eine sog. TCP Offload Engine, mit der ein Großteil der Arbeit autonom auf der Netzwerkkarte erfolgt.
Jumboframes findest du u.U. auch bei "Framegröße". Alle Karten sollten *erstmal* auf 1500 stehen.
Ich kann jetzt nur vermuten, dass deine Ergebnisse so zu erklären sind, dass bei kleinen Paketen der Rechenaufwand sehr groß ist und daher der niedrige Durchsatz. CIFS/SMB (das Protokoll für die Dateiübertragung) setzt auf TCP auf. Ich würde jetzt vermuten, dass bei einer 1GB großen Datei möglichst große Pakete an TCP übergegen werden, daher passt meiner Ansicht nach die Beobachtung mit der geringen Performance beim Kopieren nicht zum restlichen Bild.
Außer, es sind zwei "Fehler":
a) geringer Durchsatz bei TCP mit kleinen Paketgrößen
b) geringer Durchsatz bei SMB wegen sonstiger SMB Probleme (siehe beide KB-Artikel)
Aber das sind nur Vermutungen!
Wenn die sonstigen Maßnahmen nicht helfen, dann:
Hast du die Möglichkeit eine zwei externe GBIT Lanadapter (PCI-X!) mit TCP Offload Enginge (zumindest testweise) in deinen Server und einen der CLients einzubauen.
Den Versuch, mit MSCONFIG hast du anscheinend nicht unternommen. Ich würde es tun.
geschrieben am 26.07.2007 um 17:33 von falco2930
PCI-X? das hat doch keiner... ich zumindestens in keinen meiner PCs. Meinst du vielleicht PCI-Express?
Dennoch müste es an der Software liegen, da ist irgendwas. Denn CPU lasten sind bei 20% wenn windows was übers netz Kopiert.
Ich bin erstmal ne Woche im Urlaub, evetnuel findet sich ne möglichkeit.
[ Dieses Thema im Live-Forum aufrufen ]
|
