Θέμα: Flow control: προσοχή στην αγορά switch και καρτών δικτύου

[alkisg]

Δοκίμασα το mii-tool με κάρτα Realtek r8169 10ec:8168 + switch TP-Link TL-SG1016D, αλλά και με κάρτα Atheros atl1c 1969:1063 + switch D-Link DGS-1008D και πήγαν όλα καλά, οπότε σε κάποια στιγμή θα έρθει update στα sch-scripts που να λύνει το πρόβλημα το flow control και σε αυτά!

Κώδικας: Bash

1. # Προβολή της υπάρχουσας κατάστασης:
2. $ sudo mii-tool -v eth0
3. eth0: negotiated 1000baseT-FD flow-control, link ok
4.   product info: vendor 00:07:32, model 17 rev 4
5.   basic mode:   autonegotiation enabled
6.   basic status: autonegotiation complete, link ok
7.   capabilities: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
8.   advertising:  1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control
9.   link partner: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control
10.  
11. # Μη διαφήμιση του flow-control:
12. $ sudo mii-tool eth0 -A 1000baseT-HD,1000baseT-FD,100baseTx-FD,100baseTx-HD,10baseT-FD,10baseT-HD
13. restarting autonegotiation...
14.  
15. # Προβολή του αποτελέσματος:
16. $ sudo mii-tool -v eth0
17. eth0: negotiated 1000baseT-FD flow-control, link ok
18.   product info: vendor 00:07:32, model 17 rev 4
19.   basic mode:   autonegotiation enabled
20.   basic status: autonegotiation complete, link ok
21.   capabilities: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
22.   advertising:  1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
23.   link partner: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control

Εν τέλει δηλαδή στη γραμμή "advertising" θα λείπει το "flow-control", και στη μέτρηση ταχύτητας δικτύου μέσω Επόπτη θα πρέπει να βλέπουμε πολύ καλύτερες ταχύτητες.

[alkisg]

Ανέβασα καινούργια έκδοση sch-scripts στο αποθετήριο, και φαίνεται ότι πλέον το πρόβλημα λύθηκε για όλες τις κάρτες και τα switch που βρήκα να δοκιμάσω, οπότε εκτός απροόπτου, το παρόν θέμα θεωρείται ότι έχει λήξει!

Με switch TP-LINK TL-SL1117 και κάρτα server gigabit Realtek rtl8169 RTL8111 [10ec:8168] και 10 clients Realtek 100mbps rtl8169  RTL8101E [10ec:8136], η συνολική ταχύτητα ανέβηκε από τα 767,5 Mbps (που ήταν ήδη πολύ καλά, θα μπορούσε να βγαίνει και μόνο 100,0) στα 917,5.

Με switch Cisco SG102-24 και κάρτα server gigabit Realtek rtl8169 RTL8111 [10ec:8168] και 10 clients Realtek 100mbps rtl8169  RTL8101E [10ec:8136], η συνολική ταχύτητα ανέβηκε από τα 220 Mbps στα 912.

[richard]

Τώρα από το σχολείο που έχει Ubuntu 12.04.5 από ΣΕΠΕΗΥ

16 fat clients με 10/100 κάρτες δικτύου

switch TP-Link TL-SL1117

eth0 στο server

02:00.0 Ethernet controller: Qualcomm Atheros AR8131 Gigabit Ethernet (rev c0)
   Subsystem: Gigabyte Technology Co., Ltd GA-G31M-ES2L Motherboard
   Flags: bus master, fast devsel, latency 0, IRQ 44
   Memory at fdec0000 (64-bit, non-prefetchable) [size=256K]
   I/O ports at bf00 [size=128]
   Capabilities: <access denied>
   Kernel driver in use: atl1c
   Kernel modules: atl1c

Μέχρι χτες έκανε update και δημοσίευση εικονικός δίσκος.

daskalos@server:~$ ubuntu-support-status
Περίληψη της κατάστασης υποστήριξης του 'server':

Έχετε 11 πακέτα (0.7%) που υποστηρίζονται μέχρι Οκτώβριος 2013 (18m)
Έχετε 1437 πακέτα (89.4%) που υποστηρίζονται μέχρι Απρίλιος 2017 (5y)
Έχετε 3 πακέτα (0.2%) που υποστηρίζονται μέχρι Απρίλιος 2017 (18m)

Έχετε 0 πακέτα (0.0%) που δε μπορούν πια να ληφθούν
Έχετε 157 πακέτα (9.8%) που δεν υποστηρίζονται πια

daskalos@server:~$ sudo mii-tool -v eth0
[sudo] password for daskalos:
eth0: negotiated 1000baseT-FD flow-control, link ok
  product info: vendor 00:13:74, model 1 rev 11
  basic mode:   autonegotiation enabled
  basic status: autonegotiation complete, link ok
  capabilities: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
  advertising:  1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control
  link partner: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control

Άρα κάτι δεν έγινε σωστά. Νόμισα ότι τώρα πια το sch-scripts κάνει

mii-tool eth0 -A 1000baseT-HD,1000baseT-FD,100baseTx-FD,100baseTx-HD,10baseT-FD,10baseT-HD

Από iperf

[ 10] local 192.168.67.1 port 40245 connected with 192.168.67.204 port 5001
[  7]  0.0-10.0 sec  17.8 MBytes  14.9 Mbits/sec
[ 11]  0.0-10.0 sec  16.9 MBytes  14.1 Mbits/sec
[ 13]  0.0-10.0 sec  12.0 MBytes  10.1 Mbits/sec
[ 14]  0.0-10.1 sec  14.5 MBytes  12.1 Mbits/sec
[ 17]  0.0-10.0 sec  14.6 MBytes  12.2 Mbits/sec
[  8]  0.0-10.1 sec  16.9 MBytes  14.0 Mbits/sec
[ 16]  0.0-10.1 sec  14.2 MBytes  11.9 Mbits/sec
[  5]  0.0-10.1 sec  10.1 MBytes  8.41 Mbits/sec
[  9]  0.0-10.2 sec  15.1 MBytes  12.4 Mbits/sec
[ 12]  0.0-10.2 sec  14.5 MBytes  11.9 Mbits/sec
[  4]  0.0-10.2 sec  11.5 MBytes  9.44 Mbits/sec
[  6]  0.0-10.3 sec  18.0 MBytes  14.7 Mbits/sec
[ 15]  0.0-10.2 sec  14.6 MBytes  12.0 Mbits/sec
[ 18]  0.0-10.2 sec  10.8 MBytes  8.88 Mbits/sec
[ 19]  0.0-10.0 sec  11.2 MBytes  9.41 Mbits/sec
[ 10]  0.0-10.0 sec  13.4 MBytes  11.2 Mbits/sec

Τότε εκτέλεσα

daskalos@server:~$ sudo mii-tool eth0 -A 1000baseT-HD,1000baseT-FD,100baseTx-FD,100baseTx-HD,10baseT-FD,10baseT-HD
[sudo] password for daskalos:
restarting autonegotiation...
daskalos@server:~$ sudo mii-tool -v eth0
eth0: negotiated 1000baseT-FD flow-control, link ok
  product info: vendor 00:13:74, model 1 rev 11
  basic mode:   autonegotiation enabled
  basic status: autonegotiation complete, link ok
  capabilities: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
  advertising:  1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control
  link partner: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control

Το εργαλείο mii-tool δεν δουλεύει με αυτή η κάρτα η κάνω λάθος;

Richard

[alkisg]

Richard, ποιο είναι το αποτέλεσμα της παρακάτω εντολής;

Κώδικας: Bash

1. grep sch-scripts: /var/log/syslog

Έχω δοκιμάσει με κάποιες Atheros και δούλεψαν.
Αν θες έλα και από το http://ts.sch.gr/wiki/IRC να το δούμε live.

[richard]

Θα είμαι πάλι στο σχολείο το Σάββατο το πρωί γύρο στης 11. Μπορουμε να βρεθούμε στο irc τότε;

Richard

[alkisg]

Richard στο IRC είμαι συνήθως το πρωί τις καθημερινές εκτός αν έχω πάει επίσκεψη σε σχολείο. Τα Σαββατοκύριακα είναι για χαλάρωμα οπότε στο IRC θα με βρεις πιο σπάνια...

[richard]

Κατανοητό. Θα κοιτάξω το log.

Για σένα η εντολή

     mii-tool eth0 -A 1000baseT-HD,1000baseT-FD,100baseTx-FD,100baseTx-HD,10baseT-FD,10baseT-HD

κόβει να έχει η advertising το flow control η εξαρτάται από άλλες συγκεκριμένες συνθήκες;

Richard

[alkisg]

Κώδικας: Bash

1. $ sudo mii-tool -v eth1
2. eth1: negotiated 1000baseT-FD flow-control, link ok
3.   product info: vendor 00:07:32, model 17 rev 4
4.   basic mode:   autonegotiation enabled
5.   basic status: autonegotiation complete, link ok
6.   capabilities: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
7.   advertising:  1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
8.   link partner: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control

Ναι το κόβει από το advertising, και αν και λέει negotiated ... flow control, υποθέτω ότι από την πλευρά του switch έχει απενεργοποιηθεί αφού το benchmark δείχνει 1000 mbps.

[richard]

Ήμουνα στο σχολείο πάλι το Σάββατο. Στο syslog απλώς ανέφερε ότι κόπηκε το flow control στο eth0 και δεν είχε γρίνια. Δεν είχα την ευκαιρία να αντιγράψω ακριβώς τις γραμμές. Βάφουν μέσα το εργαστήριο και δεν μπορούσα να μείνω για πολύ.

Πρόσεξα ότι η επόμενη γραμμή στο log ανέφερε ότι εκτέλεσε masquerade  του iptables αλλά δεν νομίζω ότι έχει σχέση.

Σκέφτηκα μία απλή δοκιμή: να δουλεύει με live cd και να εκτελέσω στο τερματικό:

     service network-manager stop
     ifconfig eth0 192.168.67.1
     ifconfig eth1 192.168.1.200
     mii-tool -v eth0
     mii-tool eth0 -A 1000baseT-HD,1000baseT-FD,100baseTx-FD,100baseTx-HD,10baseT-FD,10baseT-HD
     mii-tool -v eth0

Εάν σε τέτοιο απλό σενάριο πάλι δεν κόβει το flow control θα βάζω προσωρινά ένα δικό μου η/υ που έχει μία ενσωματωμένη gigabit κάρτα intel μέχρι να βρούμε άλλη κάρτα pci για το server τους.

Richard

[alkisg]

Ενώ είναι συνδεδεμένο το δίκτυο και χωρίς να πειράξεις καθόλου τον network manager κλπ, δοκίμασε:

Κώδικας: Bash

1. sudo mii-tool -v eth0
2. sudo -A "1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD" eth0
3. sudo mii-tool -v eth0

Επίσης έλεγξε ότι οι clients είναι συνδεδεμένοι κατευθείαν πάνω στο gigabit switch και όχι π.χ. μέσω άλλου switch.

Αν βάλεις προσωρινά δικό σου Η/Υ, τότε πάρε τον server τους σπίτι σου και έλα από το IRC, ή απλά άσ' τον ανοιχτό ένα πρωί να τρέχει x11vnc -connect srv1-dide.ioa.sch.gr...

Το μήνυμα "Enabled IP forwarding/masquerading for interface eth0" το βγάζουν τα sch-scripts όταν υπάρχει server με 2 κάρτες δικτύου, γιατί φροντίζουν αυτόματα ώστε να βλέπουν Internet και οι fat clients.

[richard]

Τώρα πια δεν χρειάζεται το πάρα κάτω;

https://alkisg.mysch.gr/steki/inhttps://alkisg.mysch.gr/steki
/index.php?topic=5106.msg62993#msg62993dex.php?topic=5106.msg62993#msg62993

Θα κάνω αυτό που ζητάς.

Richard

[alkisg]

Καλημέρα Richard,

όχι, τα sch-scripts το κάνουν αυτόματα εάν στο βήμα Ρύθμισης σύνδεσης δικτύου, για το εσωτερικό υποδίκτυο επιλέξετε LTSP (προϋποθέτει 2 κάρτες δικτύου).

Αλλά γενικά οι εγκαταστάσεις με 2 κάρτες δικτύου δεν προτείνονται λόγω πολυπλοκότητας, για παράδειγμα αν κάποιος βάλει 2 κάρτες και 2 switch αλλά από αβλεψία τα "βραχυκυκλώσει" μεταξύ τους τότε γίνεται χάος (μπορεί να έχει και σαν αποτέλεσμα τις χαμηλές ταχύτητες που βλέπεις)... είναι πολύ πιο απλό με 1 κάρτα δικτύου, δεν χρειάζεται καμία αλλαγή στην καλωδίωση.

Δεν μου έχεις ανεβάσει ακόμα όμως το output που ζήτησα:

Richard, ποιο είναι το αποτέλεσμα της παρακάτω εντολής;

Κώδικας: Bash

1. grep sch-scripts: /var/log/syslog

[richard]

Πάλι ήμουνα για λίγο στο σχολείο πρωί πρωί και πάλι βάφουν μέσα και δεν μπορούσα να κάνω όλα που ήθελα.

Έβαλα μπρος το server του σχολείο με live cd. Στο τερματικό εκτέλεσα:

     mount /dev/sda6 /mnt/
     mv -v /mnt/etc/udev/rules.d/70-persistent-net.rules /mnt/etc/udev/rules.d/was70-persistent-net.ruleswas
     shutdown -h now

Έβγαλα τον δίσκο από το server του σχολείο και έβαλα μπρος το δικό μου η/υ με αυτό το δίσκο. Το σύστημα έφτιαξε ένα καινούργιο /etc/udev/rules.d/70-persistent-net.rules πάλι με eth0 για την gigabit (Intel) και eth1 10/100.

Στο sch-scripts στο βήμα Ρύθμισης σύνδεσης δικτύου, για το εσωτερικό υποδίκτυο επέλεξα LTSP (προϋποθέτει 2 κάρτες δικτύου).

Στο τερματικό εκτέλεσα:

     sudo mii-tool -v eth0

snip

  basic mode:   autonegotiation enabled
  basic status: autonegotiation complete, link ok
  capabilities: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
  advertising:  1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD
  link partner: 1000baseT-HD 1000baseT-FD 100baseTx-FD 100baseTx-HD 10baseT-FD 10baseT-HD flow-control

Με την κάρτα Intel είχε ήδη γίνει η δουλειά όπως πρέπει.

Όμως η network-manager δεν κατάφερε να δουλέψει η 10/100 κάρτα eth1 ούτε με dhcp ούτε με static ip. Έτσι έπρεπε να το αφήσω μέχρι αύριο.

Τώρα έχω φέρει το server του σχολείου χωρίς δίσκο στο σπίτι μου και έχω βάλει μπρος με live cd το δικό σας 12.04.1. Όμως δεν έχω gigabit switch στο σπίτι. Είναι συνδεμένος με την pci κάρτα 10/100 στο διαδίκτυο. Προσοχή που έβαλε:

 # PCI device 0x10b7:/sys/devices/pci0000:00/0000:00:1e.0/0000:03:00.0 (3c59x)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:01:02:1f:4d:87", ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

# PCI device 0x1969:/sys/devices/pci0000:00/0000:00:1c.1/0000:02:00.0 (atl1c)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="6c:f0:49:a6:fe:b4", ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

δηλαδή ανάποδα από την εγκατάσταση με τον δίσκο του σχολείου.

Δεν ξέρω τι μπορείς να κάνεις με αυτές τις συνθήκες αλλά για καλού κακού θα το αφήσω με την εντολή:

     x11vnc -connect srv1-dide.ioa.sch.gr

αφού το στείλω αυτό το μήνυμα.

Richard

[jim_katsar]

Καλημέρα στο σχολείο μου τελικά υπάρχει gigabit switch (Δεν είχα δόσει σημασία γιατί έμοιαζε με ένα απλό D-Link switch).
Είναι το: D-Link GO-SW-16G  ( http://www.dlink.com/gr/el/home-solutions/connect/go/go-sw-16g-24g-16-24-port-gigabit-unmanaged-desktop-switch )
Θα έχω πρόβλημα στο στήσιμο Server με Ubuntu 12.04 LTSP;
Ευχαριστώ

[alkisg]

Θεωρητικά δεν θα έχεις πρόβλημα. Στην πράξη μια μέτρηση ταχύτητας δικτύου θα αποδείξει αν ισχύει ή όχι.