Αποστολέας Θέμα: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα  (Αναγνώστηκε 2159 φορές)

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Τα παλιά χρόνια το LTSP σέρβιρε τον εικονικό κατάλογο /opt/ltsp/i386 μέσω του πρωτοκόλλου NFS.
Μετά για ταχύτητα από κατάλογο τον κάνανε αρχείο /opt/ltsp/images/i386.img και το σερβίρανε μέσω πρωτοκόλλου NBD.
Αλλά το NBD είναι κάπως ασταθές, δεν επιζεί μετά από server reboots ή μεγάλα disconnections, και δεν λειτουργεί πολύ καλά το caching σε αυτό, οπότε τελικά χάνει και κάποια ταχύτητα.

Τελευταία δοκίμαζα μια ενδιάμεση λύση που φαίνεται να έχει μόνο οφέλη: να σερβίρουμε το αρχείο /opt/ltsp/images/i386.img μέσω NFS, και όχι τον κατάλογο.

Όποιος θέλει να το δοκιμάσει σε Ubuntu 16.04 ή 18.04, ας κάνει τα εξής:
Κώδικας: Bash
  1. sudo apt install --yes nfs-kernel-server
  2. sudo ltsp-config nfs
  3. sudo pluma /var/lib/tftpboot/ltsp/*/pxelinux.cfg/default

Σε αυτό το αρχείο, αλλάζουμε τη γραμμή 14 από κάτι τέτοιο:
append ro initrd=initrd.img-4.15.0-45-generic init=/sbin/init-ltsp forcepae root=/dev/nbd0
σε κάτι τέτοιο:
append ro initrd=initrd.img-4.15.0-45-generic init=/sbin/init-ltsp forcepae root=/dev/nfs nfsroot=/opt/ltsp/images,rsize=32768,wsize=32768 ltsploop=i386.img

(αυτό το αρχείο ξαναδημιουργείται μετά από δημοσίευση εικονικού δίσκου οπότε οι αλλαγές θα πρέπει να εφαρμοστούν ξανά)

Επανεκκινούμε τους clients και ελέγχουμε αν τα πράγματα είναι σταθερότερα και πιθανώς ταχύτερα.
Αν δουλεύει καλά, θα το παρατήσουμε τελείως το NBD σε επόμενες εκδόσεις.

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #1 στις: 17 Μάι 2019, 09:46:20 πμ »
Το δοκίμασα σε ένα σχολείο και φαίνεται λίγο γρηγορότερο και πολύ σταθερότερο από το NBD.

Όσοι θέλουν να κάνουν μόνιμη την αλλαγή, δίνουν:
Κώδικας: Bash
  1. sudo rm /var/lib/tftpboot/ltsp/amd64/pxelinux.cfg/default
  2. sudo pluma /var/lib/tftpboot/ltsp/amd64/pxelinux.cfg/default

Και επικολλούν το παρακάτω:
Κώδικας: Bash
  1. default ltsp-NFS
  2. ontimeout ltsp-NFS
  3.  
  4. label ltsp-NFS
  5. menu label LTSP, using NFS
  6. kernel vmlinuz-generic
  7. append ro initrd=initrd.img-generic init=/sbin/init-ltsp forcepae root=/dev/nfs nfsroot=/opt/ltsp/images,rsize=32768,wsize=32768 ltsploop=amd64.img
  8. ipappend 3

Όπου βλέπετε amd64 βάλτε i386 αν έχετε 32bit εγκατάσταση.

vovos

  • Βετεράνος
  • ****
  • Μηνύματα: 50
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #2 στις: 17 Μάι 2019, 01:54:40 μμ »
Το έβαλα σε 18.04 32bit και σε μια γρήγορη δοκιμή που έκανα τα βρήκα όλα ΟΚ. Την Δευτέρα θα το δω πιο προσεκτικά.

ilias_s

  • Δεινόσαυρος
  • *****
  • Μηνύματα: 392
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #3 στις: 17 Μάι 2019, 05:03:01 μμ »
Θα το δοκιμάσω κάπου μέσα στις εξετάσεις μάλλον.

Ευχαριστώ

markakis

  • Working Dead
  • Βετεράνος
  • ****
  • Μηνύματα: 59
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #4 στις: 12 Ιούν 2019, 09:26:30 πμ »
Ακολούθησα τις οδηγίες για μόνιμη αλλαγή, έχει δοκιμαστεί 2+ βδομάδες στα εργαστήρια των 2 σχολείων που είμαι και όλα λειτουργούν μια χαρά.

vovos

  • Βετεράνος
  • ****
  • Μηνύματα: 50
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #5 στις: 12 Ιούν 2019, 10:01:06 πμ »
Από 17/5 που το έβαλα όλα ΟΚ (τόσο ΟΚ που το έβαλα και το ξέχασα και για αυτό άργησα να γράψω εδώ...  ::)).

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #6 στις: 12 Ιούν 2019, 10:12:31 πμ »
Πολύ ωραία νέα!
Εγώ έχω ξεκινήσει τον προγραμματισμό του νέου LTSP, και έχω ήδη βάλει το NFS ως προεπιλεγμένο.
Spoiler: το νέο LTSP θα είναι γραμμένο εξ' αρχής, θα ονομάζεται π.χ. ltsp 19.09 (χρονιά/μήνας), θα υποστηρίζει τον ίδιο τον server (pnp)/virtualbox VMs/live cds/squashfs images/chroots ως πηγές για την εκκίνηση των clients, θα χρησιμοποιεί τον κανονικό display manager (οθόνη σύνδεσης) της κάθε διανομής με authentication μέσω ssh, ενώ το /home θα διατίθεται ως συνήθως μέσω nfs ή sshfs. Επίσης θα υποστηρίζει uefi καθώς και αυτόματη επιλογή μεταξύ 64/32bit εικονικών δίσκων.

Δηλαδή για παράδειγμα θα μπορούμε να δηλώσουμε ως εικονικό δίσκο ένα οποιοδήποτε live cd ubuntu/debian που κατεβάσαμε για να δοκιμάσουμε κάποιο άλλο desktop environment, και να μπουτάρουμε τους clients με αυτό, χρησιμοποιώντας κανονικά τα accounts/home του server!

Ως bonus μπορεί να πακετάρω/διαθέσω τον κώδικα για κεντρική αυθεντικοποίηση/home και για εγκαταστάσεις χωρίς ltsp (γιατί ldap/kerberos/nfs4 κλπ θέλουν μέρες να στηθούν, ενώ αυτό θα στήνεται σε 1 λεπτό).

Για τα υπόλοιπα defaults, που προσανατολιζόμαστε; Ασφάλεια ή ταχύτητα; Π.χ. το nfs3 είναι ανασφαλές αλλά πιο σταθερό και γρήγορο από το sshfs, το προτιμάμε;

markakis

  • Working Dead
  • Βετεράνος
  • ****
  • Μηνύματα: 59
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #7 στις: 12 Ιούν 2019, 12:07:53 μμ »
Μια χαρά! Όλο και καλύτερα!

Για τα υπόλοιπα defaults, που προσανατολιζόμαστε; Ασφάλεια ή ταχύτητα; Π.χ. το nfs3 είναι ανασφαλές αλλά πιο σταθερό και γρήγορο από το sshfs, το προτιμάμε;

Νομίζω ότι στο περιβάλλον των σχολικών εργαστηρίων πιο σημαντικά χαρακτηριστικά είναι η σταθερότητα και η ταχύτητα.

ioakyriazis

  • ΠΛΗΝΕΤ
  • *
  • Μηνύματα: 29
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #8 στις: 14 Ιούν 2019, 02:42:28 μμ »
Συμφωνώ κι εγώ. Προέχει η σταθερότητα. Έπειτα η ταχύτητα και μετά η ασφάλεια. Ειδικά εμείς του Δημοτικού δεν νομίζω να κινδυνεύουμε από hackers που θα θέλουν να κλέψουν τις ασκήσεις των μαθητών  :D !!!

lycourgus

  • Οπαδός
  • **
  • Μηνύματα: 17
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #9 στις: 16 Ιούν 2019, 10:51:16 μμ »
Ταχύτητα και σταθερότητα Άλκη.
(σε μας στα ΕΠΑΛ, ας είναι μάγκες οι μαθητές να το παραβιάσουν :D )

denispyr

  • Βετεράνος
  • ****
  • Μηνύματα: 70
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #10 στις: 19 Ιούν 2019, 07:57:12 μμ »
  • Σταθερότητα
  • Ταχύτητα
  • Ασφάλεια

:)
Διονύσης

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #11 στις: 14 Σεπ 2019, 12:46:57 μμ »
Πρόσθεσα τις παραμέτρους rsize=32768,wsize=32768 στις παραπάνω οδηγίες, αν δείτε lags βάλτε τες και πείτε εάν βοηθάνε (μάλλον χρειάζονται περισσότερο σε όσους έχουν δίκτυο μεικτής ταχύτητας, gigabit server και 100 Mbps clients).

stam12

  • Δεινόσαυρος
  • *****
  • Μηνύματα: 123
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #12 στις: 15 Σεπ 2019, 06:05:18 μμ »
Απορία: θα πρέπει να το κάνουμε όλοι αυτό; (όσοι έχουμε εγκαταστήσει LTSP)

Επίσης κάποιες άλλες απορίες:
  • εγκατέστησα το "glossa" για το ΑΕΠΠ αλλά δε δίνει δυνατότητα κωδικοποίησης σε ψευδογλώσσα για το μάθημα της Β'. Τι μπορώ να κάνω;
  • Για τις ασκήσεις στο "AppInventor" - Εφαρμογές Πληροφορικής Α' Λυκείου - χρησιμοποιούσα το "Companion" online μέσω WiFi. Μπορεί να χρησιμοποιηθεί και μέσω LTSP;

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #13 στις: 15 Σεπ 2019, 07:17:22 μμ »
0) Όχι. Είναι λίγο πιο γρήγορο και σταθερό, αλλά δεν πειράζει, ο πολύς κόσμος θα το έχει με την 20.04 και το νέο LTSP.
1) https://alkisg.mysch.gr/steki/index.php?topic=5090.msg53098#msg53098
2) https://alkisg.mysch.gr/steki/index.php?topic=5980.msg70118#msg70118

lycourgus

  • Οπαδός
  • **
  • Μηνύματα: 17
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #14 στις: 24 Σεπ 2019, 08:49:27 πμ »
Ερώτηση: Αν θέλουμε να επαναφέρουμε το NBD τι κάνουμε;
(στο φορτωμένο δίκτυό μου, φαίνεται να έχω κάποια προβληματάκια και θέλω να τα συγκρίνω πριν σχηματίσω άποψη)

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #15 στις: 24 Σεπ 2019, 09:28:00 πμ »
Για να επαναφέρουμε το NBD λογικά αρκεί η παρακάτω εντολή, η οποία αντικαθιστά το αρχείο default με symlink:
sudo ln -sf ltsp /var/lib/tftpboot/ltsp/*/pxelinux.cfg/default

Λυκούργε όμως βεβαιώσου ότι έχεις βάλει τα rsize=32768,wsize=32768 που γράφω παραπάνω.

Εδώ και 10+ χρόνια υπήρχε ένα θέμα με την ταχύτητα του NFS, το οποίο το εντόπισα και το ανάφερα πριν λίγες μέρες. Στο νέο LTSP έχω ήδη περάσει το workaround και πάει σφαίρα, ενώ στο LTSP5 είναι πιο δύσκολο το workaround, οπότε το μισο-φτιάχνουμε με τα rsize=32768,wsize=32768.

Για παράδειγμα, ο χρόνος εκκίνησης ενός παλιού client σε 100ρι δίκτυο έπεσε από 83 sec στα 34 sec, επειδή αντί να μεταφερθούν 1210 MB μέσω δικτύου μεταφέρθηκαν μόνο 158 MB.

lycourgus

  • Οπαδός
  • **
  • Μηνύματα: 17
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #16 στις: 24 Σεπ 2019, 09:47:38 πμ »
Θα ξεκινήσω δοκιμές σήμερα (θα κρατήσω χρόνους) και θα σας πω αναλυτικά.

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #17 στις: 24 Σεπ 2019, 10:19:41 πμ »
Αν θες έλα και από το IRC μήπως και το επιταχύνουμε κάμποσο με μια INIT_COMMAND_x εντολή (μειώσουμε το read ahead που προκαλεί το πρόβλημα).

lycourgus

  • Οπαδός
  • **
  • Μηνύματα: 17
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #18 στις: 24 Σεπ 2019, 11:01:32 πμ »
Άλκη έχεις δίκιο, τα rsize/wsize είναι απαραίτητα.

Για να bootάρουν ΤΑΥΤΟΧΡΟΝΑ 6 pc σε 100άρι δίκτυο (από το τέλος του bootloader μέχρι τη φόρτωση της login screen)
α. με rsize=32768,wsize=32768 χρειάστηκαν ~80-110 sec
β. χωρίς rsize/wsize χρειαζόταν κοντά ένα 10λεπτο - ΑΝ επιβίωναν (πχ σε πολλές περιπτώσεις κρεμούσαν 2-3)
γ. με σκέτο NBD χρειαζόμασταν κάτι λιγότερο από 5λεπτο (~300-350sec)

Σημείωση: μιλάμε για δίκτυο ΕΠΑΛ με 30 σταθμούς εργασίας, 3 υπολογιστές στη  γραμματεία και αρκετά pc/κινητά εκπαιδευτικών στα 2 wifi του σχολείου (ναι ξέρω - το δίκτυο θέλει περαιτέρω βελτιστοποίηση).

lycourgus

  • Οπαδός
  • **
  • Μηνύματα: 17
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #19 στις: 19 Νοέ 2019, 11:25:35 πμ »
Νέα μέτρηση:

θέτοντας τα rsize/wsize = 16384 , οι clients ξεκίνησαν περίπου σε 70-75''.
Για το δικό μας δίκτυο, φαίνεται με αυτές τις τιμές να πιάσαμε το βέλτιστο.

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #20 στις: 19 Νοέ 2019, 12:12:48 μμ »
Με τις παρακάτω (αδοκίμαστες!) εντολές προσθέτετε ένα script που θεωρητικά δίνει την βέλτιστη επιτάχυνση, ενώ ταυτόχρονα αφαιρέστε τις παραμέτρους rsize/wsize ώστε να χρησιμοποιηθούν οι default τιμές τους.

Κώδικας: Bash
  1. sudo -i
  2. wget 'https://alkisg.mysch.gr/steki/index.php?action=dlattach;topic=7792.0;attach=5265' -O /usr/share/initramfs-tools/scripts/nfs-bottom/ltspreadahead
  3. chmod +x /usr/share/initramfs-tools/scripts/nfs-bottom/ltspreadahead
  4. update-initramfs -u
  5. cp /boot/initrd.img-* /var/lib/tftpboot/ltsp/*/
  6. exit

markakis

  • Working Dead
  • Βετεράνος
  • ****
  • Μηνύματα: 59
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #21 στις: 20 Νοέ 2019, 11:00:49 πμ »
Με τις παρακάτω (αδοκίμαστες!) εντολές προσθέτετε ένα script που θεωρητικά δίνει την βέλτιστη επιτάχυνση, ενώ ταυτόχρονα αφαιρέστε τις παραμέτρους rsize/wsize ώστε να χρησιμοποιηθούν οι default τιμές τους.

Δοκίμασα το script σε 2 διαφορετικά εργαστήρια και όλα λειτουργούν κανονικά. Δεν είχα την πολυτέλεια του χρόνου να μετρήσω με ακρίβεια το χρόνο φόρτωσης πριν και μετά για σύγκριση, όμως, σε Gigabit δίκτυο PC Pentium 4 1.7 με 512 RAM φορτώνει λειτουργικό σε ~1 λεπτό, οπότε είμαστε ΟΚ.

Θα προστεθεί στο αποθετήριο ή θα το βάζουμε εμείς σε περιπτώσεις που διαπιστώνουμε καθυστέρηση;

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #22 στις: 20 Νοέ 2019, 11:32:43 πμ »
Το παλιό LTSP δεν αναπτύσσεται πια, και όλα αυτά που λέμε εδώ είναι για το παλιό LTSP. Άρα, χειρωνακτικά.

Από Σεπτέμβρη θέλουμε όλα τα σχολεία να έχουν:
  • Οι νέοι υπολογιστές, 20.04 64bit και νέο LTSP
  • Οι παλιοί υπολογιστές, 18.04 32bit και νέο LTSP
Και το παλιό LTSP να μη χρησιμοποιείται πουθενά (εκτός αν κάποιος έχει ακόμα thin clients, π.χ. < Pentium 4 @2 GHz, που δεν θα έπρεπε).
Το νέο LTSP έχει τη βέλτιστη ταχύτητα από default χωρίς να χρειάζεται κάποια ρύθμιση.

alkisg

  • Τεχνικός / καθαρίστρια
  • *****
  • Μηνύματα: 5433
    • Ο Διερμηνευτής της ΓΛΩΣΣΑΣ
Απ: Αλλαγή από NBD σε NFS για σταθερότητα και ταχύτητα
« Απάντηση #23 στις: 29 Νοέ 2019, 09:04:16 πμ »
Ωχ σόρρυ είχα ξεχάσει ένα "nfs-bottom/" στις παραπάνω εντολές οπότε το νέο script δεν καλούνταν καθόλου. Το διόρθωσα αλλά πρέπει να εκτελεστούν ξανά οι εντολές.

Για να βεβαιωθούμε ότι τελικά ενεργεί το script, επιλέγουμε κάποιον client από τον Επόπτη, κάνουμε δεξί κλικ άνοιγμα κονσόλας διαχειριστή τοπικά, και τρέχουμε:

grep -v 128 /sys/class/bdi/*/read_ahead_kb

Αυτό θα πρέπει να εμφανίσει μόνο τέτοιες γραμμές που να τελειώνουν σε 4 και όχι σε άλλο αριθμό:

/sys/class/bdi/0:23/read_ahead_kb:4