Αποστολέας Θέμα: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν  (Αναγνώστηκε 832 φορές)

Diotima

  • Επισκέπτης
Ένα καταπληκτικό άρθρο που περιγράφει μια νέα θεωρία της Θεωρητικής Φυσικής που λέγεται "ολογραφική αρχή", η οποία απασχολεί ολοένα και περισσότερους φυσικούς.

Μεταφρασμένο στα Ελληνικά το βρήκα εδώ:
http://www.physics4u.gr/articles/2003/infoinuni1.html
και εδώ:
https://physics4u.wordpress.com/2011/03/13/%CE%AF-%CE%AF-%CE%AD-gamm/
ενώ το πρωτότυπο εδώ:
http://www.scientificamerican.com/article/information-in-the-holographic-univ/

Παραθέτω ένα απόσπασμα από την αρχή του άρθρου:

"Όταν ρωτήσουμε κάποιον, από τι είναι κατασκευασμένος ο κόσμος; η πιο συνηθισμένη απάντηση που θα πάρουμε είναι: από ύλη και ενέργεια.

Για όποιον όμως έχει μια σχετική παιδεία στη μηχανική, τη βιολογία και τη φυσική,
η πληροφορία είναι επίσης ένα πολύ σημαντικό συστατικό του κόσμου.
Το ρομπότ στο εργοστάσιο αυτοκινήτων είναι κατασκευασμένο από μέταλλο και πλαστικό αλλά δεν μπορεί να κάνει τίποτα απολύτως χωρίς τις λεπτομερείς οδηγίες που θα του λένε ποιο μέρος πρέπει να κολλήσει και σε ποιο σημείο ακριβώς.
Το ριβόσωμα μέσα σ΄ ένα κύτταρο του σώματός μας, είναι εφοδιασμένο με συνδυασμούς αμινοξέων και τροφοδοτείται με ενέργεια που ελευθερώνεται κατά τη μετατροπή του ΑΤΡ σε ADP, αλλά δεν μπορεί να συνθέσει πρωτεΐνες χωρίς την πληροφορία που μεταφέρει το DNA.
Ομοίως, ένας αιώνας φυσικής μας δίδαξε ότι η πληροφορία είναι ένα βασικό συστατικό των φυσικών συστημάτων και διαδικασιών.
Πράγματι, η τρέχουσα τάση που εγκαινιάστηκε από τον John A. Wheeler του πανεπιστημίου  Princeton, είναι να θεωρούμε τον κόσμο ως αποτελούμενο από πληροφορία, με την ενέργεια και την ύλη ως πρόσθετα συστατικά του."

και ένα απόσπασμα από το τέλος του άρθρου: Αυγή μιας επανάστασης
....
"Η ολογραφία μπορεί να είναι ο οδηγός μας προς μια καλύτερη θεωρία. Πως θα μοιάζει η θεμελιώδης θεωρία; Η αλυσίδα των επιχειρημάτων που περιλαμβάνει και την ολογραφία σημαίνει για μερικούς, όπως κύρια για τον Lee Smolin του Ινστιτούτου Perimeter για την θεωρητική φυσική στο Waterloo του Καναδά, ότι μια τέτοια τελική θεωρία δεν πρέπει να καταπιάνεται με πεδία, ούτε καν με χωροχρόνο, αλλά μάλλον με ανταλλαγή πληροφοριών μεταξύ φυσικών διαδικασιών.
Αν είναι έτσι, το όραμα της πληροφορίας σαν το συστατικό του κόσμου, θα έχει βρει ένα αντάξιο περίβλημα."

Η επιστήμη που μελετά την πληροφορία είναι η θεμελιώδης και βασική επιστήμη της Πληροφορικής.
Άραγε τι θα έχουν να πουν όσοι την πολεμούν, τη χλευάζουν και την υποτιμούν ως μη βασική επιστήμη, όταν θα γίνει παντού γνωστό ότι είναι η επιστήμη που έχει σαν αντικείμενο ένα βασικό συστατικό του κόσμου;

dimitrios67

  • Βετεράνος
  • ****
  • Μηνύματα: 71
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #1 στις: 09 Φεβ 2016, 01:05:08 μμ »
Ευχαριστουμε πολύ την Διοτίμα....
Για καθε εναν που ενδιαφερεται για "παρόμοιες" απόψεις
προτείνω το βιβλίο "Η Υπόθεση των Λογικών Κβάντων", εδώ...
http://www.armosbooks.gr/product_info.php/products_id/124896?sid=603f109cefe71b844afced96631a5d8e

Diotima

  • Επισκέπτης
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #2 στις: 10 Φεβ 2016, 03:10:04 μμ »
Κι εγώ σε ευχαριστώ πολύ Δημήτρη...
Η κεντρική ιδέα της πληροφορίας ως συστατικό του κόσμου υπάρχει στο μυαλό μου εδώ και πολλά χρόνια, μετά από μελέτη ενός φιλοσοφικού συστήματος που θαύμασα για τον  ορθολογισμό του ως σύστημα περιγραφής του κόσμου, παρ' όλο που δεν ανήκει στο χώρο των θετικών επιστημών.
Δεν ήξερα ότι έχει διατυπωθεί και ως επιστημονική θεωρία πλέον.
Με ενδιαφέρει ιδιαίτερα η ιδέα και σίγουρα θα διαβάσω, όποτε βρω χρόνο, το βιβλίο που προτείνεις, σε ευχαριστώ. Ιδιαίτερη προσωπικότητα ο συγγραφέας, διάβασα το βιογραφικό του και μου έκανε εντύπωση ο συνδυασμός σπουδών που έχει κάνει.

gpapargi

  • Γενικός διαχειριστής
  • *****
  • Μηνύματα: 2408
  • I 'm not young enough to know everything
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #3 στις: 11 Φεβ 2016, 02:01:59 μμ »
Δε μου φαίνονται καθόλου παρόμοιες οι σκέψεις που περιγράφονται στα 2 προηγούμενα μηνύματα. Η σχέση της πληροφορίας με τη φυσική είναι δεδομένη και την ξέρουν από παλιά οι φυσικοί. Πχ μπορούμε να δούμε τους ορισμούς της πληροφορίας και της εντροπίας μέσω της πιθανότητας. Με απλά λόγια όσο μικρότερη πιθανότητα έχει ένα σύμβολο να εμφανιστεί τόσο μεγαλύτερη πληροφορία περιέχει. Και στην εντροπία (θερμοδυναμική) η μεγάλη αταξία (μεγάλη πιθανότητα) σημαίνει μεγάλη εντροπία.
Επίσης στην αρχή της απροσδιοριστίας θα βρεις κοινά μεταξύ  θεωρίας πληροφορίας και στη φυσικής. Το εύρος ενός σήματος στο πεδίο των συχνοτήτων και στο πεδίο του χρόνου σχετίζονται με μια αρχή απροσδιοριστίας (μικρή διάρκεια στο χρόνο σημαίνει μεγάλη στις συχνότητες) ανάλογη με αυτή της κβαντικής μηχανικής για θέση και ταχύτητα. Και η ανάλυση Fourier που αναφέρεται στη θεωρία σημάτων, είναι βασικό εργαλείο για τη λύση μερικών διαφορικών εξισώσεων (όπως η κυματική εξίσωση).
Οι φυσικοί γνωρίζουν αρκετά καλά αυτή τη σχέση μεταξύ πληροφορίας και φύσης.( Άλλο αν τα τμήματα φυσικής προτίμησαν χημεία σαν εξεταζόμενο μάθημα λόγω των σχολικών αναθέσεων).
Αυτός που έχει γράψει το βιβλίο (στο δεύτερο μήνυμα) από ότι κατάλαβα προσπαθεί να συμβιβάσει θεολογία και επιστήμη (ότι νόημα κι αν έχει αυτό). Προσωπικές απόψεις θα διαβάσεις όχι επιστημονικές θεωρίες.  Είναι άλλα πράγματα. Το πρώτο άρθρο το θυμάμαι από τότε που ήμουν μανιώδης συλλέκτης του scientific America. Τα άρθρα του SI τα γράφουν σοβαροί επιστήμονες και δεν αποτελούν προσωπικές ή φιλοσοφικές τους απόψεις. Συνήθως διαλέγουν έναν από τους κορυφαίους στον κόσμο πάνω σε κάποιο θέμα για να γράψει ένα σχετικό άρθρο. Ο Bekenstein έχει ασχοληθεί πάρα πολύ με μαύρες τρύπες και θερμοδυναμική.
Ένα καταπληκτικό βιβλίο (το καλύτερο κατά τη γνώμη μου στο είδος του) είναι το “Black holes and time warps. Einstein outrageous legacy”. Είναι ένα ιστορικό βιβλίο που περιγράφει την εξέλιξη των απόψεων για τις μαύρες τρύπες και περιγράφει και την συνεισφορά του Bekenstein μέχρι εκείνη την εποχή. Είναι γραμμένο από τον  Kip Thorne μαθητή του John Archibald Wheeller που αναφέρεται στο άρθρο.
Γιώργος Παπαργύρης (gpapargi@hotmail.com)

googlebro

  • Οπαδός
  • **
  • Μηνύματα: 13
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #4 στις: 11 Φεβ 2016, 07:30:31 μμ »
Ορισμός Εντροπίας: Είναι το μέτρο της αβεβαιότητας που έχει ένα σύστημα για την πηγή. Όσο μεγαλύτερη εντροπία έχει μια πηγή: τόσο περισσότερη πληροφορία φέρει (και τόσο περισσότερα bits χρειάζονται για την κωδικοποίησή της).
Για το quote τώρα:
Μάλλον εννοείς ότι πρέπει τα σύμβολα να είναι ισοπίθανα? δλδ αν έχουμε πηγή η οποία παράγει Ν σύμβολα, η Εντροπία (H(x)) της πηγής μεγιστοποιείται όταν η πιθανότητα εμφάνισης κάθε συμβόλου είναι 1/N ...Σωστά? Αυτό είναι το σωστό πάντως.
Επομένως, η μεγιστοποίηση της επιτυγχάνεται όταν μεγιστοποιείται η αβεβαιότητα για τα σύμβολα που θα παράγει.

Δε μου φαίνονται καθόλου παρόμοιες οι σκέψεις που περιγράφονται στα 2 προηγούμενα μηνύματα. Η σχέση της πληροφορίας με τη φυσική είναι δεδομένη και την ξέρουν από παλιά οι φυσικοί. Πχ μπορούμε να δούμε τους ορισμούς της πληροφορίας και της εντροπίας μέσω της πιθανότητας. Με απλά λόγια όσο μικρότερη πιθανότητα έχει ένα σύμβολο να εμφανιστεί τόσο μεγαλύτερη πληροφορία περιέχει. Και στην εντροπία (θερμοδυναμική) η μεγάλη αταξία (μεγάλη πιθανότητα) σημαίνει μεγάλη εντροπία.
Επίσης στην αρχή της απροσδιοριστίας θα βρεις κοινά μεταξύ  θεωρίας πληροφορίας και στη φυσικής. .....
Η σημασία της πληροφορίας --> Φρυκτωρίες ( http://kotsanas.com/exh.php?exhibit=1201001 ) Το μήνυμα της άλλωσης της Τροίας μεταδώθηκε μέσα σε μια νύχτα. Οι αρχαίοι Έλληνες είχαν κωδικοποιήσει το αλφάβητο με δυαδικό σύστημα.

dimitrios67

  • Βετεράνος
  • ****
  • Μηνύματα: 71
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #5 στις: 11 Φεβ 2016, 08:36:19 μμ »
Αγαπητε Γιωργο (Παπαργυρη),
ειναι πραγματι οπως περιπου τα λες. Δηλ. μια "προσπαθεια" ερμηνειας του προβλήματος της Κβαντομηχανικής
με φιλοσοφικούς και (ισως) θεολογικους ορους.
Προκειται για τη θεωρία των "λογων των όντων" ως "συνεκτικό στοιχείο" του κοσμου.
Ειναι η ιστορία της εννοιας του "λογου" των οντων που ξεκιναει από τον Ηρακλειτο και φτανει μεχρι τον Μαξιμο τον Ομολογητή.
Εν συντομία, ο "λογος" καθε οντότητας εχει την απαιτουμενη "πληροφορία" για την "υπαρξη"
της συγκεκριμενης οντότητας.
Ο συγγραφεας του ως ανω βιβλίου εχει πολλές αναφορες στο  : Roger Penrose, "Αναζητώντας την Πραγματικότητα".

gpapargi

  • Γενικός διαχειριστής
  • *****
  • Μηνύματα: 2408
  • I 'm not young enough to know everything
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #6 στις: 12 Φεβ 2016, 11:20:19 πμ »
Μάλλον εννοείς ότι πρέπει τα σύμβολα να είναι ισοπίθανα? δλδ αν έχουμε πηγή η οποία παράγει Ν σύμβολα, η Εντροπία (H(x)) της πηγής μεγιστοποιείται όταν η πιθανότητα εμφάνισης κάθε συμβόλου είναι 1/N ...Σωστά? Αυτό είναι το σωστό πάντως.
Επομένως, η μεγιστοποίηση της επιτυγχάνεται όταν μεγιστοποιείται η αβεβαιότητα για τα σύμβολα που θα παράγει.

Σωστό είναι αυτό που λες για τη μεγιστοποίηση της πληροφορίας της πηγής. Μεγιστοποιείται στα ισοπίθανα σύμβολα. Εγώ έγραψα για την πληροφορία μόνο ενός συμβόλου. Αυτή μεγαλώνει όταν το σύμβολο είναι σπάνιο. Πέρα από το μαθηματικό ορισμό της πληροφορίας ενός συμβόλου (αρνητικός λογάριθμος πιθανότητας εμφάνισης συμβόλου) μπορούμε να το δούμε και διαισθητικά. Αν πω "αύριο ο ήλιος θα ανατείλει από την ανατολή" δε δίνω καμία πληροφορία. Είπα κάτι που θεωρείται βέβαιο και όποιος το ακούσει θα πει "κάτι μας είπες τώρα". Αν όμως πω ότι αύριο δε θα ανατείλει ο ήλιος (και είναι αλήθεια) είναι τρομακτική πληροφορία. Σημαίνει ότι κάτι από αυτά που θεωρούμε σωστά δεν ισχύει.
Για την πηγή πάντως... ναι έχω μεγιστοποίηση για ισοπίθανα σύμβολα. Έτσι μια γλώσσα που χρησιμοποιεί τα σύμβολά της ισοπίθανα έχει μεγαλύτερη πληροφορία ανά σύμβολο και άρα τα κείμενα σε αυτή τη γλώσσα θα είναι πιο μικρά. Αυτός είναι και ο λόγος που αν κάνουμε μια μετάφραση από τα αγγλικά στα ελληνικά το κείμενο θα βγει πιο μεγάλο. Κυρίως οφείλεται στο ότι η αγγλική έχει το αλφάβητό της πιο κοντά στην ομοιόμορφη κατανομή. Είναι βέβαια και το ότι έχει 26 γράμματα, αλλά αυτό είναι λιγότερο σημαντικό. Το βασικό είναι οι πιθανότητες εμφάνισης των συμβόλων.
Γιώργος Παπαργύρης (gpapargi@hotmail.com)

gpapargi

  • Γενικός διαχειριστής
  • *****
  • Μηνύματα: 2408
  • I 'm not young enough to know everything
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #7 στις: 12 Φεβ 2016, 11:39:31 πμ »
Αγαπητε Γιωργο (Παπαργυρη),
ειναι πραγματι οπως περιπου τα λες. Δηλ. μια "προσπαθεια" ερμηνειας του προβλήματος της Κβαντομηχανικής
με φιλοσοφικούς και (ισως) θεολογικους ορους.
Προκειται για τη θεωρία των "λογων των όντων" ως "συνεκτικό στοιχείο" του κοσμου.
Ειναι η ιστορία της εννοιας του "λογου" των οντων που ξεκιναει από τον Ηρακλειτο και φτανει μεχρι τον Μαξιμο τον Ομολογητή.
Εν συντομία, ο "λογος" καθε οντότητας εχει την απαιτουμενη "πληροφορία" για την "υπαρξη"
της συγκεκριμενης οντότητας.
Ο συγγραφεας του ως ανω βιβλίου εχει πολλές αναφορες στο  : Roger Penrose, "Αναζητώντας την Πραγματικότητα".

Κοίτα... τον φοβάμαι τον τύπο. Η φιλοσοφία είναι ένας χώρος που συγκεντρώνει από πολύ σοβαρά άτομα (όπως πχ ο Daniel Dennett που ότι γράφει είναι συμβατό με την επιστήμη) μέχρι τους τύπους που έβγαιναν στο Χαρδαβέλλα στις πύλες του ανεξήγητου. Και αυτοί φιλόσοφοι και ερευνητές δήλωναν. Το να μπλέκεις τη θεολογία (που στηρίζεται στην πίστη, δέχεται θαύματα και παραβιάσεις φυσικών νόμων, δέχεται μεταφυσικές ερμηνείες και δεν θεωρεί ότι είναι υποχρεωμένη να αποδεικνύει τις απόψεις της) με την επιστήμη (που στηρίζεται στην πειραματική επιβεβαίωση και τη λογική σκέψη) είναι επικίνδυνο. Το reference στον Penrose δεν καθιστά ένα κείμενο σοβαρό. Θεολόγος σε σχολείο είναι από ότι είδα. Τι απόψεις περιμένεις να έχει;
http://www.biblionet.gr/author/15987/Αρσένιος_Μέσκος
Γιώργος Παπαργύρης (gpapargi@hotmail.com)

googlebro

  • Οπαδός
  • **
  • Μηνύματα: 13
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #8 στις: 12 Φεβ 2016, 04:49:26 μμ »
Σωστό είναι αυτό που λες για τη μεγιστοποίηση της πληροφορίας της πηγής. Μεγιστοποιείται στα ισοπίθανα σύμβολα. Εγώ έγραψα για την πληροφορία μόνο ενός συμβόλου. Αυτή μεγαλώνει όταν το σύμβολο είναι σπάνιο. Πέρα από το μαθηματικό ορισμό της πληροφορίας ενός συμβόλου (αρνητικός λογάριθμος πιθανότητας εμφάνισης συμβόλου) μπορούμε να το δούμε και διαισθητικά. Αν πω "αύριο ο ήλιος θα ανατείλει από την ανατολή" δε δίνω καμία πληροφορία. Είπα κάτι που θεωρείται βέβαιο και όποιος το ακούσει θα πει "κάτι μας είπες τώρα". Αν όμως πω ότι αύριο δε θα ανατείλει ο ήλιος (και είναι αλήθεια) είναι τρομακτική πληροφορία. Σημαίνει ότι κάτι από αυτά που θεωρούμε σωστά δεν ισχύει.
Για την πηγή πάντως... ναι έχω μεγιστοποίηση για ισοπίθανα σύμβολα. Έτσι μια γλώσσα που χρησιμοποιεί τα σύμβολά της ισοπίθανα έχει μεγαλύτερη πληροφορία ανά σύμβολο και άρα τα κείμενα σε αυτή τη γλώσσα θα είναι πιο μικρά. Αυτός είναι και ο λόγος που αν κάνουμε μια μετάφραση από τα αγγλικά στα ελληνικά το κείμενο θα βγει πιο μεγάλο. Κυρίως οφείλεται στο ότι η αγγλική έχει το αλφάβητό της πιο κοντά στην ομοιόμορφη κατανομή. Είναι βέβαια και το ότι έχει 26 γράμματα, αλλά αυτό είναι λιγότερο σημαντικό. Το βασικό είναι οι πιθανότητες εμφάνισης των συμβόλων.

Μένοντας κοντά στον μαθηματικό ορισμό θα μπορέσουμε να είμαστε σίγουρη για την βεβαιότητα των λεγόμενών μας. Συνεπώς, θεωρώ ότι πληροφορία μόνο ενός συμβόλου δεν υφίσταται, γιατί δεν υπάρχει πηγή η οποία παράγει πληροφορία μόνο με ένα σύμβολο. Η μικρότερη δυνατή πηγή που υπάρχει είναι η δυαδική πηγή.
Θεωρώντας ότι "ο ήλιο θα ανατείλει αύριο" είναι μια πληροφορία που παράγει μια πηγή (έστω το στόμα σου ή η σκέψη σου), πρέπει να υπολογίσουμε την πιθανότητα που υπάρχει να εμφανιστεί αυτή η πληροφορία --> εδώ 1 (θα γίνει σίγουρα). Τώρα, θεωρώντας ότι "ο ήλιος δε θα ανατείλει" αύριο, αυτή η πληροφορία έχει πιθανότητα εμφάνισης 0. Και για τις δύο αυτές περιπτώσεις, η εντροπία ελαχιστοποιείται, διαισθητικά αυτό σημαίνει ότι η πληροφορία που μας έδωσες μας είναι άχρηστη (όπως σωστά είπες πιο πάνω). Η εντροπία μεγιστοποιείται όταν τα σύμβολα είναι ισοπίθανα. Επομένως, στο πιο πάνω παραδειγμα, αφού το ένα είναι συμπλήρωμα του άλλου, η εντροπία θα είναι 0.
Θεωρώ ότι έχεις καταλάβει τον ορισμό, αλλά είπες ένα ατυχές παράδειγμα.
Φιλικά  :)

dimitrios67

  • Βετεράνος
  • ****
  • Μηνύματα: 71
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #9 στις: 14 Φεβ 2016, 09:16:03 μμ »
 
Παράθεση
Θεολόγος σε σχολείο είναι από ότι είδα. Τι απόψεις περιμένεις να έχει;
http://www.biblionet.gr/author/15987/Αρσένιος_Μέσκος
Τυχαινει να τον γνωριζω προσωπικα και ξερω οτι δεν ειναι "αιθεροβαμων"...
Με εναν καθηγητη Φυσικης Πανεπιστημιακης βαθμιδας που μιλησα για το συγκεριμενο θεμα μου ειπε:
"ο τυπος ξερει Φυσικη, απλα προσπαθει να συνδυασει 2 διαφορετικους χωρους. Τωρα το κατα ποσο αυτο ειναι επιτυχες,
δεν μπορουμε να το πουμε..ειναι απλα μια θεωρια...."
Εκτος αυτου ο Μεσκος στο χωρο της θεολογιας και της εκκλησιας θεωρειται "αιρετικος"....
anyway....παντως "θαυμασα" τη βαθεια γνωση σου πανω σε "θεωρητικά" θεματα των επιστημων.
Δ.

gpapargi

  • Γενικός διαχειριστής
  • *****
  • Μηνύματα: 2408
  • I 'm not young enough to know everything
Απ: Η σημασία της πληροφορίας σ' ένα ολογραφικό Σύμπαν
« Απάντηση #10 στις: 15 Φεβ 2016, 04:15:26 μμ »
Μένοντας κοντά στον μαθηματικό ορισμό θα μπορέσουμε να είμαστε σίγουρη για την βεβαιότητα των λεγόμενών μας. Συνεπώς, θεωρώ ότι πληροφορία μόνο ενός συμβόλου δεν υφίσταται, γιατί δεν υπάρχει πηγή η οποία παράγει πληροφορία μόνο με ένα σύμβολο. Η μικρότερη δυνατή πηγή που υπάρχει είναι η δυαδική πηγή.

Σε σχέση με αυτό  που γράφεις, άλλο πράγμα να έχεις πηγή με ένα σύμβολο (που οδηγεί σε 0 πληροφορία) και άλλο να βρεις την πληροφορία ενός συμβόλου μιας πηγής με πολλά σύμβολα.
Δεν απομακρύνομαι από τον ορισμό. Απλά είναι βασικό για μένα να βλέπουμε το φυσικό του νόημα. Η μέση τιμή κάποιων αριθμών xi με πιθανότητα εμφάνισης pi,  δίνεται από τη σχέση Σpi*xi. Δηλαδή πολλαπλασιάζεις τον καθένα με την πιθανότητα εμφάνισης και προσθέτεις τα αποτελέσματα. Ο ορισμός της εντροπίας της πηγής είναι Σpi*log(1/pi). Δηλαδή βρίσκουμε το μέσο όρο των log(1/pi). Αυτό είναι η πληροφορία του συμβόλου i  με πιθανότητα εμφάνισης pi. Δηλαδή η εντροπία της πηγής δεν είναι παρά ο μέσος όρος της πληροφορίας που περιέχουν τα σύμβολά της.
Υπάρχει η πληροφορία ενός συμβόλου και είναι το log(1/pi) = -log(pi). Σύμβολο (ή γεγονός) με πιθανότητα 1 έχει λογάριθμο 0 άρα η πληροφορία είναι 0. Αν η πιθανότητα τείνει στο 0 τότε ο λογάριθμος τείνει στο μείον άπειρο οπότε με το μείον μπροστά η πληροφορία τείνει στο άπειρο. Αυτό ισχύει για την περίπτωση «αύριο ο ήλιος δε θα ανατείλει». Μια πηγή με ένα σύμβολο μόνο προφανώς δε δίνει καμία πληροφορία αφού όλο το ίδιο σύμβολο στέλνει. Δεν υπάρχει καμία έκπληξη. Αυτό δένει και με τον ορισμό που έδωσα: το μοναδικό σύμβολο έχει πιθανότητα εμφάνισης 1 και άρα ο λογάριθμος είναι 0. Το ίδιο και η πληροφορία.
Η εντροπία της πηγής είναι η μέση πληροφορία των συμβόλων (λογικό). Αυτή η μέση τιμή μεγιστοποιείται για ισοπίθανα σύμβολα. Μπορεί ένα σπάνιο σύμβολο να περιέχει μεγάλη ποσότητα πληροφορίας, αλλά είναι σπάνιο και έτσι έχει λιγότερη βαρύτητα στο μέσο όρο από ένα σύμβολο με μεγάλη πιθανότητα εμφάνισης (το οποίο περιέχει μικρή πληροφορία). Η μεγιστοποίηση είναι καθαρά μαθηματικό θέμα.
Γιώργος Παπαργύρης (gpapargi@hotmail.com)