Aquesta secció és opcional i no entra en l’examen (de la majoria de professors), però està bastant bé per entendre les estadístiques que venen a continuació.
Per més informació
Teoria de la InformacióIdees bàsiques
Entropia (fórmula de Boltzmann)
“Mesura cada macroestat quants microestats associats té, és a dir la probabilitat d’un macroestat.”
Si un sistema tancat sempre evoluciona augmentant l’entropia (2a llei de la Termodinàmica), significa que sempre evolucionarà cap al macroestat més probable (el que més microestats associats té).
Pregunta que ens fem:
Si tenim un conjunt d’esdeveniments (microestats en el cas de la física), cadascun amb una noció de probabilitat associada (ja sigui independent o condicionada, discreta o continua), podem associar a aquella distribució de probabilitat una entropia?
Entropia de Shannon
Fórmula
Cas discret
Cas continu
Explicació fórmula i introducció a Teoria de la Informació
Nota: recordem que
Intuïció sobre de l’entropia de Shannon
L’entropia de Shannon ens diu la quantitat d’informació que emmagatzema un sistema.
És a dir (de mitjana) quantes preguntes de Sí o No li hauríem de fer al sistema per tal de descriure’l completament.
Dit d’altra manera és el grau de “desconeixement” o “desinformació” que nosaltres tenim sobre el sistema (quan encara no hem fet cap pregunta).
Notació
En general s’expressa la entropia de Shannon amb la lletra , però a vegades també es fa servir i si som explícits amb el significat d’entropia es fa servir .
Podem treballar amb al desenvolupar la teoria, però en física ens serà més útil treballar amb un logaritme neperià i corregir el canvi amb una constant (constant de Boltzmann per l’entropia termodinàmica).
Es fa servir en física estadística el i el enlloc del perquè les equacions diferencials en física que es tracten són de la forma i per tant queda com a solució . Per exemple l’equació de Schrödinger.
Es clar que també es pot expressar com però és més fàcil treballar directament amb la constant que relaciona la derivada i la funció normal que no pas inventar-se una nova constant.
bla bla
Matemàticament decreixent amb
Ara bé la gràcia
Ja que —>
Molt bé anem a fer més coses així
Recordem, regla de Bayes
El promig de tot aixó s’anomena “Entropia de Shannon”
L’entropia representa el grau de desinformació (desconeixament) que tenim sobre el sistema.