MÉCANIQUE STATISTIQUE
1. Théorie statistique de l'information
1.1. Entropie infométrique
2. Loi de Boltzmann
2.1. Entropie thermodynamique
3. Distributions statistiques physiques
3.1. Distribution de Maxwell
3.2. Distribution de Maxwell-Boltzmann
3.3. Distribution de Fermi-Dirac
3.4. Distribution de Bose-Einstein
La mécanique statistique, appelée aussi "thermodynamique statistique", a pour but d'expliquer le comportement des systèmes macroscopiques (constitués d'un grand nombre d'objets en interaction) à partir de leurs caractéristiques microscopiques. C'est de façon beaucoup plus générale, la physique quantique qui décrit les propriétés et l'évolution des systèmes physiques à l'échelle microscopique. La mécanique statistique est donc construite sur cette description quantique comme nous le verrons sur les développements mathématiques qui suivront.
La démarche présentée ici est d'aborder la mécanique statistique élémentaire pour en déduire ensuite la thermodynamique. La mécanique statistique constitue en effet, avec la physique quantique et la relativité, l'un des piliers de la physique moderne dans l'explication de phénomènes à partir de leurs constituants. Il est important de la percevoir d'emblée comme une théorie fondamentale, et non pas comme une simple tentative pour justifier à posteriori la thermodynamique. La thermodynamique elle-même y gagne en retour compréhension plus juste et plus profonde de ses principes et de ses méthodes.
THÉORIE STATISTIQUE DE L'INFORMATION
Le mot "information" est utilisé dans des contextes très variés, dans des sens totalement différents suivants les disciplines scientifiques : nous pouvons à titre d'exemple citer la thermodynamique avec le concept d'entropie, la physique appliquée avec la théorie du signal, la biologie avec la théorie du génome et la physique quantique avec la probabilité d'obtenir de l'information.
Se pose alors la question, s'il est possible de construire une théorie de l'information et si elle est unique? Notre démarche ici, ne vise non pas l'information en tant que telle, mais la quantité d'information. Lorsque nous parlons de quantité et de mesure, nous pensons à la notion de contenu ou de valeur de l'information. La science de l'information de par son objet doit se sentir concernée par ce questionnement. Si nous définissons "l'infométrie" comme l'ensemble des techniques de mesures mathématiques et statistiques de l'information, nous souhaiterions avoir une définition suffisamment claire du concept de quantité d'informations qui puisse nous amener à définir une mesure, c'est-à-dire un ensemble d'opérations parfaitement définies, nous amenant à des axiomes clairs et dont le résultat est un nombre. La synthèse que nous développons ici n'est pas ambitieuse.
Nous nous intéressons donc ici aux fondements la théorie statistique de l'information connue également sous le nom de "théorie de Shannon". La formule de Shannon qui en ressort est certainement un des concepts fondamentaux de toute la physique puisqu'elle touche la brique irréductible de la physique : l'information !!
Nous montrerons (plus bas) qu'un système physique isolé a pour état le plus probable, celui qui contient le plus d'états et qui est donc à fortiori le plus imprévisible. Or, l'état le plus improbable est donc celui qui est le plus prévisible. Dès lors, puisque l'imprévisibilité apparaît comme un attribut essentiel de l'information, nous identifions la mesure quantitative de l'information à son improbabilité.
Ainsi, la quantité d'information h(x) apportée par la réalisation d'un événement x de probabilité p(x) sera une fonction croissante f de son improbabilité 1/p(x) :
(32.1)
De plus, la réalisation de deux événements indépendants x et y apporte intuitivement une quantité d'information qui est la somme de leurs quantités d'informations respectives, soit :
(32.2)
La fonction logarithme est donc par ses propriétés une candidate naturelle pour f telle que:
(32.3)
où 
est
bien évidemment un nombre positif.
. Ainsi, la "quantité d'information intrinsèque" d'un événement x est donc de par les propriétés du logarithme:
(32.4)
Elle peut être considérée, comme nous l'avons fait, comme une mesure d'incertitude sur l'événement, ou comme celle de l'information nécessaire pour résoudre cette incertitude.
Définitions:
D1. Nous définissons "l'information intrinsèque par paire" de deux événements x et y de probabilité conjointe p(x,y) (cf. chapitre de Probabilités) par:
(32.5)
D2. Nous définissons de même "l'information conditionnelle" de x sachant y par (cf. chapitre de Probabilités) :
(32.6)
Il s'agit de la quantité d'information restant sur x après l'observation de y. La formule de Bayes (cf. chapitre de Probabilités) nous permet de remarquer immédiatement que si x et y sont indépendants:
(32.7)
ce qui concorde avec le sens commun.
Nous
souhaitons
aussi mesurer la quantité d'information que la donnée d'une variable,
par exemple y,
apporte sur l'autre, x.
C'est le cas en particulier lorsque nous identifions x
au choix d'un signal appliqué à l'entrée d'un canal et y
au signal correspondant observé en sa sortie. p(x)
est alors la probabilité à fortiori que
x
soit émis et 
la
probabilité à fortiori
que x
ait été émis, sachant que y
a été reçu.
Une mesure de cette quantité d'information, nommée "information mutuelle" est :
(32.8)
il s'agit de la mesure logarithmique de l'accroissement de la probabilité de x (donc la baisse de sa quantité d'information) dû à son conditionnement sur y. Si la donnée de y est équivalente à celle de x (cas d'un canal parfait), elle est égale à l'information intrinsèque h(x). Elle est nulle si, à l'inverse, x et y sont indépendants.
Nous avons bien évidemment:
(32.9)
et de par les propriétés des logarithmes:
(32.10)
cette dernière égalité justifiant le terme "mutuelle". Alors que les informations intrinsèques étaient positives, l'information mutuelle peut être négative. Nous verrons que sa moyenne, beaucoup plus importante dans la pratique, ne peut l'être.
Les événements individuels étant généralement
moins importants que les moyennes, nous considérerons par
la suite une source aléatoire, discrète, finie, stationnaire,
et blanche (i.e. de réalisations successives indépendantes).
Les événements
sont donc interprétés comme le choix d'un symbole
dans l'alphabet de la source. Soit n la
taille de cet alphabet, et 
ses
symboles. La source est donc décrite par la variable aléatoire
x, qui prend ses valeurs dans l'alphabet, avec des probabilités
respectives
,
telles que:
(32.11)
La quantité d'information moyenne de cette source est l'espérance de l'information intrinsèque de chaque symbole de l'alphabet de la source (cf. chapitre de Statistiques). Elle est appelée "entropie" (par la notation) de X et vaut donc :
Cette relation étant appelée la "formule de Shannon".
Cette écriture constitue
un abus de notation: en effet, l'espérance mathématique a un
sens si h(x)
est une fonction de x.
Or h(x) ne
dépend pas des valeurs de x,
mais seulement des probabilités associées. Nous noterons parfois
plus rigoureusement l'entropie d'une distribution 
.
Les "entropies conjointes et conditionnelles" sont définies de manières similaires avec les notations idoines :
(32.13)
et:
(32.14)
Il faut noter dans la dernière expression que l'espérance est effectuée dans l'espace produit, et que donc le coefficient est la probabilité conjointe.
"L'information mutuelle moyenne", appelée par abus de langage "information mutuelle" se définit elle aussi de manière directe:
(32.15)
Exemple:
Soit une variable aléatoire binaire, valant 1 avec une probabilité p (et donc 0 avec une probabilité 1-p). Son entropie vaut :
(32.16)
avec 
et
avec un logarithme en base 2 tel que pour un événement à deux états
équiprobables, l'entropie d'obtention d'un des deux états soit égale
à l'unité. Ceci dit, il vient naturellement que 
.
Elle est représentée à la figure ci-dessous, en "Shannon" (unité correspondant à l'utilisation du logarithme à base 2). Nous remarquerons sa symétrie par rapport à ½, valeur pour laquelle elle atteint son maximum, égal à 1.
Entropie
d'une variable binaire
(32.17)
Il convient maintenant de faire la liaison entre la théorie statistique de l'information et la mécanique statistique :
LOI DE BOLTZMANN
Nous allons d'abord démontrer par l'intermédiaire d'un cas simple, que pour tout système, l'état le plus probable est l'état d'équilibre !
Considérons un système
isolé (un système est dit "isolé" lorsqu'il
est imperméable à tout flux - chaleur (adiabatique),
matière, champs, ...) peuplé de N particules
discernables. Ce système est partagé en
deux compartiments (ou niveaux) identiques et séparés
d'une paroi imperméable. Chaque compartiment est supposé
contenir un nombre 
de particules.
Pour une configuration donnée du système, nous parlons de "macro-état" dans le sens où il est possible de par la quantité de particules de mesurer une grandeur dite macroscopique tel que l'énergie, la masse, la pression, etc.
Si nous fixons ce système particulier, il est bien sûr possible pour un nombre N de particules de concevoir un nombre donné de macro-états. Tel que :
- 1 particule : 2 macro-états (1 configuration par macro-état)
- 2 particules : 3 macro-états (4 configurations possibles par permutation des compartiments)
- 3 particules : 4 macro-états (8 configurations possibles par permutations des compartiments)
- 4 particules : 5 macro-états (16 configurations possibles par permutations des compartiments)
etc.
Définition: Nous appelons "micro-état", une configuration de permutation du macro-état.
Déterminons maintenant à
l'aide de l'analyse combinatoire (cf. chapitre
de Probabilités)
le nombre de micro-états 
possibles pour chaque macro-état. Par analogie, ceci correspond
à s'imaginer que le système est une tige par laquelle
sont enfilées des boules (particules) et que la tige est
séparée par une frontière imaginaire en
un des ses points (boulier chinois). Pour une telle situation,
nous
avons :
(32.18)
Ceci nous donne tous les arrangements possibles des "particules gauches" avec les "particules droites" (de la frontière) pour un macro-état donné (le nombre de manières dont les particules peuvent se partager entre les deux compartiments). Mais nous avons aussi dans ce cas particulier :
(32.19)
Or cela correspond à la combinatoire tel que :
(32.20)
et donc :
(32.21)
Nous avons finalement pour tous les macro-états d'un système de N particules, un total de :
(32.22)
micro-états (configurations) possibles. Or, nous avons bien vu dans l'exemple initial que :
(32.23)
Ainsi, la probabilité d'existence
d'un micro-état donné est de 
et elle est équiprobable !!
Nous pouvons maintenant énoncer le premier postulat de la mécanique statistique (postulat de Gibbs) : tous les micro-états discernables et accessibles d'un système isolé sont équiprobables.
Revenons-en maintenant à notre question initiale sur l'équilibre :
La notion d'équilibre associé à un macro-état nous est fournie par la thermodynamique classique. Nous y voyons qu'un système est dit à l'équilibre lorsque son état est caractérisé par l'indépendance temporelle des grandeurs macroscopiques (masse, énergie, pression, ...) et de la constance des potentiels thermodynamiques (énergie interne, enthalpie, énergie de Gibbs, ...).
Pour savoir pourquoi l'équilibre
est l'état le plus probable, il nous suffit de chercher quel
est le couple 
qui maximise :
(32.24)
puisque tous les micro-états sont de toute façon équiprobables. Il est facile de contrôler que ce maximum est donné pour :
(32.25)
Nous pouvons dès lors énoncer le deuxième postulat de la mécanique statistique : l'état d'équilibre est l'état qui correspond au plus grand nombre de configurations (micro-états) et est l'état le plus probable!!
Ou en d'autres termes: Un système atteint l'équilibre lorsque son entropie devient maximale!!
Soit maintenant à considérer le système suivant :
(32.26)
La fonction de distribution
P(x) qui décrit la position des particules
selon l'axe x à l'équilibre 
va évoluer vers une autre fonction de distribution correspondant
au nouvel équilibre 
.
À l'équilibre P(x) est constante. Mais entre les deux équilibres, elle évolue,
et devient de plus en plus large. Nous perdons donc de l'information
sur la position des particules. Nous pouvons donc ré-énoncer
le deuxième postulat en disant qu'un système hors
d'équilibre évolue toujours dans le sens d'une
perte d'informations (d'un élargissement de la fonction
de distribution caractéristique).
Parallèlement, le deuxième
principe de la thermodynamique classique nous indique que cette
toute évolution naturelle doit nécessairement correspondre
à un accroissement d'entropie 
.
Il doit donc exister un lien étroit entre l'information que
nous possédons sur l'état de chacune des particules
et l'entropie du système.
Le cas que nous venons de décrire montre clairement que les paramètres ou concepts : nombre de configurations, désordre, équilibre, quantité d'information et entropie d'un système isolé servent à représenter l'état d'un système. Ces paramètres jouent le même rôle. Des relations mathématiques doivent donc les relies les unes aux autres.
Rappelons que nous avons démontré que l'entropie statistique infométrique d'un système est donnée par :
(32.27)
Si nous appliquons cette relation au cas d'un système physique en équilibre pour lequel nous souhaitons calculer l'entropie, nous avons démontré :
(32.28)
Il nous faut encore savoir à quoi correspond cette probabilité constante. Nous avons démontré précédemment qu'à l'équilibre, nous avions :
(32.29)
qui est donc le nombre de micro-états à l'équilibre. Ainsi, la probabilité de tirer un micro-état parmi tous est de :
(32.30)
que nous notons, dangereusement par tradition simplement :
(32.31)
Nous avons ainsi :
(32.32)
Comme les probabilités des micro-états sont équiprobables et que nous sommons sur l'ensemble de ces derniers, il vient :
(32.33)
et donc :
(32.34)
Puisque l'équilibre est liée au désordre maximum, et que le désordre est lié à l'information manquante, il paraît raisonnable de relier l'entropie statistique de l'information à l'entropie statistique thermodynamique en physique. Pour cela, il faut que la constante nous permette d'obtenir les bonnes unités et il vient naturellement de choisir cette constante telle qu'elle soit égale à la constante de Boltzmann k qui a les mêmes unités que l'entropie thermodynamique. Ainsi :
(32.35)
Il nous faut encore choisir la base du logarithme. L'expérience montre qu'il faut choisir le logarithme népérien qui permet de retrouver des résultats de la mécanique classique après développements.
Ainsi, nous obtenons finalement la "loi de Boltzmann" :
Qui nous donne l'entropie thermodynamique d'un système à l'équilibre!
De par les propriétés mathématiques de l'écart-type, nous avons pour un ensemble N de sous-systèmes :
(32.37)
Par analogie, avec une approche statistique de l'énergie interne de l'ensemble du système étant alors:
(32.38)
Par analogie, avec une approche statistique de l'énergie interne de l'ensemble du système étant alors:
(32.39)
Soit en différenciant:
(32.40)
ce qui est l'expression statistique intuitive du premier principe de la thermodynamique. Effectivement, le travail est une variation d'énergie mécanique déterministe de micro-états, alors que la chaleur comme nous le verrons plus bas se décrit à l'aide de fonctions de distributions d'où le fait que nous intégrons sur les probabilités.
Nous y reviendrons un peu plus en détails dans le chapitre de Thermodynamique!
page suivante : 3. Distributions statistiques physiques
