MÉCANIQUE STATISTIQUE



MÉCANIQUE STATISTIQUE

1. Théorie statistique de l'information

1.1. Entropie infométrique

2. Loi de Boltzmann

2.1. Entropie thermodynamique

3. Distributions statistiques physiques

3.1. Distribution de Maxwell

3.2. Distribution de Maxwell-Boltzmann

3.3. Distribution de Fermi-Dirac

3.4. Distribution de Bose-Einstein

4. Loi de Fick

5. Mouvement brownien

La mécanique statistique, appelée aussi "thermodynamique statistique", a pour but d'expliquer le comportement des systèmes macroscopiques (constitués d'un grand nombre d'objets en interaction) à partir de leurs caractéristiques microscopiques. C'est de façon beaucoup plus générale, la physique quantique qui décrit les propriétés et l'évolution des systèmes physiques à l'échelle microscopique. La mécanique statistique est donc construite sur cette description quantique comme nous le verrons sur les développements mathématiques qui suivront.

La démarche présentée ici est d'aborder la mécanique statistique élémentaire pour en déduire ensuite la thermodynamique. La mécanique statistique constitue en effet, avec la physique quantique et la relativité, l'un des piliers de la physique moderne dans l'explication de phénomènes à partir de leurs constituants. Il est important de la percevoir d'emblée comme une théorie fondamentale, et non pas comme une simple tentative pour justifier à posteriori la thermodynamique. La thermodynamique elle-même y gagne en retour compréhension plus juste et plus profonde de ses principes et de ses méthodes.

THÉORIE STATISTIQUE DE L'INFORMATION

Le mot "information" est utilisé dans des contextes très variés, dans des sens totalement différents suivants les disciplines scientifiques : nous pouvons à titre d'exemple citer la thermodynamique avec le concept d'entropie, la physique appliquée avec la théorie du signal, la biologie avec la théorie du génome et la physique quantique avec la probabilité d'obtenir de l'information.

Se pose alors la question, s'il est possible de construire une théorie de l'information et si elle est unique? Notre démarche ici, ne vise non pas l'information en tant que telle, mais la quantité d'information. Lorsque nous parlons de quantité et de mesure, nous pensons à la notion de contenu ou de valeur de l'information. La science de l'information de par son objet doit se sentir concernée par ce questionnement. Si nous définissons "l'infométrie" comme l'ensemble des techniques de mesures mathématiques et statistiques de l'information, nous souhaiterions avoir une définition suffisamment claire du concept de quantité d'informations qui puisse nous amener à définir une mesure, c'est-à-dire un ensemble d'opérations parfaitement définies, nous amenant à des axiomes clairs et dont le résultat est un nombre. La synthèse que nous développons ici n'est pas ambitieuse.

Nous nous intéressons donc ici aux fondements la théorie statistique de l'information connue également sous le nom de "théorie de Shannon". La formule de Shannon qui en ressort est certainement un des concepts fondamentaux de toute la physique puisqu'elle touche la brique irréductible de la physique : l'information !!

Nous montrerons (plus bas) qu'un système physique isolé a pour état le plus probable, celui qui contient le plus d'états et qui est donc à fortiori le plus imprévisible. Or, l'état le plus improbable est donc celui qui est le plus prévisible. Dès lors, puisque l'imprévisibilité apparaît comme un attribut essentiel de l'information, nous identifions la mesure quantitative de l'information à son improbabilité.

Ainsi, la quantité d'information h(x) apportée par la réalisation d'un événement x de probabilité p(x) sera une fonction croissante f de son improbabilité 1/p(x) :

equation   (32.1)

De plus, la réalisation de deux événements indépendants x et y apporte intuitivement une quantité d'information qui est la somme de leurs quantités d'informations respectives, soit :

equation   (32.2)

La fonction logarithme est donc par ses propriétés une candidate naturelle pour f telle que:

equation   (32.3)

equation est bien évidemment un nombre positif.

Remarque: Le choix de la base du logarithme définit l'unité d'information qui est complètement arbitraire. Par la suite, et sauf précision contraire, "log" désignera le logarithme en base equation

Ainsi, la "quantité d'information intrinsèque" d'un événement x est donc de par les propriétés du logarithme:

equation   (32.4)

Elle peut être considérée, comme nous l'avons fait, comme une mesure d'incertitude sur l'événement, ou comme celle de l'information nécessaire pour résoudre cette incertitude.

Définitions:

D1. Nous définissons "l'information intrinsèque par paire" de deux événements x et y de probabilité conjointe p(x,y) (cf. chapitre de Probabilités) par:

equation   (32.5)

D2. Nous définissons de même "l'information conditionnelle" de x sachant y par (cf. chapitre de Probabilités) :

equation   (32.6)

Il s'agit de la quantité d'information restant sur x après l'observation de y. La formule de Bayes (cf. chapitre de Probabilités) nous permet de remarquer immédiatement que si x et y sont indépendants:

equation   (32.7)

ce qui concorde avec le sens commun.

Nous souhaitons aussi mesurer la quantité d'information que la donnée d'une variable, par exemple y, apporte sur l'autre, x. C'est le cas en particulier lorsque nous identifions x au choix d'un signal appliqué à l'entrée d'un canal et y au signal correspondant observé en sa sortie. p(x) est alors la probabilité à fortiori que x soit émis et equation la probabilité à fortiori que x ait été émis, sachant que y a été reçu. 

Une mesure de cette quantité d'information, nommée "information mutuelle" est :

equation   (32.8)

il s'agit de la mesure logarithmique de l'accroissement de la probabilité de x (donc la baisse de sa quantité d'information) dû à son conditionnement sur y. Si la donnée de y est équivalente à celle de x (cas d'un canal parfait), elle est égale à l'information intrinsèque h(x). Elle est nulle si, à l'inverse, x et y sont indépendants.

Nous avons bien évidemment:

equation   (32.9)

et de par les propriétés des logarithmes:

equation   (32.10)

cette dernière égalité justifiant le terme "mutuelle". Alors que les informations intrinsèques étaient positives, l'information mutuelle peut être négative. Nous verrons que sa moyenne, beaucoup plus importante dans la pratique, ne peut l'être.

Les événements individuels étant généralement moins importants que les moyennes, nous considérerons par la suite une source aléatoire, discrète, finie, stationnaire, et blanche (i.e. de réalisations successives indépendantes). Les événements sont donc interprétés comme le choix d'un symbole dans l'alphabet de la source. Soit n la taille de cet alphabet, et equation ses symboles. La source est donc décrite par la variable aléatoire x, qui prend ses valeurs dans l'alphabet, avec des probabilités respectives equation, telles que:

equation   (32.11)

La quantité d'information moyenne de cette source est l'espérance de l'information intrinsèque de chaque symbole de l'alphabet de la source (cf. chapitre de Statistiques). Elle est appelée "entropie" (par la notation) de X et vaut donc :

equation   (32.12)

Cette relation étant appelée la "formule de Shannon".

Cette écriture constitue un abus de notation: en effet, l'espérance mathématique a un sens si h(x) est une fonction de x. Or h(x) ne dépend pas des valeurs de x, mais seulement des probabilités associées. Nous noterons parfois plus rigoureusement l'entropie d'une distribution equation.

Les "entropies conjointes et conditionnelles" sont définies de manières similaires avec les notations idoines :

equation   (32.13)

et:

equation   (32.14)

Il faut noter dans la dernière expression que l'espérance est effectuée dans l'espace produit, et que donc le coefficient est la probabilité conjointe.

"L'information mutuelle moyenne", appelée par abus de langage "information mutuelle" se définit elle aussi de manière directe:

equation   (32.15)

Remarque: Il est à noter que la définition de la quantité d'information, par une mesure logarithmique peut paraître arbitraire, quoique raisonnable, compte tenu des propriétés attendues d'une telle mesure. Shannon, et plus tard Khintchine ont montré que compte tenues de certaines propriétés posées en axiomes, la fonction logarithmique est la seule à convenir.

exempleExemple:

Soit une variable aléatoire binaire, valant 1 avec une probabilité p (et donc 0 avec une probabilité 1-p). Son entropie vaut :

equation   (32.16)

avec equation et avec un logarithme en base 2 tel que pour un événement à deux états équiprobables, l'entropie d'obtention d'un des deux états soit égale à l'unité. Ceci dit, il vient naturellement que equation.

Elle est représentée à la figure ci-dessous, en "Shannon" (unité correspondant à l'utilisation du logarithme à base 2). Nous remarquerons sa symétrie par rapport à ½, valeur pour laquelle elle atteint son maximum, égal à 1.

equation
Entropie d'une variable binaire
  (32.17)

Il convient maintenant de faire la liaison entre la théorie statistique de l'information et la mécanique statistique :

LOI DE BOLTZMANN

Nous allons d'abord démontrer par l'intermédiaire d'un cas simple, que pour tout système, l'état le plus probable est l'état d'équilibre !

Considérons un système isolé (un système est dit "isolé" lorsqu'il est imperméable à tout flux - chaleur (adiabatique), matière, champs, ...) peuplé de N particules discernables. Ce système est partagé en deux compartiments (ou niveaux) identiques et séparés d'une paroi imperméable. Chaque compartiment est supposé contenir un nombre equation de particules.

Pour une configuration donnée du système, nous parlons de "macro-état" dans le sens où il est possible de par la quantité de particules de mesurer une grandeur dite macroscopique tel que l'énergie, la masse, la pression, etc.

Si nous fixons ce système particulier, il est bien sûr possible pour un nombre N de particules de concevoir un nombre donné de macro-états. Tel que :

- 1 particule : 2 macro-états (1 configuration par macro-état)

- 2 particules : 3 macro-états (4 configurations possibles par permutation des compartiments)

- 3 particules : 4 macro-états (8 configurations possibles par permutations des compartiments)

- 4 particules : 5 macro-états (16 configurations possibles par permutations des compartiments)

etc.

Définition: Nous appelons "micro-état", une configuration de permutation du macro-état.

Remarque: Parfois au lieu de "micro-état" nous trouvons dans la littérature "probabilité thermodynamique" ou "complexions".

Déterminons maintenant à l'aide de l'analyse combinatoire (cf. chapitre de Probabilités) le nombre de micro-états equation possibles pour chaque macro-état. Par analogie, ceci correspond à s'imaginer que le système est une tige par laquelle sont enfilées des boules (particules) et que la tige est séparée par une frontière imaginaire en un des ses points (boulier chinois). Pour une telle situation, nous avons :

equation   (32.18)

Ceci nous donne tous les arrangements possibles des "particules gauches" avec les "particules droites" (de la frontière) pour un macro-état donné (le nombre de manières dont les particules peuvent se partager entre les deux compartiments). Mais nous avons aussi dans ce cas particulier :

equation   (32.19)

Or cela correspond à la combinatoire tel que :

equation   (32.20)

et donc :

equation   (32.21)

Nous avons finalement pour tous les macro-états d'un système de N particules, un total de :

equation   (32.22)

micro-états (configurations) possibles. Or, nous avons bien vu dans l'exemple initial que :

equation   (32.23)

Ainsi, la probabilité d'existence d'un micro-état donné est de equation et elle est équiprobable !!

Nous pouvons maintenant énoncer le premier postulat de la mécanique statistique (postulat de Gibbs) : tous les micro-états discernables et accessibles d'un système isolé sont équiprobables.

Revenons-en maintenant à notre question initiale sur l'équilibre :

La notion d'équilibre associé à un macro-état nous est fournie par la thermodynamique classique. Nous y voyons qu'un système est dit à l'équilibre lorsque son état est caractérisé par l'indépendance temporelle des grandeurs macroscopiques (masse, énergie, pression, ...) et de la constance des potentiels thermodynamiques (énergie interne, enthalpie, énergie de Gibbs, ...).

Pour savoir pourquoi l'équilibre est l'état le plus probable, il nous suffit de chercher quel est le couple equation qui maximise :

equation   (32.24)

puisque tous les micro-états sont de toute façon équiprobables. Il est facile de contrôler que ce maximum est donné pour :

equation   (32.25)

Nous pouvons dès lors énoncer le deuxième postulat de la mécanique statistique : l'état d'équilibre est l'état qui correspond au plus grand nombre de configurations (micro-états) et est l'état le plus probable!!

Ou en d'autres termes: Un système atteint l'équilibre lorsque son entropie devient maximale!!

Soit maintenant à considérer le système suivant :

equation
  (32.26)

La fonction de distribution P(x) qui décrit la position des particules selon l'axe x à l'équilibre equation va évoluer vers une autre fonction de distribution correspondant au nouvel équilibre equation. À l'équilibre P(x) est constante. Mais entre les deux équilibres, elle évolue, et devient de plus en plus large. Nous perdons donc de l'information sur la position des particules. Nous pouvons donc ré-énoncer le deuxième postulat en disant qu'un système hors d'équilibre évolue toujours dans le sens d'une perte d'informations (d'un élargissement de la fonction de distribution caractéristique).

Parallèlement, le deuxième principe de la thermodynamique classique nous indique que cette toute évolution naturelle doit nécessairement correspondre à un accroissement d'entropie equation. Il doit donc exister un lien étroit entre l'information que nous possédons sur l'état de chacune des particules et l'entropie du système.

Le cas que nous venons de décrire montre clairement que les paramètres ou concepts : nombre de configurations, désordre, équilibre, quantité d'information et entropie d'un système isolé servent à représenter l'état d'un système. Ces paramètres jouent le même rôle. Des relations mathématiques doivent donc les relies les unes aux autres.

Rappelons que nous avons démontré que l'entropie statistique infométrique d'un système est donnée par :

equation   (32.27)

Si nous appliquons cette relation au cas d'un système physique en équilibre pour lequel nous souhaitons calculer l'entropie, nous avons démontré :

equation   (32.28)

Il nous faut encore savoir à quoi correspond cette probabilité constante. Nous avons démontré précédemment qu'à l'équilibre, nous avions :

equation   (32.29)

qui est donc le nombre de micro-états à l'équilibre. Ainsi, la probabilité de tirer un micro-état parmi tous est de :

equation   (32.30)

que nous notons, dangereusement par tradition simplement :

equation   (32.31)

Nous avons ainsi :

equation   (32.32)

Comme les probabilités des micro-états sont équiprobables et que nous sommons sur l'ensemble de ces derniers, il vient :

equation   (32.33)

et donc :

equation   (32.34)

Puisque l'équilibre est liée au désordre maximum, et que le désordre est lié à l'information manquante, il paraît raisonnable de relier l'entropie statistique de l'information à l'entropie statistique thermodynamique en physique. Pour cela, il faut que la constante nous permette d'obtenir les bonnes unités et il vient naturellement de choisir cette constante telle qu'elle soit égale à la constante de Boltzmann k qui a les mêmes unités que l'entropie thermodynamique. Ainsi :

equation   (32.35)

Il nous faut encore choisir la base du logarithme. L'expérience montre qu'il faut choisir le logarithme népérien qui permet de retrouver des résultats de la mécanique classique après développements.

Ainsi, nous obtenons finalement la "loi de Boltzmann" :

equation   (32.36)

Qui nous donne l'entropie thermodynamique d'un système à l'équilibre!

De par les propriétés mathématiques de l'écart-type, nous avons pour un ensemble N de sous-systèmes :

equation   (32.37)

Par analogie, avec une approche statistique de l'énergie interne de l'ensemble du système étant alors:

equation   (32.38)

Par analogie, avec une approche statistique de l'énergie interne de l'ensemble du système étant alors:

equation   (32.39)

Soit en différenciant:

equation   (32.40)

ce qui est l'expression statistique intuitive du premier principe de la thermodynamique. Effectivement, le travail est une variation d'énergie mécanique déterministe de micro-états, alors que la chaleur comme nous le verrons plus bas se décrit à l'aide de fonctions de distributions d'où le fait que nous intégrons sur les probabilités.

Nous y reviendrons un peu plus en détails dans le chapitre de Thermodynamique!


page suivante : 3. Distributions statistiques physiques