Entropie métrique

Présentons tout d'abord le cadre mathématique dans lequel on seplace. ${\displaystyle (X,{\mathfrak {M}},\mu )}$ est un espace de probabilité, et ${\displaystyle f:X\to X}$ est une application mesurable, qui représente la loid'évolution d'un système dynamique à temps discrets sur l'espace desphases X. On impose à f de préserver la mesure, c'est-à-dire que${\displaystyle \forall M\in {\mathfrak {M}},\mu (f^{-1}(M))=\mu (M)}$ . Partant d'unétat initial x, on peut définir la suite de ses itérés par f :${\displaystyle x,f(x),\dots ,f^{n}(x),\dots }$ L'ensemble ${\displaystyle \{f^{n}(x):n\geq 0\}}$ des états par lesquels passe le système s'appelle l'orbite de x.

Si l'on se donne une partition finie α de X constituéed'ensembles mesurables ${\displaystyle \alpha =\{A_{1},\dots ,A_{p}\}}$ et un étatinitial x, les états ${\displaystyle f^{n}(x)}$ (${\displaystyle n\geq 0}$ ) par lesquels le systèmepasse tombent chacun dans une des parties de la partition α.La suite de ces parties fournit de l'information sur l'état initialx. L'entropie correspond à la quantité moyenne d'informationapportée par une itération. La construction de l'entropie métriqueest un processus qui se déroule en trois étapes, que nous allons expliciter ci-dessous. Dans un premiertemps, on définit l'entropie ${\displaystyle {\mathcal {H}}(\alpha )}$ d'une partitionα (information moyenne issue de la connaissance de la partiede α dans laquelle se situe un point de x). Puis, ondéfinit l'entropie ${\displaystyle h(f,\alpha )}$ de la transformation frelativement à la partition α (information moyenne apportéepar une itération). Enfin, l'entropie métrique h(f) est la bornesupérieure des entropies de f relativement aux partitions de X.

Soit α une partition finie de X en ensembles mesurables. Un point${\displaystyle x\in X}$ est d'autant mieux localisé qu'il se situe dans une partie${\displaystyle A\in \alpha }$ de faible mesure ${\displaystyle \mu (A)}$ . Ceci justifiel'introduction de la fonction information ${\displaystyle I(\alpha ):X\to [0;+\infty ]}$ définie par :

${\displaystyle \forall x\in X,I(\alpha )(x)=-\sum _{A\in \alpha }\log \mu (A)\chi _{A}(x)}$

c'est-à-dire ${\displaystyle I(\alpha )(x)=-\log \mu (A)}$ si ${\displaystyle x\in A}$ .

L'entropie de la partition α est la moyenne de ${\displaystyle I(\alpha )}$  :

${\displaystyle {\mathcal {H}}(\alpha )={\frac {1}{\mu (X)}}\int _{X}I(\alpha )(x)d\mu (x)=-\sum _{A\in \alpha }\mu (A)\log \mu (A)}$

On prend ${\displaystyle 0\log 0}$ égal à 0. Si α et β sont deuxpartitions mesurables de X, on définit le joint de α etβ, ${\displaystyle \alpha \vee \beta }$ la plus grande partition plus fine queα et β : ${\displaystyle \alpha \vee \beta =\{A\cap B:A\in \alpha ,B\in \beta ,A\cap B\neq \emptyset \}}$ . On dit que βest plus fine que α, et on note ${\displaystyle \beta \geq \alpha }$ si toutélément de A de α s'écrit comme union d'éléments de β.

L'entropie d'une partition vérifie les propriétés intuitivessuivantes :

• Si α et β sont deux partitions mesurables, alors ${\displaystyle {\mathcal {H}}(\alpha \vee \beta )\leq {\mathcal {H}}(\alpha )+{\mathcal {H}}(\beta )}$ .
• Notons ${\displaystyle f^{-1}(\alpha )=\{f^{-1}(A):A\in \alpha \}}$ . On a : ${\displaystyle {\mathcal {H}}(\alpha )={\mathcal {H}}(f^{-1}(\alpha ))}$ .

La première propriété signifie que l'information apportée par laconnaissance simultanée des positions des états du systèmerelativement à deux partitions est supérieure à la somme desinformations apportées relativement à chacune des partitions. Ladeuxième propriété provient du fait que f préserve la mesure.

α est une partition mesurable. On définit l'entropie${\displaystyle h(f,\alpha )}$ de la transformation f relativement à α par :

${\displaystyle h(f,\alpha )=\lim _{n\to +\infty }{\frac {1}{n}}{\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}}$

On peut voir la transformation f comme le passage d'un jour au suivant lors d'uneexpérience. Au temps zéro, on ne parvient pas à distinguer tous lesétats, on regroupe les états non distinguables par paquets, on formede cette manière une partition α. ${\displaystyle \bigvee _{i=0}^{n-1}f^{-i}(\alpha )}$ représente ainsi tous les résultats possibles aubout de n jours. ${\displaystyle h(f,\alpha )}$ est donc l'information moyennequotidienne que l'on obtient en réalisant l'expérience.

La limite définie existe bien. Si on note ${\displaystyle a_{n}={\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}}$ , alors la suite ${\displaystyle (a_{n})_{n\in \mathbb {N} ^{*}}}$ est sous-additive car :

${\displaystyle a_{n+p}={\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n+p-1}f^{-i}(\alpha ){\Bigg )}\leq {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}+{\mathcal {H}}{\Bigg (}\bigvee _{i=n}^{n+p-1}f^{-i}(\alpha ){\Bigg )}\leq a_{n}+a_{p}}$

On a utilisé respectivement les deux propriétés de la section précédente.${\displaystyle (a_{n}/n)_{n\in \mathbb {N} ^{*}}}$ admet donc une limite.

L'entropie métrique de f, notée h(f) est la borne supérieure desentropies de f relativement aux partitions finies mesurables deX

${\displaystyle h(f)=\sup _{\alpha }h(f,\alpha )}$

h(f) est éventuellement infinie.

Le calcul de l'entropie métrique est facilité lorsque la bornesupérieure est atteinte, i.e lorsqu'il existe une partitionα telle que l'entropie métrique et l'entropie relativement àα soient confondues. À titre d'exemple, traitons le cas del'application identité de X. Alors,

${\displaystyle h(id,\alpha )={\frac {1}{n}}{\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}id^{-i}(\alpha ){\Bigg )}={\frac {1}{n}}{\mathcal {H}}(\alpha )\longrightarrow _{n\to +\infty }0}$

L'identité a une entropie nulle, ce qui est prévisible en raison de son caractère peu chaotique.

Dans beaucoup de cas moins triviaux, le théorème suivant, d'Andreï Kolmogorov et Iakov Sinaï, est l'un des outils les plus pratiques pour calculer une entropie, car il évite de prendre la borne supérieure sur toutes les partitions mesurables de X.

Si α est une partition mesurable de X telle que la suite ${\displaystyle {\Big (}\bigvee _{i=0}^{n}f^{-i}(\alpha ){\Big )}_{n\in \mathbb {N} }}$ engendre la tribu ${\displaystyle {\mathfrak {M}}}$ , ou bien si f est inversible (f^-1 est mesurable et préserve la mesure) et la suite ${\displaystyle {\Big (}\bigvee _{i=-n}^{n}f^{-i}(\alpha ){\Big )}_{n\in \mathbb {N} }}$ engendre la tribu ${\displaystyle {\mathfrak {M}}}$ alors on dit que α est génératrice.

Le théorème de Kolmogorov-Sinai affirme que si α est génératrice, alors ${\displaystyle h(f)=h(f,\alpha )}$ .

${\displaystyle \mathbb {U} =\mathbb {R} /\mathbb {Z} }$ est le cercle unité, muni de la mesure d'angledθ. Analysons l'effet d'une rotation

${\displaystyle f:x\mapsto a+x\mod 1}$

lorsque ${\displaystyle a=p/q}$ est rationnel. Soit α unepartition :

${\displaystyle h(f,\alpha )=\lim _{n\to +\infty }{\frac {1}{qn}}{\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{qn-1}f^{-i}(\alpha ){\Bigg )}=\lim _{n\to +\infty }{\frac {1}{qn}}{\Bigg (}\bigvee _{i=0}^{q-1}f^{-i}(\alpha ){\Bigg )}=0}$

Dans le cas où a est irrationnel, on montre également quel'entropie métrique de f est nulle.

Toujours sur le cercle unité, on prend cette fois l'application

${\displaystyle f:x\mapsto 2x\mod 1}$

qui double les angles. On considère la mêmepartition

${\displaystyle \alpha ={\Big \{}{\Big [}0,\displaystyle {\frac {1}{2}}{\Big [},{\Big [}\displaystyle {\frac {1}{2}},1{\Big [}{\Big \}}}$

On observe que :

${\displaystyle \alpha \vee f^{-1}(\alpha )={\Big \{}{\Big [}0,{\frac {1}{4}}{\Big [},{\Big [}{\frac {1}{4}},{\frac {1}{2}}{\Big [},{\Big [}{\frac {1}{2}},{\frac {3}{4}}{\Big [},{\Big [}{\frac {3}{4}},1{\Big [}{\Big \}}}$

Puis par récurrence, on déduit plus généralement que :

${\displaystyle \bigvee _{i=0}^{n-1}f^{-i}(\alpha )={\Big \{}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}:0\leq i\leq 2^{n}-1{\Big \}}}$

Comme les ensembles du type ${\displaystyle {\Big [}\displaystyle {\frac {i}{2^{n}}},\displaystyle {\frac {i+1}{2^{n}}}{\Big [}}$ engendrent la tribu ${\displaystyle {\mathfrak {M}}}$ , le théorème de Kolmogorov-Sinaimontre que ${\displaystyle h(f)=h(f,\alpha )}$ et :

${\displaystyle {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}f^{-i}(\alpha ){\Bigg )}=-\sum _{i=0}^{2^{n}-1}\mu {\Bigg (}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}{\Bigg )}\log \mu {\Bigg (}{\Big [}{\frac {i}{2^{n}}},{\frac {i+1}{2^{n}}}{\Big [}{\Bigg )}=n\log 2}$

L'entropie métrique de f est donc log 2.

On dispose d'un alphabet fini ${\displaystyle \Lambda =\{1,\dots ,k\}}$ . Soit${\displaystyle (p_{i})_{1\leq i\leq k}}$ des nombres strictement positifs de somme1. On assigne à chaque lettre i la probabilité ${\displaystyle m(\{i\})=p_{i}}$ d'apparition. ${\displaystyle (\Lambda ,2^{\Lambda },m)}$ est un espace de probabilité. On introduit l'espace des motsinfinis ${\displaystyle (\Lambda ^{\mathbb {Z} },{\mathfrak {M}},\mu )=\displaystyle \prod _{-\infty }^{+\infty }(\Lambda ,2^{\Lambda },m)}$ . Ondéfinit l'application décalage σ par ${\displaystyle \sigma (x)_{n}=x_{n+1}}$ pour ${\displaystyle n\in \mathbb {Z} }$ . ${\displaystyle (\Lambda ^{\mathbb {Z} },{\mathfrak {M}},\mu ,\sigma )}$ est unsystème dynamique inversible. On partitionne ${\displaystyle \Lambda ^{\mathbb {Z} }}$ en ${\displaystyle \alpha =\{P_{i}\}_{1\leq i\leq k}}$ où ${\displaystyle P_{i}}$ est l'ensemble des mots${\displaystyle (x_{n})_{n\in \mathbb {Z} }}$ tels que ${\displaystyle x_{0}=i}$ . ${\displaystyle \bigvee _{i=-n}^{n}f^{-i}(\alpha )}$ est la partition par les cylindres${\displaystyle {\mathcal {C}}_{\lambda _{-n},\dots ,\lambda _{n}}=\{(x_{n})\in \Lambda ^{\mathbb {Z} }:x_{i}=\lambda _{i},-n\leq i\leq n\}}$ . L'ensemble de cescylindres engendrent la tribu de ${\displaystyle \Lambda ^{\mathbb {Z} }}$ et le théorème deKolmogorov-Sinai s'applique. On calcule alors facilement :

${\displaystyle {\mathcal {H}}{\Bigg (}\bigvee _{i=0}^{n-1}\sigma ^{-i}(\alpha ){\Bigg )}=-\sum _{(\lambda _{0},\dots ,\lambda _{n-1})\in \Lambda ^{n}}p_{\lambda _{0}}p_{\lambda _{1}}\cdots p_{\lambda _{n-1}}\log(p_{\lambda _{0}}p_{\lambda _{1}}\cdots p_{\lambda _{n-1}})=-n\sum _{\lambda \in \Lambda }p_{\lambda }\log p_{\lambda }}$

Donc ${\displaystyle h(\sigma )=h(\sigma ,\alpha )=-\displaystyle \sum _{\lambda \in \Lambda }p_{\lambda }\log p_{\lambda }}$ .

• Entropie topologique

• Portail des mathématiques