Chaîne de Markov - Distribution invariante
Chaîne de Markov - Distribution invariante
Chaine de Markov – Distribution invariante
Les chaines de Markov apparaissent dans divers domaines (Biologie, Physique, Economie, Informatique,…) afin de prévoir le futur et estimer les évolutions possibles à partir d’une situation initiale.
Propriétés :
Soit $(X_k)$ une chaine de Markov et $p_{ij}$ la probabilité de passer de l’état $i$ à l’état $j$. On suppose que la chaine contient $n$ états.
La matrice de transition de cette chaine de Markov est une matrice de dimension $n \times n$ qui vaut
$P = \left ( \begin{array}{cc} p_{1,1} & .. & p_{1,n} \\ .&&.\\ p_{n,1} & .. & p_{n,n} \end{array} \right )$.
La probabilité de transition $p_{ij}^{(n)}$ est la probabilité de passer de l’état $i$ à l’état $j$ en $n$ étapes et est le terme $ij$ dans la matrice $P^n$.
Soit $\Pi_0$ la matrice de l’état initial,
A la $n$ieme transition on a $\Pi_n$ tel que $\Pi_n = \Pi_0 \times P^n$.
Si $P^n$ converge, alors la distribution de probabilité est stationnaire, notée $\Pi$, et vérifie $\Pi = \Pi P$. Elle ne dépend donc pas de l’état initial.
Exemple :
On considère un pays proche de l’équateur dont le temps est à peu près le même quelque que soit le jour de l’année :
s’il pleut un jour alors il repleut le jour suivant avec une probabilité $\dfrac{2}{3}$
s’il fait beau, alors il refait beau avec une probabilité $\dfrac{3}{4}$.
1-Quelle est la probabilité qu’il fasse beau 7 jours après, en supposant qu’il faisait beau le première jour ?
2-Quelle est la proportion de beaux jours en un an ?
Réponses :
1- La première question consiste à déterminer l’état $7$ jours après, c’est à dire en 7 étapes. On cherche donc à connaitre $\Pi_7$.
On considère les états suivants : (Beau temps Mauvais temps).
Ainsi l’état initial est donné par $\Pi_0 = (\begin{array}{cc} 1 & 0 \end{array})$.
Si il fait beau, il refait beau avec une probabilité de $\dfrac{3}{4}$. Il pleut donc après un jour de beau temps avec une probabilité de $\dfrac{1}{4}$
Si il pleut, il pleut à nouveau avec une probabilité de $\dfrac{2}{3}$. Il fait donc beau après un jour de pluie avec une probabilité de $\dfrac{1}{3}$.
La matrice de transition est donc la suivante $P = \left ( \begin{array}{cc} \dfrac{3}{4} & \dfrac{1}{4} \\ \dfrac{1}{3} & \dfrac{2}{3} \end{array} \right )$.
Ainsi, $\Pi_7 = \Pi_0 \times P^7 \approx (\begin{array}{cc} 0,57 & 0,43 \end{array})$ d’après la calculatrice. La probabilité qu’il fasse beau 7 jours après est de 0,57.
2- Cela revient à déterminer à long terme la proportion de beaux jours. On cherche donc à déterminer l’état stationnaire de $\Pi_n$.
On suppose que $P^n$ converge.
Soient $a$ et $b$ deux réels tels que $\Pi = (\begin{array}{cc} a & b \end{array})$
Ainsi $\Pi = \Pi P \iff \left \{ \begin{array}{ccc} \dfrac{3}{4}a + \dfrac{1}{3} b &=& a \\ \dfrac{1}{4}a + \dfrac{2}{3} b &=& b \end{array} \right.$
Or $a + b = 1$ ou encore $b = 1 – a$.
Finalement, on obtient $\left \{ \begin{array}{ccc} a &=& \dfrac{4}{7} \\ b &=& \dfrac{3}{7} \end{array} \right.$
La probabilité qu’il fasse beau est donc en moyenne de $ \dfrac{4}{7}$.
Ainsi, le nombre de jours moyen de beau temps est de $365 \times \dfrac{4}{7} \approx 209$.