Matrice de transition et propriété de [[markov-inegalite|Markov]]. Classification des états : transience, récurrence. Irréductibilité et apériodicité. Mesure stationnaire et théorème ergodique. Convergence vers l'équilibre
Définition et propriété de Markov (Processus stochastique [formule] à valeurs dans un ensemble fini [formule], Propriété de [[markov-inegalite|Markov]] : [formule], Matrice de transition [formule] avec [formule], Chaîne homogène : la matrice [formule] ne dépend pas de [formule]) — Classification des états (Accessibilité : [formule] s'il existe [formule] tel que [formule], Communication : [formule] si [formule] et [formule]. Classes de communication, État récurrent : [formule] ; état transient sinon, Période d'un état : [formule]) — Irréductibilité et mesure invariante (Chaîne irréductible : tous les états communiquent, Mesure invariante [formule] : [formule] avec [formule], Existence et unicité de [formule] pour une chaîne irréductible sur un espace fini) — Théorème ergodique (Énoncé : [formule] pour tout [formule], Lien avec le théorème de Perron-Frobenius, Convergence de [formule] vers la matrice dont chaque ligne est [formule] (cas apériodique)) — Convergence vers l'équilibre (Cas apériodique irréductible : [formule] quand [formule], Vitesse de convergence : trou spectral [formule], Temps de mélange : [formule]) — Applications (Algorithme PageRank : marche aléatoire sur le graphe du web, Marche aléatoire sur un graphe fini : [formule], Algorithme de Metropolis-Hastings et méthodes MCMC)