Leçon 313 — Inégalités de concentration. Markov, Tchebychev, Hoeffding.

Points clés

[[markov-inegalite|Inégalité de Markov]] et [[bienayme-tchebychev|Tchebychev]]. Inégalité de Hoeffding. Méthode de Chernoff (borne exponentielle). Inégalité de McDiarmid. Applications : bornes de déviation

Plan

Inégalités élémentaires ([[markov-inegalite|Inégalité de Markov]] : [formule] pour [formule], [[bienayme-tchebychev|Inégalité de Bienaymé-Tchebychev]] : [formule], Inégalité de Jensen : [formule] pour [formule] convexe) — Méthode de Chernoff (Principe : [formule] puis optimiser en [formule], Transformée de Laplace [formule] : propriétés de convexité, Borne de Chernoff pour les variables de Bernoulli : [formule]) — Inégalité de Hoeffding (Lemme de Hoeffding : si [formule] et [formule], alors [formule], Théorème de Hoeffding : [formule], Borne bilatérale : [formule]) — Inégalité de McDiarmid (Condition des différences bornées : [formule], Énoncé : [formule], Généralisation de Hoeffding aux fonctions de variables indépendantes) — Inégalités sous-gaussiennes (Variable sous-gaussienne : [formule] pour tout [formule], Exemples : variable bornée, variable gaussienne, Somme de sous-gaussiennes indépendantes : contrôle exponentiel) — Applications (Bornes de déviation pour les sondages : [formule], Apprentissage statistique : bornes de généralisation PAC, Concentration de la norme d'un vecteur gaussien)