Statistque III - Cours 11

Distinction causalité et prédiction

Identifier les objectifs distincts entre l'estimation d'effets causaux et la prédiction précise sur de nouvelles données.

Limites des DAGs sur la forme fonctionnelle

Expliquer pourquoi les graphes acycliques dirigés ne spécifient pas la forme mathématique exacte des relations entre variables.

Hypothèses implicites des modèles classiques

Reconnaître les hypothèses de linéarité, de distribution normale et de simplicité des interactions ajoutées dans les modèles causaux traditionnels.

Conséquences de la rigidité structurelle

Analyser le compromis entre l'interprétabilité causale et le réalisme des modèles lorsqu'une forme fonctionnelle rigide est imposée.

Définition de la fonction prédictive

Formuler mathématiquement le problème de prédiction comme la recherche d'une fonction $f$ telle que $Y \approx f(X)$.

Différences avec les approches traditionnelles

Comparer les hypothèses de forme fonctionnelle spécifiée versus apprise, et l'objectif d'explication versus prédiction.

Hypothèses sur les données

Identifier les trois hypothèses fondamentales du ML concernant la représentativité, l'homogénéité des distributions et la quantité suffisante de données.

Généralisation et données nouvelles

Expliquer pourquoi l'objectif principal du machine learning est la performance prédictive sur des données jamais vues plutôt que l'ajustement aux données d'entraînement.

Apprentissage supervisé

Définir l'apprentissage supervisé comme la prédiction d'une variable cible connue à partir de données étiquetées, incluant classification et régression.

Apprentissage non supervisé

Caractériser l'apprentissage non supervisé comme la découverte de structures cachées ou de motifs dans des données sans variable cible.

Apprentissage par renforcement

Expliquer l'apprentissage par renforcement comme l'optimisation de décisions via essais-erreurs et récompenses dans un environnement.

Indice de Gini et pureté

Calculer et interpréter l'indice de Gini comme mesure de l'impureté d'un nœud, variant de 0 (pureté parfaite) à 0,5 (classes équilibrées).

Construction récursive des arbres

Décrire l'algorithme de construction d'un arbre par divisions successives visant à maximiser la pureté des nœuds enfants.

Arbres de régression et de classification

Différencier les arbres de régression (variable cible numérique) des arbres de classification (variable cible catégorielle).

Interprétation de l'importance des variables

Évaluer l'importance d'un prédicteur selon sa position dans l'arbre, sa fréquence d'utilisation et sa significativité.

Implémentation en R avec ctree

Utiliser les fonctions R ctree() et plot() du package party pour ajuster et visualiser des arbres de décision.

Définition du surapprentissage

Caractériser le surapprentissage comme la mémorisation du bruit des données d'entraînement nuisant à la prédiction sur de nouvelles observations.

Méthodes d'évaluation de la généralisation

Appliquer les techniques de séparation entraînement/test, de validation croisée et de matrice de confusion pour évaluer les performances prédictives.

Avantages et limites des arbres

Évaluer le compromis entre la flexibilité sans hypothèse des arbres de décision et leur tendance au surapprentissage et à l'instabilité.

Principe du bagging

Expliquer le bootstrap aggregating comme méthode d'entraînement de multiples arbres sur des échantillons bootstrap différents.

Sélection aléatoire des variables

Décrire le mécanisme de sélection d'un sous-ensemble aléatoire de prédicteurs à chaque division pour décorreler les arbres.

Agrégation des prédictions

Déterminer la prédiction finale d'une forêt par vote majoritaire en classification ou moyenne des prédictions en régression.

Erreur out-of-bag (OOB)

Utiliser l'erreur out-of-bag comme mesure interne de performance basée sur les observations non utilisées dans chaque arbre bootstrap.

Comparaison arbre unique et forêt

Comparer la stabilité, la robustesse et la capacité de généralisation d'un arbre de décision unique versus une forêt aléatoire.