Arbres de Décision

Frederic Koriche
Cours Intelligence Artificielle Apprentissage: partie II Université Montpellier II, France

Frederic.Koriche@lirmm.fr

Concepts Généraux Arbres de Décision Apprentissage Recherches

Outline
1 2

Concepts Généraux Arbres de Décision Exemples Structure Logique Apprentissage d’Arbres de Décision Le problème L’algorithme de base L’heuristique d’entropie Recherches sur les Arbres de Décision Overfitting Autres thèmes

3

4

Arbres de Décision

Arbres de Décision

Concepts Généraux Arbres de Décision Apprentissage Recherches

Arbres de Décision
Un arbre de décision est une représentation arborescente d’une fonction à valeurs discrêtes. Expressivité: peut représenter des disjonctions de conjonctions Lisibilité: peut être traduit comme un ensemble de règles de décision

Apprentissage
L’apprentissage d’arbres de décision est une des méthodes les plus connues et appliquées en classification. Les principaux algorithmes sont ID3, ID4, C4.5 et C5.0.

Arbres de Décision

Arbres de Décision

Concepts Généraux Arbres de Décision Apprentissage Recherches

Arbres de Décision
Un arbre de décision est une représentation arborescente d’une fonction à valeurs discrêtes. Expressivité: peut représenter des disjonctions de conjonctions Lisibilité: peut être traduit comme un ensemble de règles de décision

Apprentissage
L’apprentissage d’arbres de décision est une des méthodes les plus connues et appliquées en classification. Les principaux algorithmes sont ID3, ID4, C4.5 et C5.0.

Arbres de Décision

Arbres de Décision

Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique Outline 1 2 Concepts Généraux Arbres de Décision Exemples Structure Logique Apprentissage d’Arbres de Décision Le problème L’algorithme de base L’heuristique d’entropie Recherches sur les Arbres de Décision Overfitting Autres thèmes 3 4 Arbres de Décision Arbres de Décision .

chaud chaud chaud doux froid froid froid doux froid doux doux doux chaud doux humidité élevée élevée élevée élevée normale normale normale élevée normale normale normale élevée normale élevée vent faible fort faible faible faible fort fort faible faible faible fort fort faible fort jouer non non oui oui oui non oui non oui oui oui oui oui non Instance fonction x qui associe à tout attribut a une valeur v. Jouer au tennis Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique jour 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ciel soleil soleil couvert pluie pluie pluie couvert soleil soleil pluie soleil couvert couvert pluie temp. Exemple paire (x. c) où x est une instance et c la classe à prédire pour cette instance.

Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique jour 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ciel soleil soleil couvert pluie pluie pluie couvert soleil soleil pluie soleil couvert couvert pluie temp. c) où x est une instance et c la classe à prédire pour cette instance. Jouer au tennis Arbres de Décision Arbres de Décision . chaud chaud chaud doux froid froid froid doux froid doux doux doux chaud doux humidité élevée élevée élevée élevée normale normale normale élevée normale normale normale élevée normale élevée vent faible fort faible faible faible fort fort faible faible faible fort fort faible fort jouer non non oui oui oui non oui non oui oui oui oui oui non Instance fonction x qui associe à tout attribut a une valeur v. Exemple paire (x.

chaud chaud chaud doux froid froid froid doux froid doux doux doux chaud doux humidité élevée élevée élevée élevée normale normale normale élevée normale normale normale élevée normale élevée vent faible fort faible faible faible fort fort faible faible faible fort fort faible fort jouer non non oui oui oui non oui non oui oui oui oui oui non Instance fonction x qui associe à tout attribut a une valeur v.Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique jour 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ciel soleil soleil couvert pluie pluie pluie couvert soleil soleil pluie soleil couvert couvert pluie temp. Jouer au tennis Arbres de Décision Arbres de Décision . c) où x est une instance et c la classe à prédire pour cette instance. Exemple paire (x.

Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique ciel soleil couvert pluie Arbre de décision Noeuds: attributs humidité oui vent Branches: valeurs Feuilles: décisions (classes) fort normale élevée faible Classification oui non oui non Une instance est testée par son chemin depuis la racine jusqu’à la feuille Arbres de Décision Arbres de Décision .

chaud humidité élevée vent fort classe ? Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique ciel soleil couvert pluie Arbre de décision vent humidité oui Noeuds: attributs Branches: valeurs Feuilles: décisions (classes) Classification Une instance est testée par son chemin depuis la racine jusqu’à la feuille normale élevée faible fort oui non oui non ciel soleil temp.

Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique ciel soleil couvert pluie Arbre de décision vent humidité oui Noeuds: attributs Branches: valeurs Feuilles: décisions (classes) Classification Une instance est testée par son chemin depuis la racine jusqu’à la feuille normale élevée faible fort oui non oui non ciel soleil temp. chaud humidité élevée vent fort classe ? Arbres de Décision Arbres de Décision .

chaud humidité élevée vent fort classe ? Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique ciel soleil couvert pluie Arbre de décision vent humidité oui Noeuds: attributs Branches: valeurs Feuilles: décisions (classes) Classification Une instance est testée par son chemin depuis la racine jusqu’à la feuille normale élevée faible fort oui non oui non ciel soleil temp.

chaud humidité élevée vent fort classe non Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique ciel soleil couvert pluie Arbre de décision vent humidité oui Noeuds: attributs Branches: valeurs Feuilles: décisions (classes) Classification Une instance est testée par son chemin depuis la racine jusqu’à la feuille normale élevée faible fort oui non oui non ciel soleil temp.

alors x est classé par la tête de r. Arbres de Décision Arbres de Décision . fort normale élevée faible Classification oui non oui non Si x est un modèle du corps d’une règle de décision r.Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique ciel soleil couvert pluie Règles vent humidité oui Chaque chemin depuis la racine jusqu’à une feuille est une règle de décision.

fort normale élevée faible Classification oui non oui non Si x est un modèle du corps d’une règle de décision r. alors x est classé par la tête de r.Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique ciel soleil couvert pluie Règles humidité oui vent Chaque chemin depuis la racine jusqu’à une feuille est une règle de décision. (ciel = soleil)∧(humidité = élevée) → (classe = non) Arbres de Décision Arbres de Décision .

alors x est classé par la tête de r.Concepts Généraux Arbres de Décision Apprentissage Recherches Exemples Structure Logique ciel soleil couvert pluie Règles humidité oui vent Chaque chemin depuis la racine jusqu’à une feuille est une règle de décision. fort normale élevée faible Classification oui non oui non Si x est un modèle du corps d’une règle de décision r. (ciel = soleil)∧(humidité = élevée) → (classe = non) Arbres de Décision Arbres de Décision .

Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Outline 1 2 Concepts Généraux Arbres de Décision Exemples Structure Logique Apprentissage d’Arbres de Décision Le problème L’algorithme de base L’heuristique d’entropie Recherches sur les Arbres de Décision Overfitting Autres thèmes 3 4 Arbres de Décision Arbres de Décision .

étant consistant avec E.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Rasoir d’Occam Etant donné un ensemble H d’hypothèses consistantes avec les données. le plus petit possible. Arbres de Décision Arbres de Décision . Lisibilité: l’hypothèse la plus petite est souvent la plus compréhensible. choisir une hypothèse h dans H qui est la plus simple. trouver un arbre de décision h. Description du problème Etant donné un ensemble d’exemples E. Taille La taille d’un arbre de décision est donnée par le nombre de noeuds qui le représentent. Induction: l’hypothèse la plus générale est souvent celle qui classifie le mieux les données test.

choisir une hypothèse h dans H qui est la plus simple.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Rasoir d’Occam Etant donné un ensemble H d’hypothèses consistantes avec les données. trouver un arbre de décision h. Lisibilité: l’hypothèse la plus petite est souvent la plus compréhensible. Arbres de Décision Arbres de Décision . Description du problème Etant donné un ensemble d’exemples E. le plus petit possible. Taille La taille d’un arbre de décision est donnée par le nombre de noeuds qui le représentent. Induction: l’hypothèse la plus générale est souvent celle qui classifie le mieux les données test. étant consistant avec E.

Lisibilité: l’hypothèse la plus petite est souvent la plus compréhensible. Taille La taille d’un arbre de décision est donnée par le nombre de noeuds qui le représentent. choisir une hypothèse h dans H qui est la plus simple. étant consistant avec E. le plus petit possible.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Rasoir d’Occam Etant donné un ensemble H d’hypothèses consistantes avec les données. Arbres de Décision Arbres de Décision . Induction: l’hypothèse la plus générale est souvent celle qui classifie le mieux les données test. trouver un arbre de décision h. Description du problème Etant donné un ensemble d’exemples E.

Combinatoire Soit a le nombre d’attributs et v le nombre de valeurs par attribut. trouver un arbre de décision de taille au plus k consistant avec E est un problème NP-difficile.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Complexité Etant donné un ensemble d’exemples E et un paramètre k. Trouver des: stratégies de parcours de l’espace heuristiques de choix d’attributs Arbres de Décision Arbres de Décision . l’espace des arbres de décisions est de cardinalité: a−1 Y i=0 (a − i + 1)v i Recherche L’exploration brutale des arbres de décision est impossible.

Trouver des: stratégies de parcours de l’espace heuristiques de choix d’attributs Arbres de Décision Arbres de Décision . l’espace des arbres de décisions est de cardinalité: a−1 Y i=0 (a − i + 1)v i Recherche L’exploration brutale des arbres de décision est impossible.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Complexité Etant donné un ensemble d’exemples E et un paramètre k. Combinatoire Soit a le nombre d’attributs et v le nombre de valeurs par attribut. trouver un arbre de décision de taille au plus k consistant avec E est un problème NP-difficile.

Trouver des: stratégies de parcours de l’espace heuristiques de choix d’attributs Arbres de Décision Arbres de Décision . Combinatoire Soit a le nombre d’attributs et v le nombre de valeurs par attribut. trouver un arbre de décision de taille au plus k consistant avec E est un problème NP-difficile.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Complexité Etant donné un ensemble d’exemples E et un paramètre k. l’espace des arbres de décisions est de cardinalité: a−1 Y i=0 (a − i + 1)v i Recherche L’exploration brutale des arbres de décision est impossible.

Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie + − + Stratégie Hill-Climbing: Etendre la structure incrémentalement jusqu’à obtenir un arbre consistant. Heuristique Séparation: Trouver une fonction d’évaluation qui favorise les attributs discriminants.

Heuristique Séparation: Trouver une fonction d’évaluation qui favorise les attributs discriminants.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie + − + Stratégie Hill-Climbing: Etendre la structure incrémentalement jusqu’à obtenir un arbre consistant. Arbres de Décision Arbres de Décision .

Heuristique Séparation: Trouver une fonction d’évaluation qui favorise les attributs discriminants.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie + − + Stratégie Hill-Climbing: Etendre la structure incrémentalement jusqu’à obtenir un arbre consistant. a1 + − + Arbres de Décision Arbres de Décision .

Heuristique Séparation: Trouver une fonction d’évaluation qui favorise les attributs discriminants. a1 + − + + − + a2 − Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie + − + Stratégie Hill-Climbing: Etendre la structure incrémentalement jusqu’à obtenir un arbre consistant.

Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie + − + Stratégie Hill-Climbing: Etendre la structure incrémentalement jusqu’à obtenir un arbre consistant. a3 Arbres de Décision Arbres de Décision . Heuristique a2 + − + − a1 + − + + − + a2 − Séparation: Trouver une fonction d’évaluation qui favorise les attributs discriminants.

a3 a4 + Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie + − + Stratégie Hill-Climbing: Etendre la structure incrémentalement jusqu’à obtenir un arbre consistant. Heuristique a2 + − + − + − + a1 + − + + − + a2 − a2 − Séparation: Trouver une fonction d’évaluation qui favorise les attributs discriminants.

v et A/{a} Arbres de Décision Arbres de Décision . c) ∈ E : x(a) = v} Etiqueter le noeud par a Pour chaque valeur v de a Créer un nouveau noeud fils Créer une branche du fils au père étiquetée par v Lancer l’algorithme sur le fils avec Ea.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entrée Si l’ensemble E est vide Etiqueter le noeud par ? Noeud courant de l’arbre de décision Ensemble d’exemples E Ensemble d’attributs A Sortie Si l’ensemble A est vide Etiqueter le noeud par la classe majoritaire dans E Si tous les exemples de E ont la même classe Etiqueter le noeud par la classe de E Un arbre de décision dont la racine est le noeud donné en entrée Projection Sinon Choisir un attribut a dans A Ea.v = {(x.

v et A/{a} Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entrée Si l’ensemble E est vide Etiqueter le noeud par ? Noeud courant de l’arbre de décision Ensemble d’exemples E Ensemble d’attributs A Sortie Si l’ensemble A est vide Etiqueter le noeud par la classe majoritaire dans E Si tous les exemples de E ont la même classe Etiqueter le noeud par la classe de E Un arbre de décision dont la racine est le noeud donné en entrée Projection Sinon Choisir un attribut a dans A Ea. c) ∈ E : x(a) = v} Etiqueter le noeud par a Pour chaque valeur v de a Créer un nouveau noeud fils Créer une branche du fils au père étiquetée par v Lancer l’algorithme sur le fils avec Ea.v = {(x.

v et A/{a} Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entrée Si l’ensemble E est vide Etiqueter le noeud par ? Noeud courant de l’arbre de décision Ensemble d’exemples E Ensemble d’attributs A Sortie Si l’ensemble A est vide Etiqueter le noeud par la classe majoritaire dans E Si tous les exemples de E ont la même classe Etiqueter le noeud par la classe de E Un arbre de décision dont la racine est le noeud donné en entrée Projection Sinon Choisir un attribut a dans A Ea.v = {(x. c) ∈ E : x(a) = v} Etiqueter le noeud par a Pour chaque valeur v de a Créer un nouveau noeud fils Créer une branche du fils au père étiquetée par v Lancer l’algorithme sur le fils avec Ea.

v et A/{a} Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entrée Si l’ensemble E est vide Etiqueter le noeud par ? Noeud courant de l’arbre de décision Ensemble d’exemples E Ensemble d’attributs A Sortie Si l’ensemble A est vide Etiqueter le noeud par la classe majoritaire dans E Si tous les exemples de E ont la même classe Etiqueter le noeud par la classe de E Un arbre de décision dont la racine est le noeud donné en entrée Projection Sinon Choisir un attribut a dans A Ea.v = {(x. c) ∈ E : x(a) = v} Etiqueter le noeud par a Pour chaque valeur v de a Créer un nouveau noeud fils Créer une branche du fils au père étiquetée par v Lancer l’algorithme sur le fils avec Ea.

v et A/{a} Arbres de Décision Arbres de Décision . c) ∈ E : x(a) = v} Etiqueter le noeud par a Pour chaque valeur v de a Créer un nouveau noeud fils Créer une branche du fils au père étiquetée par v Lancer l’algorithme sur le fils avec Ea.v = {(x.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entrée Si l’ensemble E est vide Etiqueter le noeud par ? Noeud courant de l’arbre de décision Ensemble d’exemples E Ensemble d’attributs A Sortie Si l’ensemble A est vide Etiqueter le noeud par la classe majoritaire dans E Si tous les exemples de E ont la même classe Etiqueter le noeud par la classe de E Un arbre de décision dont la racine est le noeud donné en entrée Projection Sinon Choisir un attribut a dans A Ea.

Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entrée Si l’ensemble E est vide Etiqueter le noeud par ? Noeud courant de l’arbre de décision Ensemble d’exemples E Ensemble d’attributs A Sortie Si l’ensemble A est vide Etiqueter le noeud par la classe majoritaire dans E Si tous les exemples de E ont la même classe Etiqueter le noeud par la classe de E Un arbre de décision dont la racine est le noeud donné en entrée Projection Sinon Choisir un attribut a dans A Ea.v et A/{a} Arbres de Décision Arbres de Décision . c) ∈ E : x(a) = v} Etiqueter le noeud par a Pour chaque valeur v de a Créer un nouveau noeud fils Créer une branche du fils au père étiquetée par v Lancer l’algorithme sur le fils avec Ea.v = {(x.

Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entropie d’un ensemble d’exemples Nombre de bits nécessaires pour coder la classification d’un exemple choisi arbitrairement dans E. Deux classes possibles H(E) = c X i=1 −pi log2 pi Arbres de Décision Arbres de Décision . Définition Soit pi la proportion d’exemples de classe i dans E.

Deux classes possibles H(E) = c X i=1 −pi log2 pi Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entropie d’un ensemble d’exemples Nombre de bits nécessaires pour coder la classification d’un exemple choisi arbitrairement dans E. Définition Soit pi la proportion d’exemples de classe i dans E.

Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entropie d’un ensemble d’exemples Nombre de bits nécessaires pour coder la classification d’un exemple choisi arbitrairement dans E. Deux classes possibles H(E) = c X i=1 −pi log2 pi H(E) = 1 Arbres de Décision Arbres de Décision . Définition Soit pi la proportion d’exemples de classe i dans E.

Deux classes possibles H(E) = c X i=1 −pi log2 pi H(E) = 0 Arbres de Décision Arbres de Décision . Définition Soit pi la proportion d’exemples de classe i dans E.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entropie d’un ensemble d’exemples Nombre de bits nécessaires pour coder la classification d’un exemple choisi arbitrairement dans E.

Deux classes possibles H(E) = c X i=1 −pi log2 pi H(E) = 0. Définition Soit pi la proportion d’exemples de classe i dans E.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Entropie d’un ensemble d’exemples Nombre de bits nécessaires pour coder la classification d’un exemple choisi arbitrairement dans E.33 Arbres de Décision Arbres de Décision .

G(a. Définition Soit E un ensemble d’exemples.v | H(Ea. E) = H(E) − Deux classes possibles v∈V(a) X |Ea. a un attribut et V(a) les valeurs de a.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Gain entropique Diminution de l’entropie engendrée par la partition d’un ensemble d’exemples selon un attribut donné.v ) |E| Arbres de Décision Arbres de Décision .

a un attribut et V(a) les valeurs de a.v | H(Ea. Définition Soit E un ensemble d’exemples.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Gain entropique Diminution de l’entropie engendrée par la partition d’un ensemble d’exemples selon un attribut donné. G(a. E) = H(E) − Deux classes possibles v∈V(a) X |Ea.v ) |E| Arbres de Décision Arbres de Décision .

v ) |E| G(a1 . E) = H(E) − Deux classes possibles v∈V(a) X |Ea.v | H(Ea.5 · 1) + (0.5 · 1)) = 0 Arbres de Décision Arbres de Décision . G(a. E) = 1 − ((0. Définition Soit E un ensemble d’exemples. a un attribut et V(a) les valeurs de a.Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Gain entropique Diminution de l’entropie engendrée par la partition d’un ensemble d’exemples selon un attribut donné.

E) = 1 − ((0.5 Arbres de Décision Arbres de Décision .Concepts Généraux Arbres de Décision Apprentissage Recherches Problème Algorithme Heuristique d’entropie Gain entropique Diminution de l’entropie engendrée par la partition d’un ensemble d’exemples selon un attribut donné.5 · 1)) = 0. E) = H(E) − Deux classes possibles v∈V(a) X |Ea. Définition Soit E un ensemble d’exemples.v ) |E| G(a2 . a un attribut et V(a) les valeurs de a.v | H(Ea. G(a.25 · 0) + (0.25 · 0) + (0.

Concepts Généraux Arbres de Décision Apprentissage Recherches Overfitting Autres thèmes Outline 1 2 Concepts Généraux Arbres de Décision Exemples Structure Logique Apprentissage d’Arbres de Décision Le problème L’algorithme de base L’heuristique d’entropie Recherches sur les Arbres de Décision Overfitting Autres thèmes 3 4 Arbres de Décision Arbres de Décision .

Arbres de Décision Arbres de Décision . empiriques. reduced error pruning. Plusieurs techniques d’élagage: pre-pruning. . . . une hypothèse h est sur-apprise s’il existe une hypothèse h telle que h est plus précise que h sur les données d’entraînement h est plus précise que h sur les données test Pruning Réduire les branches de l’arbre afin de permettre d’améliorer la précision estimée Plusieurs méthodes d’estimation: théoriques. .Concepts Généraux Arbres de Décision Apprentissage Recherches Overfitting Autres thèmes Overfitting Dans un espace H. post-pruning.

. post-pruning. Plusieurs techniques d’élagage: pre-pruning. . empiriques.Concepts Généraux Arbres de Décision Apprentissage Recherches Overfitting Autres thèmes Overfitting Dans un espace H. Arbres de Décision Arbres de Décision . une hypothèse h est sur-apprise s’il existe une hypothèse h telle que h est plus précise que h sur les données d’entraînement h est plus précise que h sur les données test Pruning Réduire les branches de l’arbre afin de permettre d’améliorer la précision estimée Plusieurs méthodes d’estimation: théoriques. . . reduced error pruning.

. Amélioration de la recherche Méthodes lookahead. topologiques. . . . . branch-and-bound search. . entropiques.Concepts Généraux Arbres de Décision Apprentissage Recherches Overfitting Autres thèmes Discrétisation des attributs méthodes par intervalles. . beam search. Amélioration de la précision Méthodes ensemble: boosting. . stacking. bagging. Tree drafting Arbres de Décision Arbres de Décision . .