Professional Documents
Culture Documents
Iooo
Iooo
Introduction
entreprise.
Les règles jouent un rôle important dans la vie quotidienne. Elles permet- tent de
formaliser une convention ou un principe vérifié comme les règles de la grammaire
ou les, qui permettent de contraindre, contrôler et influencer un aspect du métier. Ces
règles sont utilisées pour implémenter les stratégies ou les poli- tiques d’une entreprise.
Elles sont aussi utilisées pour modéliser un processus métier d’une manière
déclarative.
Definition
Catégories de règles
Parmi les classifications de règles proposées la plus citée est la classification
proposée par Wagner, on distingue cinq catégories de règles métier.
Les règles d’intégrité
Il s’agit des contraintes ou assertions qui doivent être satisfaites. Exemple : le
client doit être enregistré pour satisfaire la commande.
Les règles de dérivation
Il s’agit d’une ou plusieurs conditions et d’une ou plusieurs conclusions. Exemple : Le
client fidèle reçoit une remise de 10%. Boukhebouze est un client fidèle. Comme
conclusion : Boukhebouze doit recevoir une remise de 10%.
Les règles de production
Il s’agit d’une ou plusieurs conditions et d’une ou plusieurs actions. Exemple : Si
le stock est épuisé, Alors lancer l’approvisionnement.
Les règles de réaction
Il s’agit des règles qui se déclenchent par des occurrences d’événements et qui
exigent une satisfaction de conditions pour exécuter des actions. Exemple : à la
réception d’une commande, si les matières premières sont disponibles alors lancer la
production.
Les règles de transformation
Il s’agit des règles qui contrôlent le changement d’état du système. Exemple :
L’âge d’un employé doit être changé de manière incrémentale.
Si le Salaire entre Age > = 40 et solde > 100000 et Sexe = Homme donc le consommateur est
Contrôleur
OneR apprend des règles à partir d'une seule caractéristique. OneR se caractérise par
sa simplicité, son interprétabilité et son utilisation comme référence.
La couverture séquentielle est une procédure générale qui apprend itérativement des
règles et supprime les points de données qui sont couverts par la nouvelle règle. Cette
procédure est utilisée par de nombreux algorithmes d'apprentissage de règles.
Les listes de règles bayésiennes combinent des modèles fréquents pré-exploités dans
une liste de décision à l'aide de statistiques bayésiennes. L'utilisation de modèles pré-
minés est une approche commune utilisée par de nombreux algorithmes
d'apprentissage de règles.
Commençons par l'approche la plus simple : Utiliser la meilleure caractéristique unique pour
apprendre des règles.
L'algorithme OneR proposé par Holte (1993) est l'un des algorithmes d'induction de règles les
plus simples. Parmi toutes les caractéristiques, OneR sélectionne celle qui contient le plus
d'informations sur le résultat d'intérêt et crée des règles de décision à partir de cette
caractéristique.
Malgré le nom OneR, qui signifie "One Rule", l'algorithme génère plus d'une règle : il s'agit
en fait d'une règle par valeur de caractéristique unique de la meilleure caractéristique
sélectionnée. Un meilleur nom serait OneFeatureRules.
Un modèle OneR est un arbre de décision avec une seule division. La division n'est pas
nécessairement binaire comme dans CART, mais dépend du nombre de valeurs de
caractéristiques uniques.
Voyons par exemple comment OneR choisit la meilleure caractéristique. Le tableau suivant
présente un ensemble de données artificielles sur les maisons, avec des informations sur leur
valeur, leur emplacement, leur taille et si les animaux domestiques sont autorisés. Nous
sommes intéressés par l'apprentissage d'un modèle simple pour prédire la valeur d'une maison.
Croissance
Élaguer
Optimiser
La première étape utilise une méthode "séparer et conquérir" pour ajouter des conditions à
une règle jusqu'à ce qu'elle classifie parfaitement un sous-ensemble de données. Tout comme
les arbres de décision, le critère de gain d'information est utilisé pour identifier l'attribut de
séparation suivant. Lorsque l'augmentation de la spécificité d'une règle ne réduit plus
l'entropie, la règle est immédiatement élaguée. Jusqu'à ce que le critère d'arrêt soit atteint, les
étapes 1 et 2 sont répétées, et l'ensemble des règles est alors optimisé à l'aide d'une variété
d'heuristiques.
Base de règles = ∅
Trier les classes par ordre de fréquence croissante
Pour chaque classe « c » sauf la dernière
Sample = Exemples
Tant que Règle != NULL
Règle = Spécialiser (c, var.cible, var.prédictives, sample)
Si (Règle != NULL) Alors
Base de Règles = Base de Règles + {Règle}
Sample = Sample – {Individus « positifs » couverts par la Règle}
Fin Si
Fin Tant Que
Fin Pour
Exemples = Exemples – {Individus couverts par au moins une règle}
Base de Règles = Base de Règles + {Règle par défaut (exemples)}
Renvoyer (Base de règles)
Le C4.5 est l'un des algorithmes d'induction d'arbres de décision les plus appliqués, et
il est typiquement utilisé dans l'exploration de données comme classificateur d'arbres de
décision. L'algorithme C4.5 s'appuie sur des données échantillons pour générer des décisions.
En outre, C4.5 fonctionne en améliorant et en travaillant de manière similaire aux algorithmes
ID3. C4.5 commence par un nœud vide et construit un arbre de décision en sélectionnant
récursivement le nœud présentant le plus grand gain à chaque étape.
C4.5 est une implémentation d'une méthode indirecte de génération de règles à partir
d'un arbre de décision.
Les arbres de décision sont la modélisation d'une classification. Ils apprennent à partir
d'observations qu'on appelle des exemples. Un exemple est représenté par une série d'attributs
et une classe associée, on doit connaître la classe parce que les arbres de décision travaillent
sur la classification en mode supervisée. Les arbres de décision sont un bon moyen d'illustrer
le raisonnement pour distinguer les similitudes et les différences entre les attributs des
exemples du jeu de données, ils sont souvent utilisés par les statisticiens pour illustrer le
résultat d'une analyse.
Une feuille est un noeud terminal qui représente le résultat d'une classification. La racine d'un
sous arbre est étiquetée avec l'attribut qui a été choisi, les branches sont étiquetées avec les
différentes valeurs que peut prendre l'attribut choisi pour le noeud.
Figure. : Shéma des classes et des attribus
Les algorithmes de construction d'arbre de décision permettent de créer des arbres de décision
avec une taille la plus petite que possible, de façon à créer des règles de décision simples.
Plus un arbre de décision est grand, plus les règles sont complexes. Les algorithmes de
construction d'arbres choisissent les attributs toujours par rapport aux classes.
Les arbres de décision sont construits à partir d'un jeu d'apprentissage, un jeu d'apprentissage
est une matrice, où les lignes représentent les exemples et les colonnes représentent les
caractéristiques des exemples, la dernière colonne est réservée aux classes associées aux
exemples. L'algorithme de construction a aussi besoin d'un tableau d'index qui constitue la
liste de référence des attributs à traiter. L'algorithme de construction d'arbre de décision se
divise en 3 étapes. La première étape consiste à vérifier si on doit faire un noeud terminal
pour représenter les exemples du jeu d'apprentissage. Pour faire un noeud terminal, on doit
respecter une des conditions suivantes: Tous les exemples du jeu d'apprentissage
appartiennent à la même classe ou tous les attributs ont été utilisés pour les noeuds
précédents. Cette étape permet d'arrêter l'expansion de la branche de l'arbre. La deuxième et la
troisième étape se produisent lorsqu'on ne respecte pas les critères de la première. La
deuxième consiste à trouver l'attribut pour représenter le noeud de l'arbre. Les algorithmes de
construction d'arbre de décision utilisent une mesure de segmentation par rapport aux attributs
à traiter. Nous allons voir en détail les différentes techniques plus tard. La troisième étape
consiste à éclater le jeu d'apprentissages pour créer les branches du noeud, chacune des
branches du noeud prend une des différentes valeurs que l'attribut du noeud peut prendre.
Pour chacune des branches qu'on aura créées, il faut recommencer le processus en prenant les
exemples correspondants à la branche.
Mesure de segmentation.
La mesure de segmentation est l'heuristique qui permet de choisir l'attribut qui permettra de
répartir le mieux le jeu d'apprentissages. Cette mesure est souvent une mesure statistique.
L'objectif principal est de construire des arbres de décision relativement simple. On recherche
un arbre petit et simple plutôt qu'un arbre grand qui est complexe. Le choix des attributs à
tester est une étape cruciale pour la construction d'un arbre. Pour cela, la mesure de
segmentation doit évaluer toutes les possibilités de choix pour chacun des niveaux d'un arbre
de décision.
Gain informationnel.
Le gain informationnel est une mesure de segmentation qui utilise l'entropie de Shannon. ID3
et C4.5 utilisent le gain pour choisir l'attribut pour représenter le noeud. Il conserve seulement
les informations absolument nécessaires pour classer un objet. À chaque fois, qu'on doit
choisir un attribut pour partitionner l'ensemble d'exemples, il faut choisir celui dont l'entropie
de classification est la plus petite. En général, le gain privilégie généralement les attributs
ayant un grand nombre de valeurs.
Pour avoir un arbre de décision concis et suffisant, il ne faut pas seulement traiter les attributs
séquentiellement. La richesse de cette mesure consiste à choisir judicieusement les attributs
nécessaires comme des noeuds intermédiaires, pour arriver au le chemin le plus court qui
correspond de plus au plus grand nombre d'exemples dans la même classe.
Le gain informationnel (voir l'équation) est la différence entre la répartition des classes par
rapport au jeu d'apprentissage et la répartition des valeurs des attributs par rapport aux classes.
k
freq ( C j , S )
Info (S)=−∑ ❑
j=1 ¿ S∨¿∗log 2 ¿ ¿
n bTest
|T i|
Gain ( X )=¿ fo(T )− ∑ ❑
¿ T ∨¿∗Ing σ ( T i ) ¿
i=1
La fonction freq (Cj,S) trouve la fréquence des exemples qui correspondent à la classe Cj dans
le jeu d'apprentissage S, T représente le nombre d'exemples à évaluer, nbTest est le nombre de
valeurs pour l'attribut testé, Ti est le nombre d'exemples qui correspond à la valeur i de
l'attribut testé.
Ratio de gain.
C4.5 utilise une notion complémentaire au gain informationnel qu'on appelle le ratio de gain.
Il est utilisé pour pondérer le gain qui favorise les attributs qui ont beaucoup de valeurs. On
calcule toujours le gain informationnel, cependant on calcule aussi la répartition des valeurs
de l'attribut par rapport au jeu d'apprentissage. Ce facteur permet d'éviter de tomber dans le
surapprentissage. Le Split Info représente l'information potentielle générée en partitionnant le
jeu d'apprentissage T en n sous-ensembles, elle montre la proportion de l'information générée
par l'éclatement par un attribut.
n
|T i|
SplitInfo ( X)=−∑ ❑
i=1 ¿ T ∨¿∗log 2 ¿ ¿
Le ratio de gain sélectionne le test de façon à optimiser le ratio, on prend toujours en compte
du gain informationnel, mais on tient compte de la répartition des valeurs des attributs pour
choisir l'attribut pour partitionner le jeu d'apprentissage.
G ain (X )
G ain R atio (X )=
Sp lit Info ( X)
Après avoir formé l’arbre de décision, on commence par le nœud racine puis on sélectionne
récursivement le nœud le plus pur (par exemple, avec le taux de classification erronée le plus
bas)
La classe majoritaire du nœud terminal est utilisée comme prédiction de la règle ; le chemin
menant à ce nœud est utilisé comme condition de la règle.
La figure suivante illustre un exemple d’extraction des règles à partir d’un arbre de décision :
Fig. : extraction des règles à partir d’un arbre de décision
Un arbre de décision est cultivé pour prédire la cible d'intérêt. Nous commençons par le nœud
racine, suivons avidement et itérativement le chemin qui produit localement le sous-ensemble
le plus pur (par exemple, la plus grande précision) et ajoutons toutes les valeurs fractionnées à
la condition de la règle. Nous finissons avec :