Welcome to Scribd, the world's digital library. Read, publish, and share books and documents. See more ➡
Download
Standard view
Full view
of .
Add note
Save to My Library
Sync to mobile
Look up keyword
Like this
2Activity
×
0 of .
Results for:
No results containing your search query
P. 1
theorie de l'information: Chapitre 1

theorie de l'information: Chapitre 1

Ratings: (0)|Views: 289|Likes:
Published by Ferouk

More info:

Published by: Ferouk on Jun 27, 2012
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See More
See less

07/23/2013

pdf

text

original

 
Théorie de l’information
1
Chapitre 1 : Introduction à la théorie de l’information
IntroductionLa
théorie de l'information
, désige la
théorie de l'information de Shannon
, qui est unethéorieprobabilistepermettant de quantifier le contenu moyen eninformationd'un ensemble demessages, dont lecodage informatiquesatisfait unedistribution statistiqueprécise. Ce domaine trouve son origine scientifique avecClaude Shannonqui en est le père fondateurParmi les branches importantes de la théorie de l'information de Shannon, on peut citer :
 
lecodage de l'information,
 
la mesure quantitative deredondanced'un texte,
 
lacompression de données,
 
lacryptographie.Dans un sens plus général, une théorie de l'information est une théorie visant à quantifier etqualifier la notion de contenu eninformationprésent dans un ensemble de données. À ce titre,il existe une autre théorie de l'information : lathéorie algorithmique de l'information, crééeparKolmogorov, Solomonov etChaitinau début des années1960.
1.
 
Le concept de l’information
L'information est un concept physique nouveau qui a surgi dans un champ technologique. Leconcept théorique d'information a été introduit à partir de recherches théoriques sur lessystèmes detélécommunication. L'origine de ces recherches remonte aux études entreprisesdès la fin du XIX
e
siècle, en physique et en mathématique parBoltzmannetMarkovsur la notion deprobabilitéd'un événement et les possibilités de mesure de cette probabilité. Plusrécemment, avant laSeconde Guerre mondiale, les contributions les plus importantes sontdues à la collaboration des mathématiciens et des ingénieurs destélécommunications, qui ontété amenés à envisager les propriétés théoriques de tout système de signaux utilisé par lesêtres, vivants ou techniques, à des fins decommunication.Cette théorie est née de préoccupations techniques pratiques. La sociétéBellcherche àtransmettre les messages de la façon à la fois la plus économique et la plus fiable. Aussi lecadre originel de la théorie est celui d'un système de communications où un émetteur transmetun message à un récepteur à travers un canal matériel/énergétique donné. Émetteur etrécepteur ont par hypothèse un répertoire commun, un code qui contient les catégories designaux utilisables. Ainsi le message codé est transmis, de l'émetteur au récepteur à travers lecanal, sous forme de signes ou signaux portés par de la matière/énergie.
2.
 
Caractère de l’information
Pour Shannon, l'information présente un caractère essentiellement aléatoire. Un événementaléatoire est par définition incertain. Cette incertitude est prise comme mesure del'information. L'information est la mesure de l'incertitude calculée à partir de la probabilité del'événement. Shannon a donc confondu la notion d'information et de mesure d'incertitude. Ilfaut remarquer que dans cette définition l'information est bien synonyme de mesured'incertitude. Dans cet ordre d'idée, plus une information est incertaine, plus elle est
 
Théorie de l’information
2
intéressante, et un événement certain ne contient aucune information. En théorie del'information de Shannon, il s'agit donc de raisonner en probabilité et non en logique pure.L'information se mesure en unités d'information dites bits. Le bit peut être défini comme unévénement qui dénoue l'incertitude d'un récepteur placé devant une alternative dont les deuxissues sont pour lui équiprobables. Plus les éventualités que peut envisager ce récepteur sontnombreuses, plus le message comporte d'événements informatifs, plus s'accroît la quantité debits transmis. Il est clair que nul récepteur ne mesure en bits l'information obtenue dans unmessage. C'est seulement le constructeur d'un canal de télécommunication qui a besoin de lathéorie, et mesure l'information en bit pour rendre la transmission de message la pluséconomique et la plus fiable.La notion d'information d'après Shannon est nécessairement associée à la notion de «redondance » et à celle de « bruit ». Par exemple, en linguistique l'information n'est ni dans lemot, ni dans la syllabe, ni dans la lettre. Il y a des lettres voire des syllabes qui sont inutiles àla transmission de l'information que contient le mot : il y a dans une phrase, des mots inutilesà la transmission de l'information. La théorie de Shannon appelle redondance tout ce qui dansle message apparaît comme en surplus. Aussi est-il économique de ne pas transmettre laredondance.L'information chemine à travers un canal matériel/énergétique : fil téléphonique, onde radio,etc. Or, dans son cheminement, l'information rencontre du bruit.Le bruit est constitué par lesperturbations aléatoires de toutes sortes qui surgissent dans le canal de transmission et tendentà brouiller le message. Le problème de la dégradation de l'information par le bruit est donc unproblème inhérent à sa communication. Ici, l'idée de redondance présente une face nouvelle ;alors qu'elle apparaît comme un surplus inutile sous l'angle économique, elle devient, sousl'angle de la fiabilité de la transmission un fortifiant contre le bruit, un préventif contre lesrisques d'ambiguïté et d'erreur à la réception.
3.
 
Représentation de la théorie mathématique de l'information
Claude ShannonetWarren Weaveren1948, ont modélisé l’information pour étudier les lois correspondantes :bruit(
Le
bruit
est un son complexe produit par des vibrations diverses, souvent amorties et qui nesont pas des harmoniques
 
),entropie(
L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui,intuitivement, correspond à la quantité d'information contenue ou délivrée par une sourced'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ouencore un fichier informatique quelconque (collection d'octets)
)etchaos(
La
théorie du chaos
traite des systèmes dynamiques rigoureusement déterministes, maisqui présentent un phénomène fondamental d'instabilité appelé « sensibilité aux conditions initiales »qui, modulant une propriété supplémentaire de
récurrence
, les rend non prédictibles en pratique surle « long » term
)Pour une source
 X 
comportant
n
symboles, un symbole
i
ayant une probabilité
 p
i
d'apparaître,l'entropie 
 H 
de la source
 X 
est définie comme :
 
Théorie de l’information
3
L'informatiqueconstituera une déclinaison technique automatisant les traitements (dont latransmission et le transport) d'information. L'appellation «Technologies de l'Information et dela Communication» recouvre les différents aspects (systèmes de traitements, réseaux, etc.) del'informatique au sens large.Lessciences de l'informationdégagent dusensdepuis desdonnéesen s'appuyant sur des questions decorrélation, d'entropieet d'apprentissage(voirData mining
 
). Lestechnologies del'information, quant à elles, s'occupent de la façon de concevoir, implémenter et déployer dessolutions pour répondre à des besoins identifiés.
4.
 
Exemples d'information
Uneinformationdésigne, parmi un ensemble d'événements, un ou plusieurs événementspossibles.Enthéorie de la décision, on considère même qu'il ne faut appeler « information » que ce quiest « susceptible d'avoir un effet sur nos décisions » (peu de choses dans un journal sont à cecompte des informations…)En pratique, l'excès d'information, tel qu'il se présente dans les systèmes demessagerieélectronique, peut aboutir à une saturation, et empêcher la prise dedécision. 1-
 
Une bibliothèque possède un grand nombre d'ouvrages, des revues, des livres et desdictionnaires. Nous cherchons un cours complet sur la théorie de l'information. Toutd'abord, il est logique que nous ne trouverons pas ce dossier dans des ouvrages d'artsou de littérature ; nous venons donc d'obtenir une information qui diminuera notretemps de recherche. Nous avions précisé que nous voulions aussi un cours complet,nous ne le trouverons donc ni dans une revue, ni dans un dictionnaire. nous avonsobtenu une information supplémentaire (nous cherchons un livre), qui réduira encorele temps de notre recherche.2-
 
Il faut moins de bits pour écrire « chien » que « mammifère ». Pourtant l'indication «Médor est un chien » contient bien plus d'information que l'indication « Médor est unmammifère » : le contenu d'information sémantique d'un message dépend du contexte.En fait, c'est le couple message + contexte qui constitue le véritable porteurd'information, et jamais le message seul (voirparadoxe du compresseur).
Résumé
La théorie de l'information est une théorie mathématique qui décrit les aspects fondamentauxdes systèmes de communication. Elle a été initiée par C. Shannon dans les années 1940.Un système de communication est la transmission d'une information depuis une source àtravers un canal jusqu'à un récepteur.Une source peut être

You're Reading a Free Preview

Download
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->