Professional Documents
Culture Documents
Reseaux de Radio Cognitive Allocation Des Ressour
Reseaux de Radio Cognitive Allocation Des Ressour
net/publication/263856126
CITATIONS READS
2 2,695
2 authors:
Some of the authors of this publication are also working on these related projects:
All content following this page was uploaded by Badr Benmammar on 19 August 2014.
Introduction .............................................................................................................. 5
4.1.Introduction ................................................................................................... 64
4.2. Algorithmes intelligents ............................................................................... 66
4.2.1. Réseaux de neurones ........................................................................... 66
4.2.2. Logique floue ...................................................................................... 68
4.2.3. Algorithmes génétiques ....................................................................... 69
4.3. Accès dynamique au spectre ........................................................................ 69
4.3.1. Accès au spectre en utilisant les Enchères ........................................... 70
4.3.2. Accès au spectre en utilisant la Théorie des jeux ................................ 71
4.3.3. Accès au spectre en utilisant les approches de Markov ....................... 72
4.3.4. Accès au spectre en utilisant les Systèmes Multi Agents .................... 73
4.4 Conclusion .................................................................................................... 77
Bibliographie ........................................................................................................... 78
Index ........................................................................................................................ 84
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 5
Introduction
Pour que cela fonctionne, l’utilisateur secondaire doit être capable de détecter
l’espace blanc, de se configurer pour transmettre, de détecter le retour de l’utilisateur
primaire et ensuite cesser de transmettre et chercher un autre espace blanc. Le
standard IEEE 802.22, qui est basé sur ce concept, est actuellement en cours de
développement.
Nous considérons la coopération comme une attitude adoptée par les agents qui
décident de travailler ensemble. Dans le cas de la RC, avant de faire la coopération il
faut passer par une autre étape « la négociation », car il y a plusieurs utilisateurs qui
veulent satisfaire leurs besoins. La négociation joue un rôle fondamental dans les
activités de coopération en permettant aux personnes de résoudre des conflits qui
pourraient mettre en péril des comportements coopératifs.
Chapitre 1
1.1. Introduction
Dans ce chapitre nous nous intéresserons aux réseaux sans fil avec leur
fonctionnement, leurs catégories, leurs type… nous nous intéresserons aussi aux
réseaux mobiles en présentant les aspects architecturales, les évolutions de la 1ère
Génération (1G) jusqu’à la 4ème Génération (4G), nous parlerons aussi de la
norme IEEE 802.22 qui est une norme de radio cognitive.
Les termes mobile et sans fil sont souvent utilisés pour décrire les systèmes
existants, tels que le GSM (Global System for Mobile communication), IEEE
802.11, Bluetooth, etc. Il est cependant important de distinguer les deux catégories
de réseaux que recoupent les concepts de mobile et de sans fil de façon à éviter toute
confusion.
Les réseaux mobiles et sans fil ont connu un essor sans précédent ces dernières
années. Il s’agit d’une part des réseaux locaux sans fil qui sont rentrés dans la vie
quotidienne au travers de standards phares tels que WiFi, Bluetooth, etc. D’autre
part du déploiement de plusieurs générations successives de réseaux de
télécommunications essentiellement dédiés à la téléphonie (2G, GSM) puis plus
orientés vers le multimédia (3G, UMTS : Universal Mobile Telecommunications
System).
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 8
Les évolutions se poursuivent de toute part, tant dans le monde des réseaux
spécialisés (capteurs, étiquettes intelligentes, etc.) que des réseaux télécoms. Ceux-ci
voient désormais des solutions concurrentes apparaître provenant de divers horizons
: monde télécoms classiques, monde des réseaux sans fil avec le WiMAX
(Worldwide Interoperability for Microwave Access) voire le monde de la diffusion
télévision terrestre et satellite.
Enfin, des réseaux d’une étendue encore plus grande sont en cours de
développement sous la norme IEEE 802.22 ou WRAN (Wireless Regional Access
Networks). Elle concerne la définition d’une interface d’accès point à multipoint
fonctionnant dans la bande de diffusion VHF/UHF-TV. Cette norme doit permettre
l’utilisation de ces bandes sans interférer avec les canaux de télévision en activité.
Cette solution devrait permettre de couvrir le monde rural avec des accès large
bande.
1.2.1. Définition
Un réseau sans fil (en anglais Wireless network) est, comme son nom l'indique,
un réseau dans lequel au moins deux terminaux peuvent communiquer sans liaison
filaire.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 9
Grâce aux réseaux sans fil, un utilisateur a la possibilité de rester connecté tout
en se déplaçant dans un périmètre géographique plus ou moins étendu, c'est la raison
pour laquelle on entend parfois parler de "mobilité".
Un réseau local sans fil véhicule les informations soit par infrarouge, soit par
onde radio (utilisant généralement la bande de fréquence 2.4 GHz). La transmission
par onde radio est la méthode la plus répandue en raison de sa plus large couverture
géographique et de son débit plus grand.
Les réseaux sans fil permettent de relier très facilement des équipements distants
d'une dizaine de mètres à quelques kilomètres. De plus l'installation de tels réseaux
ne demande pas de lourds aménagements des infrastructures existantes comme c'est
le cas avec les réseaux filaires, ce qui a valu un développement rapide de ce type de
technologies.
Il y a quelques règles simples qui peuvent être très utiles pour concevoir un
réseau sans fil:
- Plus la longueur d’onde est grande, mieux celle-ci voyagera à travers et autour
des choses.
De même, chaque ordinateur du réseau sans fil muni d'une carte réseau adéquate
peut émettre (et recevoir) des données vers (et depuis) un point d'accès réseau. Ce
dernier peut être physiquement connecté au réseau câblé et fait alors office de point
d'accès vers le réseau câblé.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 10
Bien entendu plus on s'éloigne du point d'accès, plus le débit diminue : pour un
débit de 1 Mbps, la portée est de 460 m dans un environnement sans obstacle et de
90 m dans un environnement de bureau classique.
Suivant la manière de communication entres les mobiles, le réseau sans fil offre
deux modes de fonctionnement différents : Le mode avec infrastructure et le mode
sans infrastructure.
En mode avec infrastructure, également appelé le mode BSS (Basic Service Set)
certains sites fixes, appelés stations support mobile (Mobile Support Station) ou
station de base (SB) sont munis d'une interface de communication sans fil pour la
communication directe avec des sites ou unités mobiles (UM), localisés dans une
zone géographique limitée, appelée cellule.
A chaque station de base correspond une cellule à partir de laquelle des unités
mobiles peuvent émettre et recevoir des messages. Alors que les sites fixes sont
interconnectés entre eux à travers un réseau de communication filaire, généralement
fiable et d'un débit élevé. Les liaisons sans fil ont une bande passante limitée qui
réduit sévèrement le volume des informations échangées. Dans ce modèle, une unité
mobile ne peut être, à un instant donné, directement connectée qu'à une seule station
de base.
Un réseau ad-hoc comprend des plates formes mobiles (par exemple routeurs
interconnectant différents hôtes et équipements sans fil) appelées nœuds qui sont
libres de se déplacer sans contrainte. Un réseau ad-hoc est donc un système
autonome de nœuds mobiles. Ce système peut fonctionner d'une manière isolée ou
s'interfacer à des réseaux fixes au travers de passerelles. Dans ce dernier cas, un
réseau ad-hoc est un réseau d'extrémité.
Le réseau personnel sans fil est constitué de connexions entre des appareils
distants de seulement quelques mètres comme dans un bureau ou une maison.
- Bluetooth
- Home RF
Le réseau local sans fil correspond au périmètre d'un réseau local installé dans
une entreprise, dans un foyer ou encore dans un espace public. Tous les terminaux
situés dans la zone de couverture du WLAN peuvent s'y connecter. Plusieurs WLAN
peuvent être synchronisés et configurés de telle manière que le fait de traverser
plusieurs zones de couverture est pratiquement indécelable pour un utilisateur.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 13
Le réseau sans fil WMAN utilise le Standard IEEE 802.16, autrement dit
WiMAX (World wide Interoperability for Microwave Access), il fournit un accès
réseau sans fil à des immeubles connectés par radio à travers une antenne extérieure
à des stations centrales reliées au réseau filaire.
Le réseau sans fil WWAN englobe les réseaux cellulaires tels que le GSM,
GPRS, UMTS, et les réseaux satellitaires.
La distance entre les périphériques peut aller jusqu’à 3Km, le coût de la mise en
place d’un tel réseau est plus élevé que celui des réseaux cités au paravent.
IEEE 802.22 est une norme pour les réseaux régionaux sans fil (WRAN) qui
fonctionneront dans des canaux de télévision inutilisés, et fourniront un accès aux
services sans fil. La norme finale va supporter des canaux de 6,7 et 8 Mhz pour une
opération mondiale. Le WRAN est basé sur l’OFDMA. Cette norme est en cours de
développement et est actuellement sous forme d'ébauche.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 14
Les ondes infrarouges sont couramment utilisées dans la vie courante (pour les
télécommandes de télévisions par exemple). Grâce à elles, on peut créer des petits
réseaux, notamment entre des téléphones portables et des ordinateurs.
Le principal inconvénient des réseaux créés avec les ondes infrarouges est qu’ils
nécessitent que les appareils soient en face l’un de l’autre, séparés au maximum de
quelques dizaines de mètres et qu’aucun obstacle ne sépare l’émetteur du récepteur
puisque la liaison entre les appareils est directionnelle. Bien entendu, les seuls
réseaux utilisables par cette technologie sont les WPAN.
Bluetooth
C’est une spécification industrielle pour les zones de réseaux personnels sans fil
(PAN). Il a été lancé par Ericsson en 1994, Ce type de liaison sans fil permet de
relier deux appareils via une liaison hertzienne. Ces appareils peuvent être des
appareils photo numériques, des PDA, imprimantes.
Il offre des débits moyens (1 Mbits/s en théorie) sur un rayon limité (10 à 30
mètres en pratique).La norme officielle définissant le Bluetooth (dans sa version 1.x)
est l’IEEE 802.15.
Soutenu initialement par des acteurs comme Compaq, HP, IBM, Intel et
Microsoft, HomeRF a été imaginé avant tout pour un usage domestique. Il utilise les
mêmes fréquences que Bluetooth.
IEEE 802.11
distance d'émission, ainsi que le débit qu'elles offrent. Les principales extensions
sont les suivantes :
- La norme 802.11a
Cette norme a été développée en 1999 (parfois appelée WiFi5), elle opère dans la
bande de fréquence 5 GHz, incompatible avec la fréquence 2,4 GHz. Le schéma de
modulation utilisé est OFDM. Ceci limite les interférences et rend possible des
vitesses de transmission de données allant jusqu'à 54 Mbps.
Le terme WiFi, fait référence à cette norme qui fût la première norme des
WLAN utilisée par un grand nombre d'utilisateurs, elle a été approuvée en 1999 par
l'IEEE. La norme WiFi permet l'interopérabilité entres les différents matériels
existants, elle offre des débits de 11 Mbps, avec une portée de 300m dans un
environnement dégagé. Elle fonctionne dans la bande de fréquence 2,4GHz, séparée
en plusieurs canaux.
- La norme 802.11b+
- La norme 802.11g
mélanger des points d'accès 802.11b. Le point central adapte sa vitesse en fonction
du périphérique connecté, permettant à des clients 802.11b de se connecter.
Grâce à cela, les équipements 802.11b sont utilisables avec les points d'accès
802.11g et vice versa. Cette norme utilise l'authentification WEP statique, elle
accepte aussi d'autres types d'authentification WPA (Wireless Protected Access)
avec cryptage dynamique (méthode de chiffrement TKIP et AES).
- La norme 802.11g+
- La norme 802.11i
Ratifié en juin 2004, cette norme décrit des mécanismes de sécurité des
transmissions. Elle propose un chiffrement des communications pour les
transmissions utilisant les technologies 802.11a, 802.11b et 802.11g. La 802.11i agit
en interaction avec les normes 802.11b et 802.11g. Le débit théorique est donc
inchangé, à savoir 11 Mbps pour la 802.11b et 45 Mbps pour la 802.11g.
- La norme 802.11e
Disponible depuis 2005. Elle vise à donner des possibilités en matière de qualité
de service (QoS) au niveau de la couche liaison de données, des fonctionnalités de
sécurité et d’authentification. Ainsi cette norme a pour but de définir les besoins des
différents paquets en termes de bande passante et de délai de transmission de telle
manière à permettre notamment une meilleure transmission de la voix et de la vidéo.
- La norme 802.11n
- WiMAX
Basé sur la norme IEEE 802.16, le réseau WiMAX désigne dans le langage
courant un ensemble de standards et techniques du monde des réseaux
métropolitains sans fil WMAN. WiMAX est principalement fondé sur une topologie
en étoile bien que la topologie maillée soit possible.
- La norme 802.16d ou le WiMAX fixe atteint les distances de 50 km. C'est cette
norme qui est actuellement commercialisée pour les connexions Internet. Elle n’est
nullement conçue pour la mobilité et ne supporte pas le « roaming ».
Le WiMAX est une technologie qui se distingue par deux aspects. D’une part ; le
caractère à la fois ouvert, très complet et extrêmement rapide de son processus de
normalisation et d’autre part ; le fait d’avoir été le premier à avoir adopté ce qui
semble le bon choix en terme de technologie, notamment en matière de modulation,
de sécurité et surtout de qualité de service. Le WiMAX utilise le multiplexage
OFDM. La figure suivante montre le WiMAX avec ses proches concurrents en
termes de couverture géographique et débits offerts.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 19
La norme IEEE 802.22 est une norme de radio cognitive visant à doter les
régions rurales moins peuplées d'un accès à large bande en utilisant des canaux de
télévision vacants. De part le fait que les niveaux du bruit industriel et des réflexions
ionosphériques demeurent relativement bas, que les antennes présentent des
dimensions raisonnables et que les caractéristiques de propagation sans visibilité
directe sont très bonnes, les bandes de radiodiffusion télévisuelle dans la gamme des
hautes VHF et des basses UHF se révèlent idéales pour la couverture de vastes
régions rurales à faible densité de population.
avec les titulaires de station de radiodiffusion sur une base de non-brouillage ainsi
que la coexistence interne avec d'autres systèmes WRAN conformes à la norme
802.22 pour maximiser l'utilisation du spectre.
Les termes mobile et sans fil sont souvent utilisés pour décrire les systèmes de
communication sans fil existants, il est important de distinguer les deux catégories
de réseaux.
Dans les réseaux sans fil, le support de communication utilise l’interface radio :
sans cordon, GSM, GPRS, UMTS…
- Le système sans cordon est un système sans fil mais il n’est pas mobile.
1.3.2 Mobilité
Tandis que l’informatique mobile est définie comme la possibilité pour des
usagers munis de périphériques portables ou d’ordinateurs mobiles d’accéder à des
services et à des applications évoluées, à travers une infrastructure partagée de
réseau, indépendamment de la localisation physique ou du mouvement de ces
usagers.
- Contrôleur de stations: gère les ressources radio et les bandes passantes des
stations de base associées.
1.3.5. Téléphonie
- Les liaisons entre différents équipements, tels que les câbles de téléphone
(cuivre ou fibre optique) ou les antennes de téléphone mobile.
Problèmes:
Ce standard utilise les bandes de fréquences 900 MHz et 1800 MHz en Europe.
Aux Etats-Unis par contre, la bande de fréquence utilisée est de 1900 MHz. Ainsi,
nous appelons tri-bande, les téléphones portables pouvant fonctionner en Europe et
aux Etats-Unis. Il permet de transmettre la voix ainsi que des données numériques
de faible volume, par exemple des messages textes SMS (Short Message Service) ou
des messages multimédias MMS (Multimedia Message Service).
L’opérateur doit installer des antennes fixes, toutes les antennes définissent une zone
de couverture propre à l’opérateur.
Dans un réseau GSM, le terminal de l'utilisateur est appelé station mobile. Une
station mobile est composée d'une carte SIM (Subscriber Identity Module),
permettant d'identifier l'usager de façon unique et d'un terminal mobile, c'est-à-dire
l'appareil de l'usager (la plupart du temps un téléphone portable).
L'ensemble des stations de base d'un réseau cellulaire est relié à un contrôleur de
stations, chargé de gérer la répartition des ressources.
- GPRS (2.5G)
Le GPRS (General Packet Radio Service) peut être considéré comme une
évolution des réseaux GSM avant leur passage aux systèmes de troisième
génération.
A ce moment, la voix continue de transiter sur le réseau GSM, tandis que les
données circulent via le GPRS. Il permet un débit 5x plus élevé que celui du GSM.
Il intègre la qualité de service.
- EDGE (2.75G)
EDGE (Enhanced Data rates for GSM Evolution) est un réseau de transition
entre GPRS et UMTS, il permet un débit encore plus élevé.
EDGE est issu de la constatation que, dans un système cellulaire, tous les
mobiles ne disposent pas de la même qualité de transmission. Le contrôle de
puissance tente de pallier ces inégalités en imposant aux mobiles favorisés une
transmission moins puissante. Cela permet plutôt d’économiser les batteries des
terminaux que d’augmenter les capacités de transmission. EDGE permet à ces
utilisateurs favorisés de bénéficier de transmissions plus efficaces, augmentant par
conséquent le trafic moyen offert dans la cellule.
C’est associé au GPRS qu’EDGE revêt tout son intérêt, notamment grâce au
principe d’adaptation de lien. L’adaptation de lien consiste à sélectionner le schéma
de modulation et de codage le mieux adapté aux conditions radio rencontrées par le
mobile.
Les réseaux 3G ont une grande flexibilité pour introduire de nouveaux services.
Les débits sont plus élevés et ils peuvent atteindre les 2Mbps.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 27
1.5. Conclusion
Les réseaux sans fil en général sont des technologies intéressantes et très
utilisées dans de divers domaines comme l'industrie, la santé et le domaine militaire.
Cette diversification d'utilisation revient aux différents avantages qu'apportent ces
technologies, comme la mobilité, la simplicité d'installation (absence de câblage), la
disponibilité (aussi bien commerciale que dans les expériences). Mais la sécurité
dans ce domaine reste un sujet très délicat, car depuis l'utilisation de ce type de
réseaux plusieurs failles ont été détectées.
Les réseaux sans fil ont connu ces dix dernières années des développements très
significatifs qui ont donné aux utilisateurs l’illusion que leurs qualités pouvaient être
presque équivalentes à celles des réseaux filaires. Ils ont pris l’habitude que leur
mobilité puisse être prise en charge. En revanche, il apparaît également clairement
qu’une seule solution technologique, quelle qu’elle soit, ne peut pas répondre à tous
les contextes d’utilisation.
Chapitre 2
La radio cognitive
2.1. Introduction
Nous allons étudier dans ce chapitre la radio cognitive dans ses différents aspects
: principes, architecture, fonctions et les différents domaines d’application...
Certaines bandes et réseaux (GSM, WiFi) sont d’ors et déjà surchargées aux
heures de pointe. Pourtant, l’utilisation du spectre n’est pas uniforme : selon les
heures de la journée, selon la position géographique, une bande fréquentielle peut
être surchargée pendant qu’une autre reste inutilisée. L’idée a donc naturellement
émergé de développer des outils permettant de mieux utiliser le spectre.
La radio cognitive est le concept qui permet de répondre à ce défi ; mieux utiliser
le spectre, c’est aussi augmenter les débits et rendre plus fiable la couche physique.
C’est grâce aux travaux de Joseph Mitola que le terme Radio logicielle est
apparu en 1991 pour définir une classe de radio reprogrammable et reconfigurable.
La radio logicielle est une radio dans laquelle les fonctions typiques de
l’interface radio généralement réalisées en matériel, telles que la fréquence porteuse,
la largeur de bande du signal, la modulation et l’accès au réseau sont réalisés sous
forme logicielle. La radio logicielle moderne intègre également l’implantation
logicielle des procédés de cryptographie, codage correcteur d’erreur, codage source
de la voix, de la vidéo ou des données.
Le concept de radio logicielle doit également être considéré comme une manière
de rendre les usagers, les fournisseurs de services et les fabricants plus indépendants
des normes. Ainsi, avec cette solution, les interfaces radio peuvent, en principe, être
adaptées aux besoins d’un service particulier pour un usager particulier dans un
environnement donné à un instant donné.
réseaux sans fil hétérogènes c’est-à-dire qu’un SDR idéal peut s’adapter
automatiquement aux nouvelles fréquences et aux nouvelles modulations.
2.3.1. Historique
L'idée de la radio cognitive a été présentée officiellement par Joseph Mitola III à
un séminaire à KTH, l'Institut royal de technologie, en 1998, publié plus tard dans
un article de Mitola et Gerald Q. Maguire, Jr en 1999 [MIT 99].
Connu comme le « Père de la radio logicielle». Dr. Mitola est l'un des auteurs les
plus cités dans le domaine. Mitola combine son expérience de la radio logicielle
ainsi que sa passion pour l'apprentissage automatique et l'intelligence artificielle
pour mettre en place la technologie de la radio cognitive. Et donc d’après lui :
2.3.2. Définition
Le terme radio cognitive est utilisé pour décrire un système ayant la capacité de
détecter et de reconnaître son cadre d'utilisation, ceci afin de lui permettre d’ajuster
ses paramètres de fonctionnement radio de façon dynamique et autonome et
d'apprendre des résultats de ses actions et de son cadre environnemental
d'exploitation.
La radio cognitive est une nouvelle technologie qui permet, à l'aide d'une radio
logicielle, de définir ou de modifier les paramètres de fonctionnement de la
fréquence radio d’un nœud réseau (téléphone sans fil ou un point d’accès sans fil),
comme par exemple, la gamme de fréquences, le type de modulation ou la puissance
de sortie [HAY 05].
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 33
- "Une radio intelligente est une radio dans laquelle les systèmes de
communications sont conscients de leur environnement et état interne, et peuvent
prendre des décisions quant à leur mode de fonctionnement radio en se basant sur
ces informations et objectifs prédéfinis. Les informations issues de l’environnement
peuvent comprendre ou pas des informations de localisation relatives aux systèmes
de communication".
Bien que de nombreux modèles différents soient possibles, l’un des plus simples
modèles conceptuels qui décrit la relation entre la radio cognitive et la radio
logicielle restreinte est illustré dans la Figure 2.1.
2.3.4. Architecture
Pour relier tous les modules, un contrôle radio cognitif est utilisé pour établir des
interfaces entre l'émetteur/récepteur SDR et les applications et services sans fil. Ce
module radio cognitif utilise des algorithmes intelligents pour traiter le signal
mesuré à partir de la couche physique, et de recevoir des informations sur les
conditions de transmission à partir des applications pour contrôler les paramètres de
protocole dans les différentes couches [HOS 09].
Figure 2.4. Cycle de cognition de Mitola Figure 2.5. Cycle de cognition simplifié
Phase d’orientation
Chaque stimulus est situé dans un contexte plus large, qui inclut d'autres stimuli
et les états internes, y compris le temps. Parfois, la phase d'orientation provoque une
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 39
Une panne d'électricité, par exemple, peut directement invoquer un acte qui
sauve les données (le chemin « immediate » de la phase Action sur la figure). Une
perte de signal sur un réseau peut invoquer une réaffectation de ressources. Cela
peut être accompli via la voie marquée «urgent» dans la figure.
Phase de planification
La plupart des stimuli sont traités avec délibérative plutôt qu’avec réactivité. Un
message entrant du réseau serait normalement traité par la génération d'un plan (dans
la phase de plan, la voie normale). Le plan devrait également inclure la phase de
raisonnement dans le temps. Généralement, les réponses réactives sont
préprogrammées ou apprises en étant dit, tandis que d'autres réactions de
délibération sont prévues.
Phase de décision
La phase de décision sélectionne un plan parmi les plans candidats. La radio peut
alerter l'utilisateur d’un message entrant ou reporter l'interruption à plus tard en
fonction des niveaux de QoI (Quality of Information) statués dans cette phase.
Phase d’action
Cette phase lance les processus sélectionnés qui utilisent les effecteurs
sélectionnés qui accèdent au monde extérieur ou aux états internes de la radio
cognitive.
Une action radio cognitive peut également actualiser les modèles internes, par
exemple, l'ajout de nouveaux modèles aux modèles internes existants. L'acquisition
de connaissances pourrait être achevée par une action qui crée les structures de
données appropriées.
Phase d’apprentissage
Analyse du spectre
Les résultats obtenus de la détection du spectre sont analysés pour estimer la qualité
du spectre. Une des questions ici est de savoir comment mesurer la qualité du
spectre qui peut être accédée par un utilisateur secondaire. Cette qualité peut être
caractérisée par le rapport signal/bruit, la durée moyenne et la corrélation de la
disponibilité des espaces blancs du spectre. Les informations sur cette qualité de
spectre disponible à un utilisateur par radio cognitive peuvent être imprécises et
bruyantes. Des algorithmes d’apprentissage de l’intelligence artificielle sont des
techniques qui peuvent être employées par les utilisateurs de la radio cognitive pour
l'analyse du spectre.
Dans un environnement coopératif, les radios cognitives coopèrent les unes avec
les autres pour prendre une décision pour accéder au spectre et de maximiser une
fonction objectif commune en tenant compte des contraintes. Dans un tel scénario,
un contrôleur central peut coordonner le spectre de gestion.
La radio cognitive doit garder une trace des bandes de fréquence disponibles de
sorte que si nécessaire (par exemple, un utilisateur autorisé est détecté), il peut
passer immédiatement à d'autres bandes de fréquences. Lors de la transmission par
un utilisateur secondaire, l'état de la bande de fréquences doit être respecté.
- Auto-coexistence et synchronisation
Deux problèmes surgissent. D'abord, le réseau n'a aucun langage standard avec
lequel il peut poser ses questions. En second lieu, la destination possède la réponse,
mais elle ne peut pas accéder à cette information. Elle n'a aucune description de sa
propre structure.
La version 0.1 de RKRL a été créée pour remplir ces vides dans la puissance
expressive des langages de programmation tout en imposant une parcelle de
structure sur l'utilisation du langage naturel [MIT 00].
- Les réseaux sans fil de prochaine génération : La radio cognitive devrait être une
technologie clé pour la prochaine génération de réseaux sans fil hétérogènes. La
radio cognitive fournira des renseignements intelligents à la fois pour l’utilisateur et
pour le fournisseur d'équipements. Pour l’utilisateur, un dispositif mobile avec des
interfaces d’air multiples (WiFi, WiMAX, cellulaires) peut observer l'état des
réseaux d'accès sans fil (la qualité de transmission, débit, délai) et prendre une
décision sur la sélection de l'accès au réseau pour communiquer avec. Pour le
fournisseur, les ressources radio de plusieurs réseaux peuvent être optimisées pour
l'ensemble des utilisateurs de mobiles et de leurs exigences de QoS.
dispositifs de soins utilisés sont sans fil et sont limités par les EMI (interférences
électromagnétiques) et EMC (compatibilité électromagnétique).
Depuis que les équipements médicaux et les capteurs bio signal sont sensibles
aux EMI, la puissance d'émission des appareils sans fil doit être soigneusement
contrôlée. En outre, différents dispositifs biomédicaux (équipement et appareils
chirurgicaux, de diagnostic et de suivi) utilisent la transmission RF. L'utilisation du
spectre de ces dispositifs doit être choisie avec soin pour éviter toute interférence
avec l'autre. Dans ce cas, les concepts de la radio cognitive peuvent être appliqués.
Par exemple, de nombreux capteurs médicaux sans fil sont conçus pour fonctionner
dans les ISM (industriel, scientifique et médicale), et donc ils peuvent utiliser les
concepts de la radio cognitive pour choisir les bandes de transmission permettant
d'éviter les interférences.
2.6. Conclusion
D’un point de vue opérateur, une gestion optimisée du spectre s’impose pour
pouvoir tirer le maximum de profit de la bande passante globale disponible.
Pour assurer ces fonctions, la radio cognitive doit pouvoir déterminer son
emplacement géographique, repérer le brouillage, détecter l’occupation du spectre et
recueillir de l’information sur la propagation, créant ainsi une sensibilisation à
l’environnement radio.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 49
Chapitre 3
Systèmes Multi-Agents
3.1. Introduction
D’après Ferber [FER 95] un agent est une entité physique ou virtuelle qui agit
dans un environnement, communique directement avec d’autres agents, possède des
ressources propres, est capable de percevoir partiellement son environnement et
possède des compétences. En fonction des ressources, des compétences et des
communications, un agent tend à satisfaire ses objectifs.
Jennings [JEN 98] a proposé la définition suivante pour un agent : un agent est
un système informatique, situé dans un environnement, qui agit d’une façon
autonome et flexible pour atteindre les objectifs pour lesquels il a été conçu.
Le comportement de chaque agent est contraint par des politiques qui sont
définies par des agents de contrôle de haut niveau.
La figure suivante représente un agent dans son environnement, l’agent est activé en
entrée par les capteurs de l’environnement et produit en sortie des actions.
Agent
Capteurs Actions
en en
Entrée Sortie
Environnement
Les connaissances des agents sont décrites sous la forme d’expression logique.
L’agent utilise la déduction logique pour résoudre les problèmes et pour caractériser
son comportement.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 52
Ouvert (valve).
Température (réacteur).
Pression (réservoir).
Pour cela, il suffit que le capteur fonctionne mal, ou que le raisonnement qui a
conduit à la production de ce fait soit faut ou que l’interprétation de la formule
Ouvert soit complètement différente selon le concepteur de l’agent et l’agent lui-
même.
Les approches réactives sont issues des problèmes et limites rencontrées par
l’approche logique.
Pour bien mesurer l’apport des approches purement réactives, nous allons
examiner l’architecture de « Subsomption » (de Subsumer, mettre sous) de Rodney
Brooks [BRO 86], qui est considérée comme la plus représentative.
David Kinny et Michael Georgeff [KIW 91] ont étudié dans ce contexte d’agent
BDI, les performances des agents « imprudents » et celles des agents
« précautionneux ».
L’état de l’agent est décrit à tout moment par le triplet (B,D,I) où B Bel, D
Del, I Inten.
Chaque agent BDI est décomposé en au moins sept niveaux fonctionnels, ces
niveaux sont les suivants [WOO 99] :
- Une fonction de révision de ses croyances (brf) qui calcule ses nouvelles
croyances à partir des croyances courantes et de ses nouvelles perceptions de son
environnement.
- Une fonction de filtre (filtre) qui représente la phase initiale (quoi faire) de son
processus de raisonnement, elle active ses nouvelles intentions en fonctions de ses
croyances, options, et intentions courantes. Cette fonction élimine les intentions
devenues irréalistes ou incohérentes.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 54
BRF
Croyances
Générations
d’options
Désirs
Filtrer
Intentions
Exécuter
Actions en sortie
Figure 3.2. Architecture d’un agent BDI
l’agent est capable, sur sa propre initiative, de fixer des buts pour atteindre ses
objectifs.
Dans ces architectures il existe au moins deux modes de contrôle des échanges
d’information entre les niveaux [WOO 99].
Niveau n
.
e . Les actions
. en
sortie
Niveau 2
Niveau 1
Les flux d’information dans le mode à une passe arrivent sur un module
spécialisé, puis travers en séquence les autres modules jusqu’au dernier qui pilote la
sortie.
Dans le mode à deux passes, les flux d’information suivent le même chemin que
dans le mode à une passe, puis redescendent l’architecture en sens inverse pour
revenir au module interface de l’agent.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 56
Niveau n
Niveau n
.
.
.
.
.
.
Niveau 2
Niveau 2
Niveau 1
Niveau 1
- Frasson et Gouardères [FRA 96] ont proposé le modèle agent « ACTOR » qui
représente une architecture implémentée avec trois niveaux de description (réactif,
adaptatif et cognitif).
- Le 1er niveau (réactif) : il permet des comportements réflexifs basés sur une
reconnaissance plus ou moins précise de modèles prédéfinis, ce niveau n’a pas de
capacité d’apprentissage.
Le niveau cognitif
Le niveau adaptatif
Le niveau réactif
- Les systèmes multi-experts : les agents dans les systèmes multi-experts sont
virtuels, le système modélise l’interaction de plusieurs agents cognitifs, spécialistes
de leur domaine et requis pour l’accomplissement d’une tâche complexe.
Un agent doit être capable de communiquer avec les autres agents. Les agents
communiquent entre eux en échangeant des messages. L’envoi et la réception de
messages forment le niveau élémentaire de communication entre les agents.
L’agent peut participer à un dialogue en étant passif ou actif. Un agent passif doit
accepter les questions des autres agents et répondre à leurs questions. Un agent actif
doit proposer et envoyer des interrogations.
Dans un dialogue les agents alternent des rôles actifs et passifs, et échangent des
séries de messages en respectant des protocoles biens précis, ce sont les protocoles
de coordination, de coopération et de négociation.
Ils définissent aussi sous quelles conditions les engagements peuvent être revus
et quelles sont alors les actions à prendre.
Les protocoles de coordination aident les agents à gérer leurs engagements, mais
ne disent rien sur ce qu’un agent doit faire vis-à-vis des autres agents, quand l’agent
modifie ses engagements.
La décomposition peut être faite soit par le concepteur, ou par les agents eux-
mêmes, grâce à des techniques de planification hiérarchisées ou encore elle est
inhérente à la représentation du problème [HUH 99].
Les mécanismes utilisés pour distribuer les sous-tâches aux agents sont :
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 59
- L’économie de marché : les tâches sont allouées aux agents sur le principe de
l’offre et de la demande, elles sont considérées comme des marchandises qui ont une
valeur (achat/vente).
3.3.1.3. La négociation
Les recherches dans le domaine des télécommunications sont guidées par les
services et s’orientent vers :
Domaines Applications
Assistant pour l’organisation de voyages
Web et Internet Médiation dans le commerce électronique
Création de communautés web
Réseaux privés virtuels (VPN) et entreprises
Services et réseaux de virtuelles
télécommunications Mobile de 3ème génération et réseau intelligent
(RI)
Supervision et gestion de réseaux
Ingénierie logicielle des Standardisation d’interopérabilité agent
télécommunications Méthodologie et atelier logiciel agent
Tableau 3.1. Domaines des télécommunications couverts par les entités agent
Une autre application des agents dans le Web consiste à créer des communautés
virtuelles pour faciliter l’échange d’informations entre les cybernautes. Les
recherches dans ce contexte s’intéressent à la création de communautés d’agents et à
la migration des agents entre communautés [BOU 02].
Les réseaux privés virtuels (VPN) sont des connexions sécurisées reliant deux
réseaux privés via un réseau public, ils permettent d’utiliser ces réseaux publics pour
étendre le concept d’Intranet au-delà du réseau privé d’une organisation et ce en
préservant la sécurité de la communication.
3.4.3. Utilisation des SMA dans le cadre des mobiles de troisième génération et du
RI
L’infrastructure PCS définit des polices personnalisées pour traiter les appels en
fonction de critères variés tels que l’heure de réception, l’émetteur et le contenu.
Les travaux sur l’application des agents à la gestion de réseau sont encore peu
développés, mais il existe des solutions alternatives fondées sur des approches
distribuées pour traiter de problème dans lesquels l’organisation des agents est
hiérarchique et où le contexte n’est pas un environnement ouvert. Ces solutions ne
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 63
sont pas basées sur les langages agents mais sur les mécanismes de reconnaissance
de scénarios [BOU 02].
3.5. Conclusion
Les principales conclusions que nous pouvons faire sont les suivantes :
Chapitre 4
4.1. Introduction
Cette connaissance est utilisée par une radio cognitive pour adapter sa décision
sur le spectre d'accès. Par exemple, une radio cognitive (un utilisateur secondaire)
peut observer l'activité de transmission de l'utilisateur primaire sur des canaux
différents. Cela permet à la radio cognitive de développer les connaissances sur
l'activité des utilisateurs primaires sur chaque canal. Cette connaissance est ensuite
utilisée par la radio cognitive pour décider quelle voie d'accès choisir afin que les
objectifs de performance souhaités peuvent être atteints (par exemple, le débit est
maximisé alors que l'interférence ou les collisions causées aux utilisateurs primaires
sont maintenues en dessous du niveau cible).
Par conséquent, ce modèle est approprié pour un réseau radio cognitif pour
laquelle une réponse rapide à l'évolution de l'environnement radio est exigée d'un
utilisateur secondaire. Par exemple, l'utilisateur secondaire doit interrompre la
transmission dès que l'activité de l'utilisateur primaire sur le même canal est
détectée.
Les entrées du modèle sont la qualité du canal, le nombre de trames reçues avec
succès, le nombre de trames erronées, et la fraction du temps dans laquelle un canal
est détecté.
Les sorties du modèle sont le débit, le délai, et la fiabilité du réseau.
Figure 4.2. Un réseau de neurones pour la modélisation des performances de l’IEEE 802.11
Des programmes d'apprentissage ont été proposés, ils sont basés sur des réseaux
neuronaux artificiels où le taux de données est étudié par rapport à la qualité de la
liaison et la force du signal du terminal sans fil [KAT 10].
La prédiction de la performance et la capacité du réseau radio cognitive peut être
faite en utilisant les réseaux de neurones multicouches [BAL 09] ou bien en utilisant
les cartes de Kohonen [DEM 09].
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 68
De nos jours, les techniques de l’Intelligence Artificielle sont très utilisés pour
résoudre quelques problèmes dans le domaine des Télécommunications. Par
exemple la logique floue a été proposé comme solution au problème du handover
dans les réseaux cellulaires par les auteurs de [GIU 08b] [MAT 00] [HOU 06].
Dans la littérature, la logique floue est souvent utilisée lorsqu’il s’agit de cross-
layer optimisation [SHA 12] [YAN 07] dans les systèmes de radio cognitive. Cette
technique est utilisée aussi pour la sélection de canaux [FUQ 08] ou sélection du SU
le plus approprié pour accéder au spectre en tenant compte de l’efficacité, la
mobilité et la distance par rapport au PU [HST 08].
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 69
La logique floue est souvent combinée avec les réseaux de neurones dans les
réseaux radio cognitive [KRL 03] [GIU 08a]. Elle est aussi utilisée comme approche
pour le routage multi sauts [MAS 11] ou bien pour la détection des utilisateurs
malveillants dans les réseaux radio cognitive [ABO 11].
Les AG sont appropriées pour les problèmes liés à la RC [RIE 04], car ils offrent
une quantité importante de puissance et de flexibilité étant donné que les RC sont
susceptibles de faire face à des environnements dynamiques et des mises à niveau de
radio en raison de l'avancement de la technologie.
La croissance explosive des services sans fil ces dernières années illustre la
demande croissante des consommateurs pour les communications, ainsi le
spectre devient plus encombré. Nous savons que l’allocation du spectre statique
est un problème majeur dans les réseaux sans fil. Généralement, ces
allocations conduisent à une utilisation inefficace du spectre et elles créent des
trous ou des espaces blancs dans le spectre. Pour résoudre le problème de
l’encombrement, les réseaux RC utilisent l’accès dynamique au spectre.
Les enchères sont basées sur le concept de vente et d’achat des biens ou de
services. Le but principal de l’utilisation des enchères dans les réseaux RC est de
fournir une motivation aux utilisateurs secondaires pour maximiser leur utilisation
du spectre. Afin d’utiliser pleinement le spectre, l’allocation dynamique du spectre
utilisant les enchères est devenue une approche prometteuse qui permet aux
utilisateurs secondaires de louer des bandes inutilisées par les utilisateurs primaires.
Dans les solutions basées sur les enchères, chaque canal est assigné à un seul
réseau, c’est à dire qu’il n’y a pas la notion de SU et de PU dans le même canal.
Dans la littérature, deux possibilités s’offrent:
- Soit le régulateur alloue les canaux aux utilisateurs primaires, ces derniers allouent
indépendamment les portions inutilisées de leur canal aux SU [HUA 04].
Une plateforme pour l’allocation du spectre dans la RC est proposée utilisant les
enchères où le régulateur peut allouer simultanément les droits d’être PU ou SU
dans le canal [MIR 11a].
Une autre façon d’utiliser les ventes aux enchères est proposée où les auteurs ont
prouvé que dans certains scénarios le spectre est utilisé efficacement lorsque
plusieurs SU gagnent l’accès à un seul canal, c’est ce qui distingue leur méthode
avec les enchères traditionnelles où un seul utilisateur peut gagner [YON 08].
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 71
Dans ces solutions, les comportements des utilisateurs sont mensongers, de sorte
que le gestionnaire centralisé ne peut pas optimiser la fonction d’utilité globale du
réseau [MIR 11b].
La Théorie des jeux peut être définie comme un cadre mathématique qui se
compose de modèles et de techniques utilisés pour analyser le comportement itératif
des individus préoccupés par leur propre bénéfice. Ces jeux sont généralement
divisés en deux types [ELN 08] : jeux coopératifs et jeux compétitifs.
- Jeux coopératifs: tous les joueurs sont préoccupés par tous les gains globaux et
ils ne sont pas très inquiets de leur gain personnel. Certains travaux récents [YAN
10] [ZHA 09] utilisent la théorie des jeux coopératifs pour réduire la puissance de
transmission des utilisateurs secondaires afin d’éviter de générer des interférences
avec les transmissions des utilisateurs primaires.
- Jeux compétitifs: chaque utilisateur est principalement préoccupé par son gain
personnel et donc toutes ses décisions sont prises de manière compétitive et
égoïste. Dans la littérature existante, nous avons constaté que les concepts
théoriques du jeu ont été largement utilisés pour des attributions de fréquences dans
les réseaux RC [NIY O8] [WAN 10] [TAN 07], où lorsque les utilisateurs primaires
et secondaires participent à un jeu, ils ont un comportement rationnel pour choisir
les stratégies qui maximisent leurs propres gains.
Certains des travaux existants utilisant la théorie des jeux pour l’accès
dynamique au spectre sont mentionnés ici. Par exemple, pour Xiuli [XIU 07], les
utilisateurs primaires sont conscients de l’existence des utilisateurs secondaires et ils
ont une priorité plus élevée sur l’accès au spectre. Les utilisateurs primaires adoptent
les rôles de leaders en sélectionnant un sous-ensemble d’utilisateurs secondaires et
leur garantit un accès au spectre. Les utilisateurs secondaires augmentent
leurs valeurs d’utilité en termes d’accès au spectre et payent les utilisateurs
primaires. Alors que pour Lai [LAI 08], les utilisateurs primaires n’ont pas
les connaissances sur leur environnement et voisinage, donc ils ne sont pas
conscients de la présence des utilisateurs secondaires, ces derniers sont autorisés
seulement à accéder au spectre de façon opportuniste.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 72
Un jeu intéressant est proposé par Yun [YUN 09] où l’utilisateur primaire
détermine le prix de spectre en premier en se basant sur la qualité du spectre,
ensuite, l’utilisateur secondaire décide de la quantité de spectre qu’il doit acheter en
observant les prix.
Les approches de la théorie des jeux ne modélisent pas l’interaction entre les
utilisateurs secondaires et primaires pour l’accès au spectre. Cette
modélisation peut être réalisée en utilisant efficacement les chaînes de Markov [MIR
11b].
Peu de recherches ont été effectuées dans ce domaine, par exemple, Xin [XIN
10] propose un modèle de Markov, où chaque utilisateur secondaire sélectionne au
hasard sa propre chaîne plutôt que d’échanger des messages de contrôle avec
les utilisateurs secondaires voisins. Sinon, il y a aussi l’utilisation du modèle de
Markov pour prédire les comportements du canal [GEI 07].
Néanmoins, un nombre limité de travaux ont utilisé les chaînes de Markov pour
l’accès au spectre sans licence. Parmi ces derniers, un modèle est proposé par Xing
[XIN 06] pour atteindre des assignations équitables de fréquences entre les
utilisateurs secondaires. Cette approche vise plus spécifiquement sur l’utilisation
efficace du spectre, en évitant les interférences.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 73
Ahmed [AHM 11] propose une architecture basée sur les agents où chaque
terminal RC est équipé d’un agent intelligent, il y a des modules pour collecter les
informations à propos de l’environnement radio et bien sur les informations
collectées seront stockées dans une base de connaissance partagée qui sera consultée
par tous les agents. L’approche proposée est basée sur les SMA coopératifs (les
agents ont des intérêts en commun). Ils collaborent en partageant leurs
connaissances pour augmenter leur gain individuel ainsi que collectif.
Des agents sont déployés sur les terminaux RC des utilisateurs primaires PU et
des utilisateurs secondaires SU et coopèrent entre eux dans les travaux proposés par
Mir [MIR 10a] [MIR 10b] et Haykin [HAY 05]. Par SMA coopératif, on veut dire
que les agents PU échangent des t-uples de messages dans le but de s’améliorer eux-
mêmes ainsi que le voisinage des agents SU. Ils proposent que les SU doivent
prendre leur décision en se basant sur la quantité du spectre disponible, le temps et le
prix proposé par les agents PU. Et ils doivent commencer le partage du spectre dès
qu’ils trouvent une offre appropriée (Sans attendre la réponse de tous les PU). En
d’autres termes, l’agent SU doit envoyer des messages à l’agent PU voisin
approprié, et bien sur le PU concerné doit répondre à ces agents pour faire un accord
sur le partage du spectre. Et bien sur après la fin de l’utilisation du spectre, le SU
doit payer le PU.
Une comparaison est faite par Mir [MIR 10b] entre un agent et une RC.
Principalement, les deux sont conscients de leur environnement à travers les
interactions, détection, surveillance. Ils sont autonomes, ils peuvent résoudre des
tâches en se basant sur leurs propres capacités et bien sur ils peuvent coopérer avec
leurs voisins en échangeant des informations.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 74
Mir [MIR 11b] [MIR 10c] propose une coopération entre les PU et les SU et
entre les SU seulement. Des agents sont déployés sur les terminaux des utilisateurs
pour coopérer et aboutir à des contrats régissant l’allocation du spectre. Les agents
SU coexistent et coopèrent avec les agents PU dans un environnement RC Ad-hoc
en utilisant des messages et des mécanismes de prise de décision. Vu que les
comportements internes des agents sont coopératifs et désintéressés, ça leur permet
de maximiser la fonction d’utilité des autres agents sans ajouter de coût conséquent
en termes de messages échangés.
Cependant, l’allocation des ressources est un enjeu important dans les systèmes
de RC. Il peut être fait en effectuant la négociation parmi les utilisateurs secondaires
[TIA 10] [HUS 09]. Dans [TIA 10] les auteurs proposent un modèle basé sur les
agents pour la négociation du spectre dans un réseau RC. Mais au lieu de négocier
le spectre directement entre des PU et des SU, un agent courtier est inclus. Ce qui
veut dire que l’équipement du PU ou du SU ne nécessite pas une grande intelligence
vu qu’il n’a pas besoin d’effectuer la détection du spectre ou autre chose. L’objectif
de cette négociation est de maximiser les bénéfices et les profits des agents pour
satisfaire le SU. Les auteurs ont proposé deux situations, la première utilise un seul
agent qui va exploiter et dominer le réseau, et dans la deuxième, il va y avoir
plusieurs agents en concurrence.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 75
Les interférences causées par l’acquisition des canaux dans un système cellulaire
au cours des Handovers peuvent être réduites selon [RAI 08] en utilisant une RC
pour la gestion du Handover. En effet, la mobilité du terminal lui impose un
comportement différent au moment du changement de zones. Le terminal doit
assurer la continuité de service de ses applications ainsi que la gestion efficace du
spectre. Les auteurs proposent une approche qui utilise la négociation,
l’apprentissage, le raisonnement et la prédiction pour connaitre les besoins des
nouveaux services dans les réseaux sans fil modernes. Ils proposent un algorithme à
exécuter par le terminal cognitif mobile lors de la phase de Handover.
Une approche très intéressante est proposée par Yau [YAU 10] où les auteurs ont
appliqué l’apprentissage par renforcement sur des cas uni-agent SARL et multi-
agent MARL pour atteindre la sensibilité et l’intelligence. Ils montrent dans leurs
résultats que les SARL et les MARL réalisent une action commune qui donne un
meilleur rendement à l’échelle du réseau. Ils ont fini par dire l’apprentissage par
renforcement RL est un algorithme adapté pour être appliquée dans la plupart des
schémas d’application.
Les auteurs ont présenté le LCPP (Locally Confined Payoff Propagation) qui est
une fonction importante dans l’apprentissage par renforcement dans les SMA pour
atteindre l’optimalité dans la coopération entre agents dans un réseau RC distribué.
Jiandong [JIA 10] et Mir [MIR 11a] ont utilisé les SMA pour concevoir un
nouveau cycle de cognition avec les relations complexes d’interaction entres les
différents PU, SU et les environnements sans fil coexistant et les chaines de Markov
cachées pour modéliser les interactions entre les utilisateurs et l’environnement. Les
résultats de cette approche ont montré que l’algorithme peut garantir l’équité entre
les utilisateurs.
4.4 Conclusion
Nous avons ensuite cité quelques travaux réalisés à l’aide des modèles de
Markov qui en plus des méthodes précédentes fournit une modélisation de
l’interaction entre les utilisateurs secondaires et primaires. Et pour finir, nous nous
sommes concentrés sur l’utilisation des systèmes multi agents dans l’accès
dynamique au spectre, cependant cette méthode a été exploité par une minorité de
chercheurs (en comparaison avec la théorie des jeux) pour résoudre le problème de
l’allocation du spectre.
Bibliographie
[ABO 11] B. Abolhassani , “A fuzzy secure spectrum sensing scheme for cognitive radios in
adversarial environment”. International Conference on Telecommunication Technology
and Applications. ICTTA 2011. Sydney, Australia. 2, 2011.
[AHM 11] A Ahmed, M.Mubashir Hassan, O. Sohaib, W. Hussain and M.Qasim Khan. “An
agent Based Architecture for Cognitive Spectrum Management”. Australian Journal of
Basic and Applied Sciences, 5(12): 682-689. 2011.
[AHM 09] W. Ahmed, J. Gao and M. Faulkner. “Performance evaluation of a cognitive radio
network with exponential and truncated usage models”. ISWPC: Proceedings of Wireless
Pervasive Computing, Page(s): 1-5. 2009.
[AMR 12a] A. Amraoui, W. Baghli and B. Benmammar, “Improving video conferencing
application quality for a mobile terminal through cognitive radio", 14th IEEE
International Conference on Communication Technology (ICCT 2012). Chengdu, China,
November 9th-11th, 2012. to appear.
[AMR 12b] A. Amraoui, FZ Benidris, B. Benmammar, F. Krief and FT Bendimerad,
“Toward cognitive radio resource management based on multi-agent systems for
improvement of real-time application performance”, 5th IFIP International Conference on
New Technologies, Mobility and Security (NTMS 2012). Istanbul, Turkey, May 7th-10th.
[BAL 09] N Baldo, BR Tamma, BS Manoj, R Rao and M Zorzi, Abstracts of the 2009 IEEE
international Conference on Communications (Dresden, Germany, 2009), Page(s): 1–5.
[BAN 12] A. Bantouna, V. Stavroulaki, Y. Kritikou, K. Tsagkaris, P. Demestichas and K.
Moessner, “An overview of learning mechanisms for cognitive systems”, EURASIP
Journal on Wireless Communications and Networking 2012,2012:22 doi:10.1186/1687-
1499-2012-22.
[BEN 12] B. Benmammar, A. Amraoui and W. Baghli, "Performance improvement of
wireless link reliability in the context of cognitive radio". IJCSNS International Journal of
Computer Science and Network Security, Vol.12, No.1, January 2012.
[BEN 03] B. Benmammar et F. Krief. "La Technologie Agent et les Réseaux Sans Fil".
congrès DNAC, octobre 2003.
[BOU 02] T. Bouron, “Application des systèmes multi-agents dans les télécommunications”,
Page(s): 207-233, dans “Principes et architecture des systèmes multi-agents”, sous la
direction de J. P. Briot, Y. Demazeau, hermes-science, 2002.
[BOU 01] L. Boulianne, “Système de communication optique à accès multiple par répartition
de code à saut rapide de fréquence’’, université Laval, 2001.
[BRI 02] J. P. Briot et Y. Demazeau, “Principe et architecture des systèmes multi-agents”,
hermes- science, 2002.
[BRO 86] R. Brooks, “A robust layered control system for a mobile robot”, IEEE Journal of
Robotics and Automation, 2 (1) : 14-23, 1986.
[CHE 10] Cheng Wu K. Chowdhury M. Di Felice and W. Meleis, “Spectrum management of
cognitive radio using multi-agent reinforcement learning”. Proceedings of the 9th
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 79
[HAY 05] S. Haykin, “Cognitive radio: Brain empowered wireless communications’’, IEEE
journal on selected areas in communications, vol. 23 no. 2, February 2005.
[HER 98] C. Herve et L. Pellegrin, “Intelligence artificielle et psychologie cognitive”, Dunod,
1998.
[HOS 09] E. Hossain, D. Niyan and Zhu Han, “Dynamic Spectrum Access and management
in cognitive radio networks”, Cambridge University Press 2009.
[HOU 06] J. Hou and D.C. O’Brien, “Vertical handover decision-making algorithm using
fuzzy logic for the integrated radio-and-OW system”, IEEE Trans. Wireless Commun.,
vol.5, n°1, Page(s): 176-185, 2006.
[HST 08] H.-S.T. Le and H.D. Ly, “Opportunistic spectrum access using fuzzy logic for
cognitive radio networks,” Proc. Second International Conference on Electronics (ICCE),
Page(s): 240-245. HoiAn, Vietnam, 2008.
[HUA 04] J. Huang, R. Berry and M. Honig. “Auction Mechanisms for Distributed Spectrum
Sharing”. In Proc. of 42nd Allerton Conference, Page(s) : 405–418. 2004.
[HUH 99] M. N. Huhns and L. M. Stephens, “Multiagent Systems and Societes of Agents”,
Page(s): 83-99, in “Multiagent Systeme”, edited by Gerhard Weiss ,The MIT presse
Cambridge, Massachussets London , England, 1999.
[HUS 09] Li. Hushen, Multi-agent Q-Learning of Channel Selection in Multi-user Cognitive
Radio Systems_A Two by Two Case.Systems, Man and Cybernetics. 2009.
[JEN 98] N. Jennings, K. Sycara and M. Wooldrifge, “A Roadmap of Agent Research and
Development”, Autonomous Agents and Multi-Agent Systems, vol. 1, n°1, p. 7 - 38, July
1998.
[JIA 10] Li Jiandong Li and Yang Chungang, “A Markovian Game-Theoretical Power
Control Approach In Cognitive Radio Networks: A Multi-Agent Learning Perspective”.
Wireless Communications and Signal Processing (WCSP). Page(s): 1-5, 2010.
[JIA 07] Xie. Jiang, Howitt. Ivan and Raja. Anita, “Cognitive Radio Resource Management
Using Multi Agent Systems”. Consumer Communications and Networking Conference.
Page(s): 1123 – 1127. 2007.
[JRA 03] Z. Jrad, F. Krief and B. Benmammar. "An Intelligent User Interface for the
Dynamic Negotiation of QoS". Proceedings of the 10th IEEE International Conference on
Telecommunications.ICT'2003. Page(s): 144-150 vol. Papeete, Tahiti. February 2003.
[KAT 10] A Katidiotis, K Tsagkaris and P Demestichas, “Performance evaluation of artificial
neural network-based learning schemes for cognitive radio systems”. Comput Electric
Eng 36(3), Page(s): 518–535, 2010.
[KIW 91] D. Kinny and M. Georgeff, “Commitment and effectiveness of situated agents ”, In
Proceedings of the Twelth International Joint Conference on Artificial Intelligence
(IJCAI-91), Page(s): 81-88, Sydney, Australia, 1991.
[KRL 03] K.-R. Lo, C. –J. Chang and C.B. Shung, “A neural fuzzy resource manager for
hierarchical cellular systems supporting multimedia services,” IEEE Trans. Veh.
Technol., vol.52, n°52, n°5, Page(s): 1196-1206, Sept. 2003.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 81
[LAI 08] L. Lai and H. El Gamal, “The water-filling game in fading multiple-access
channels”. IEEE Transactions on Information Theory, vol. 54, Page(s): 2110–2122. 2008.
[LET 07] Ben Letaief, K. and Wei Zhang. “Cooperative Communications for Cognitive Radio
Networks”. Proceedings of the IEEE. Page(s): 878–893. 2009.
[MAS 11] A. El Masri, N. Malouch and H. Khalifé, “A Routing Strategy for Cognitive Radio
Networks Using Fuzzy Logic Decisions”, in the proceedings of the first Conference
Cognitive Advances in Cognitive Radio IARIA COCORA 2011, April 2011, Budapest
Hungary. Page(s): 1–14.
[MAT 09] M. Matinmikko, T. Rauma, M. Mustonen, I. Harjula, H. Sarvanko and A.
Mämmelä, “Application of fuzzy logic to Cognitive radio systems”, IEICE Transactions
on Communications. Vol. E92-B n°.12, Page(s): 3572-3580, Dec 2009.
[MAT 00] H.Maturino-Lozoya, D. Munoz-Rodriguz, F. Jaimes-Romero, and H. Tawfik,
“Handoff algorithms based on fuzzy classifiers”, IEEE Trans. Veh. Technol., vol.48, n°6,
Page(s): 2286-2294, Nov.2000.
[MIR 11a] U. Mir, L. Merghem-Boulahia, M. Esseghir and D. Gaïti. “A Continuous Time
Markov Model for Unlicensed Spectrum Access”. IEEE 7th International Conference on
Wireless and Mobile Computing, Networking and Communications (WiMob). Page(s):
68–73. 2011.
[MIR 11b] Usama Mir. “Utilization of Cooperative Multiagent Systems for Spectrum Sharing
in Cognitive Radio Networks”. PHD THESES, Sep 2011. UTT, Université de
Technologie de Troyes.
[MIR 10a] Usama Mir, Leila Merghem-Boulahia and Dominique Gaïti, “A Cooperative
Multiagent Based Spectrum Sharing”. Sixth Advanced International Conference on
Telecommunications. Page(s): 124–130. 2010.
[MIR 10b] Usama Mir, Leila Merghem-Boulahia and Dominique Gaïti. “Dynamic Spectrum
Sharing in Cognitive Radio Networks: a Solution based on Multiagent Systems”.
International Journal on Advances in Telecommunications, vol 3 no 3 & 4. 2010.
[MIR 10c] Usama Mir, Leila Merghem-Boulahia and Dominique Gaïti. “COMAS: A
CooperativeMultiagent Architecture for Spectrum Sharing”. EURASIP Journal
onWireless Communications and Networking,Volume 2010, Article ID 987691. 2010.
[MIT 00] J. Mitola, “Cognitive radio: An integrated agent architecture for software defined
radio”, Ph.D. Dissertation, KTH, 2000.
[MIT 99] J. Mitola and G. Maguire, “Cognitive radio: Making software radios more
personal’’, IEEE Personal Communications, Page(s): 13-18, August 1999.
[NEW 07] T. R. Newman, R. Rajbanshi, A. M. Wyglinski, J. B. Evans and G. J. Minden,
“Population adaptation for genetic algorithm-based cognitive radios," in IEEE Proc.
Cognitive Radio Oriented Wireless Networks and Communications, Orlando, FL, Aug.
2007.
[NGO 08] I. Ngom et L. Diouf, “La radio cognitive’’, université Lille 1 USTL, 2008.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 82
[NIY 08] D. Niyato and E. Hossain, “Competitive pricing for spectrum sharing in cognitive
radio networks: dynamic game, inefficiency of Nash equilibrium, and collusion”. IEEE
Transactions on Selected Areas in Communications, vol. 308, Page(s): 192-202. Page(s):
192–202. 2008.
[PAL 10] J. Palicot, “De la radio logicielle à la radio intelligente", 2010, Hermes/lavoisier.
[RAI 08] J. Raiyn, “Toward cognitive radio handover management based on social agent
technology for spectrum efficiency performance improvement of cellular systems
Personal”. IEEE 19th International Symposium. Page(s): 1–5. 2008.
[RIE 04] C. J. Rieser, “Biologically inspired cognitive radio engine model utilizing
distributed genetic algorithms for secure and robust wireless communications and
networking," Ph.D. dissertation, Virginia Tech, 2004.
[RON 04] T. W. Rondeau, B. Le, C. J. Rieser and C. W. Bostian, “Cognitive radios with
genetic algorithms: Intelligent control of software defined radios,” in Proc. Forum Tech.
Conf. SDR,Phoenix,AZ,Nov.15–18, 2004, Page(s): C-3–C-8.
[SAM 05] N. Samaan, B. Benmammar, F. Krief and A. Karmouch, "Prediction-based
Advanced Resource Reservation in a Mobile Environment". Proceedings of the 18th IEEE
Annual Canadian Conference on Electrical and Computer Engineering, CCECE05, May
1-4, 2005, Saskatoon Inn, Saskatoon, Saskatchewan Canada. Page(s): 1411 - 1414.
[SHA 12] H. Shatila, “Adaptive Radio Resource Management in Cognitive Radio
Communications using Fuzzy Reasoning,” Thesis at Blacksburg, Virginia, March 20,
2012.
[TAN 07] Y. Tan, S. Sengupta and K. P. Subbalakshmi. “Competitive spectrum trading in
dynamic spectrum access markets: A price war”. Proceedings of IEEE GLOBECOM,
Page(s): 1-5. 2010.
[TIA 10] Tian Chu, Siqi Zhang, Lin Gao et Xinbing Wang, "Spectrum Trading in Cognitive
Radio Networks An Agent-based Model under Demand Uncertainty”. Global
Telecommunications Conference. Page(s): 3192–3203. 2010.
[WAN 10] B. Wang, Y. Wu and K. J. R Liu. “Game theory for cognitive radio networks: An
overview”. Elsevier Computer Networks, vol. 54, Page(s): 2537–2561. 2010.
[WOO 99] M. Wooldridge, “Intelligent Agents”, Page(s): 42-66, in “Multiagent Systeme”,
edited by Gerhard Weiss ,The MIT presse Cambridge, Massachussets London , England,
1999.
[XIN 10] C. Xin, M. Song, L. Ma, C. Shen and G. Hsieh, “On random dynamic spectrum
access for cognitive radio networks”. Proceedings of IEEE GLOBECOM. Page(s): 1–5.
2010.
[XIN 06] Y. Xing, R. Chandramouli, S. Mangold and S. N. Shankar, “Dynamic spectrum
access in open spectrum wireless networks”. IEEE Journal on Selected Areas on
Communications, vol. 24, Page(s): 626-637. 2006.
[XIU 07] He. Xiuli, A. Prasad, S.P. Sethi and G. Gutierrez, “A survey of stackelberg
differential game models in supply and marketing channels”. Journal of Systems Science
and Systems Engineering, vol. 16, Page(s): 385-413. 2007.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 83
[YAN 10] Yang, C., Li, J, and Tian, Z. “Optimal power control for cognitive radio networks
under coupled interference constraints: A cooperative game-theoretic perspective”. IEEE
Transactions on Vehicular Technology, vol. 59, Page(s): 1696-1706. 2010.
[YAN 07] A.Yang, Y.Cai, and Y.Xu, “A fuzzy collaborative spectrum sensing scheme in
cognitive radio,” Proc. International Symposium on Intelligent Signal Processing and
Communication Systems (ISPACS), Page(s): 566-569, Xiamel, China, Nov. 2007.
[YAU 11] K.-L.A. Yau, P. Komisarczuk and P.D. Teal, “Achieving Context Awareness and
Intelligence in Distributed Cognitive Radio Networks: A Payoff Propagation Approach”.
Workshops of International Conference on Advanced Information Networking and
Applications. Page(s): 210–215. 2011.
[YAU 10] K.-L.A. Yau, P. Komisarczuk and P.D. Teal, "Enhancing network performance in
Distributed Cognitive Radio Networks using single-agent and multi-agent Reinforcement
Learning," lcn, Page(s): 152-159, 2010 IEEE 35th Conference on Local Computer
Networks, 2010.
[YON 08] W. Yongle, B. Wang, K.J.R. Liu and T.C. Clancy, “Collusion-resistant multi-
winner spectrum auction for cognitive radio networks”, Proceedings of IEEE
GLOBECOM 2008, Page(s): 1-5.
[YUN 09] Li, Yun, Wang, X, and Guizani, M, “Resource pricing with primary service
guarantees in cognitive radio networks: A Stackelberg game approach”. Proceedings of
IEEE Globecom 2009, Page(s): 1-5. 2009.
[ZHA 09] J. Zhang and Q. Zhang, “Stackelberg game for utility-based cooperative cognitive
radio networks”. Proceedings of ACM MOBIHOC, Page(s): 23-32. 2009.
[ZHA 08] Y. Zhang, “Dynamic spectrum access in cognitive radio wireless networks”.
Proceedings of IEEE ICC, Page(s): 4927-4932. 2008.
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 84
Index
T, U
Réseaux de radio cognitive : Allocation des ressources radio et accès dynamique au spectre 86
JP. Arcangeli, A. Bernard, F. Morvan, JF. Monin. “Agents et codes mobiles”. 2002,
Hermes/lavoisier.