Chapitre I

~ p r E s e n t a t i o n s de_~sgroupes compacts. Th6or~me de Pet er-Weyl

1. D4composition de L2(G)
j inel+~
La s u i t e des fonctions [e J-co sur le tore peut 8tre consid4r~e comme l a s u i t e

des vecteurs propres, dans L2, de t o u s l e s opErateurs qui conmmtent avec les t r a n s l a -

t i o n s . Nous a l l o n s montrer que, de mSme, s i G es% un groupe compact, i l existe une

d4composition L2(G) = ~ ~) ~A de L2(G) en sous-espaces ~ de'dimension f i n i e

deux ~ deux orthogonanx~ t e l l e que chaque sous-espace ~A s o i t i n v a r i a n t sous 1 ' a c t i o n

de t o u t op6rateur de L2(G) qui comuute s o i t avec les t r a n s l a t i o n s A d r o i t e s o i t avec

les t r a n s l a t i o n s A gauche° A une t e l l e decomposition de L2(G), nous pourrons f a i r e

correspondre une n o t i o n de transform4e de Fourier d ' u n op4rateur : ce sera l a donnEe de

ses r e s t r i c t i o n s aux sous-espaces ~A "

E%an% donne kEL2(G), dEfinissons les op4rateurs K et K par :

O

Kf(x) = k * f(x) = ft. k ( y - ' x ) f ( y ) d y = f r k ( y ) f ( x y - ' ) d y

Appelons repr4sentation rEguli~re ~ gauche l'application qui ~ tout y6G fait corres-

pondre l'op4rateur R de L2(G) dans lui-mSme d4fini par :

Y

D6finissons de mSme la repr4sentation rEguli~re _A droite par : %f(x) = f(xy). On

v6rifie que Ryly2 = RyI Ry2p Sy I Y2 SyISy2 II est aisE de voir, Egalement, que,

quel que soit y6G - KRy = RyK~ Ko yS = SyoK. Si V est un sous-espace fermE de

L2(G) invariant sous l'action de R (RyVCV quel que soit y), KV est 4galement
invaxiant pour R. Si V est un sous-espace invaxiant pour S, alors KVcV. Des

relations semblables sont valables pour K , R e% S.

o
D6finitions. On appelle repr6sentation de G sur l'espace de Hilbert H tout

homomorphisme continu de G dans le groupe des transformations unitaires de H.

R et S sont des exemples de repr4sentations sur L2(G).

Un sous-espace ferm4 V de H est dit invaxiant sous l'action de la repr4senta-

tion T si, pour tout y6G, T VcV.

Y
Les sous-espaces que nous consid~rerons seront toujours des sous-espaces ferm4s.

Nous omettrons de le pr6ciser dans la suite.

La repr6sentation T est dire irr6ductible si les seuls sous-espaces invaxiants

sous l'action de T sent H et {O}.

Soient TI et T2 deux repr6sentations de G sur HI et H2 respectivement.

TI et T2 sont dites ~quivalentes s'il existe une application lin4aire inversible P

de ~ dans HI telle que, pour tout y6G, p-ITIp = T 2.

Y Y

Lemme (1.1) (Schur). (a)Soient TI et T2 deux repr6sentations irr6ductibles de

Q sur HI met H2 respectivement , suppos4s de dimension finis. Si P est une appli-

cation lin4aire de H1 darts H 2 telle Cue, pour tout yEG, PTyI = T~P 9 alors P = O

ou P est inversible.

(b) Supposons maintenant que H I = H 2, T I = T 2. Alors il existe A tel qu e

P = II.

PHI est invariant sous l'action de T 2. Donc PH ~ est ~O} ou H2 tout entier.

De ~ m e , le noyau de Pest invarian% sous l'aotion de T~ et donc 6gai ~ HI ou ~o~.

Les conclusions de (a)s'ensuiven%.

DBaS l e cas (b), consid6rons une valeur propre k de P. Du fsit que

(P . A I ) % = T y ( P - AI) et P - iI n'est pas inversible, P = ~I.

Nous allons chercher les sous-espaces invariemts de la reprdsentation rdgulibre

gauche I% et montrer en particulier qu'ils sont de dimension finie.

Lemme (1.2). Soit W un sous-esPace d_Ee L2(G) invariant pour R : s_~£ kEN,
Kf=k*f appartient "_a W quel que SiiOi% f6L2(G).
Soit en effet g orthogonal ~ W, montrons que g est crthogonal Kf :

[GKf(x) ~ dx = ~G k(y-lx)g-~ f(y)dy d x = O

puisque g est, quel que soit y, orthogonal ~ R k.

Y

Lemme (1.3). Soit K un op6rateur d__eeHilbert-Schmidt autoadjoint sur L2(G). S_~i

f est une suite de fonctiOns born6e dans L2(G) convergeant faiblement vers f,
n

alors Kf converge vers Kf darts L2(G).

= n

L'op4rateur K est de la forme :

~(x) = f k ( x , y)f(y)~ ,
"G
oh k ( x , y ) = kI'II~'y~I~, et IIlKIII2 = fJ'GxG lk(x,y)12~ dy<~o. Soit x tel que k(x,y)

alYpartienne ~t L2(G) comme fonction de y : Kfn(x ) tend vers Kf(x) du fait de la

convergence faible, et IK~(x)l < IIQI2(J~ Ik(x,Y)l 2 dy)I/2. En vertu du th6orbme de

convergence domin4e, Kf tend vers Kf darts L2(G).

n

Lerme (1.4). Soit K comme dans le le~me (1o3), K ~ 0 : il existe A ~ 0 et

f £ L2(G) teisque Kf = Af.

Nous d4signerons dans la suite par f.g l e p r o d u i t s c a l a i r e dans L2(G) des deux

fonctions f et g ~ f'g = ~ G f(x) g - ~ dx.

l%lisque K ~ O, Kf.g est non identiquement nul. Or, K 4rant a u t o a d j o i n t ,

4

Kf.g : ~ i~ (K[f+i'g]h~~*i~)
m=1 4
et Kf.f est donc non identiquement nul, Soit :

Puisque K est automijoint, Kf.f est r4el et A e s t b i e n d 6 f i n i . ~ u i t t e ~ changer

K en -K, on peut supposer A > O. Soit alors f une suite dans L2(G) telle que
n

llfnlI : I et Kfn.f tend vers A. ~itte ~i remplacer f par une sous-suite, f

n n n

converge f a i b l e m e n t v e r s f (*), e t , en v e r t u du l e m e (1.3), Kf converge v e r s Kf

n

(.) e ~ p~ ~ & ,~, ~,~,~a~.~ a , ~ & . . , ~ ~. ,,,~ . - . ~ , ~ , , , a ~ , ~ e,~ ~ ,~ s~ L~,)

 4

dans L2(G). Com~e, quel que soit n,

IKf.f ~I ~ IK%.%- ~I + IKff -Kf.fnl ÷ IKff n - Kfn" fn I

on en d4duit que Kf.f = ~. Du fair que f converge vers f f~ible~ent et 11%1t = 1,

n
on sait que IlflI~I. D'autre part, par d4finition de A,

llfll
2-- ll~tI'l'~ " ~"
Donc llfll= ]. Si de plus on d6montre que Kf.g = 0 lorsque f.g : O, il en d4coulera

que Kf = Af. Soit donc g tel que f.g = 0 et llgll= I, et soit h0 = (cos O)f +

(sin @)g. Comme llh@ll = 1, l a fonetion Kh@.h@, qui est 4gale ~ A au point e = O,

y admet un maximum. Sa d4rivde en O, 4gale ~ Kf.g + Kg.f, est donc nulle. C'est

dire, puisque Kg.f = Kf.g, que ~e(Kf.g) = 0. Si l'on prend pour he maintenant la

fonction (cos @)f + i(sin 0)g, on voit de mSme que ~m(Kf.g) = O.

Lemme (I .5). So!t W un sous-espace de L2(G) invariant sous l'action de R. II

existe un sous-espace V C W de dimension fin!e , invariant sous l'action de R, e_%%

dont tousles 416ments sent des fonctions continues.

Montrons tout d'abord qu'il existe un op6rateur de Hilbert-Schmidt autoadjoint non

nul, K, tel que l'image par K de L2(G) soit contenue dans W : 6tant donn4 g ~ 0

darts W, posons k(x) = [ g(wx)g-~dw, Kf(x) = I'k(y-'x)f(y)dy. On v6rifie ais6ment

Js S

Puisque k est la convolution de g~W et de la fonction g(w-1), d'apr~s le lemme (].9}

k appartient ~ W. Utilisant de nouveau ce lemme~ Kf = k , f appartient ~ W quel

que soit f6L2(G).

L'op6rateur K 4rant ainsi choisi, il poss~de~ d'apr~s le lemme (].4), une valeur

propre A ~ 0 et un sous-espace propre V relatif ~ lo Montrons que V est de

dimension finie • sinon il existerait dans V une suite f de fonctions deux ~ deux
n

orthogonales de norme I. Une telle suite tend faiblement vers 0 puisque~ quel que

sol% f, ~ I % . f 1 2 ~ llfll2. ])'apr~s le lemme (].3), K% tendrait vers 0 dans

L2(G) : or llKfnH = Al]%lt = ~.
Soit fEV : KR f = R Kf = IR fo C'est dire que R f appartien% Vp SOUS--espa-
Y Y Y Y
ce propre de K relatif ~ A. D'autre part :

r(~) = I Kf(x)=~Jk(y-lx)f(y)dy.

La fonction f appartien% ~ W comme image par K de {, et est continue c o ~ e

produit de convolution de deux fonctions de L2(G). Ceci %ermine la d4monstration du

lemme (1.5).

A tout sous-espace V de - invariant sous l'action de

L2(G)+ R, on peut faire

correspondre la repr4sentation RV de G sur V obtenue par restriction, pour chaque

y, de R au sous-espace V. On d6duit immddiatement du lemme (1.5) le corollaire

Y
suivant :

Corollaire (1.6). Si la repr6sentation Rv est irr4ductible, l_~esous-espace V

es% de dimension finie e% form6 de fonctions continues.

Soit ~V le sous-espace de L2(G) engendr4 pax les fonctions qui s'4crivent sous

la forme x ~-~goRxVf~ oh f et g appartiennent ~ V. Ce% espace s'appelle l'espace

d___~pol.ynSmestrigonom4triques ~4n4ralis4s associ4s ~ la repr4sentation Rv.

Lemme (J.7). Soit V u n s o u s - e s p a c e %,el que Rv e s t irr4ductible, {el, ..., edJ

un___Kebase orthonormale de V : alors v id
ei'Rxej i,j=l forme une base orthonormale de

a .
~V
Posons %ij(x). = e.z.RL
. x3 Ii est ~vident que les t.. engendrent ~. S'4tant
x3
fix4 i e% j~ consid4rons l'application B de V dans lui-m~me d4finie par :

Be, = e.
3 x
Be = 0 si m ~ j.
m

L'int4grale P = fG RVB R L l d y ' dont on v4rifie ais4ment qu'elle est normalement

Y y
v
convergente, d 4 f i n i t une a p p l i c a t i o n de V dans lui-mSme telle que R P = PR :
x x
 RVP=~ R~ BR V R v ~ = ~ v.
xy (xy)-1 x x

D'apr~s l e le~e (1.1), P = ZI. On peut c a l c u l e r A en remarquant que Ad = t r a c e ( P ) =

JGtrace(B) = 8ij (6 de Kronecker)• Or ~V

~ % °E~- ~ e~. Don( :

P ak = T~,(Jt~i-
~ %kj(y)dy)e~ = 0 si

P ek = ~ ( ~ t ~ i -~ ~i(Y)dy)e~ = Aek.
Le lemme (1.7) s'en d4duit.
V1
Lemme (1.8)• Si V1 et V2 sont deux sous-espaces de L2(G) t e l s que R et
V2 V1 V2
R sont deux repr4sentations ~rr6ductibles ~quivalentes, ~ et ~ sont identi-
V1 J2 V1 V2
ques. S_~ R e_~t sont i r r 6 d n c t i b l e s mais non ~ q u i v a l e n t e s , ~ e_~t ~ son%

orthogonaux.
J V2
Supposons t o u t d ' a b o r d que p-1 1p = R , oh P e s t une a p p l i c a t i o n l i n 6 a i r e
x x

i n v e r s i b l e de V2 daus V1. A/ors, s i f et g sont dans ~,

x f = g.p-1J I p f =
g.RV2 (p-1)*g.R~ 1 (pf). Donc ~ V2 C ~V1. On montrerait de m~me que
x

Supposons maintenant que R et 2 ne sont pas 6quivalentes. Soient le I ,..

• ., e } une base de VI' { f1' "''' fd2 } une base de V2, %(1)(x)= e..R e. ,
dI -ij i x 3

tk(~)(x ) = ~ . R f ~ o I1 s u f f i t , en v e r t u du lemme ( 1 . 7 ) , de montrer que, pour tous i, j,

k, 5, ,/1) et ~) sont o r t h o g o n ~ S ' 6 t ~ t fi~6 j et 5, on a~finit B de V'

13
darts V2 par :

B ej = fe

Be =0 si m ~ j .
m

Soit
Y y
V2p J 1
P est une application de V 1 dans V 2 tells que R =
x x

2p= J2 B I
xy Ry-1 d Y = RxyBR 1 dY = PRx
(xy)-
D'alor~s l e lerme (1.1), P=0. Or
VI dl
R-1 e l ( x ) ffi~ t~lm)(Y)em (x) '
y m=l

V1 t(1),
B s-1 el(x) = ij ~yJ re(x)
Y

P el(x) = ~ ( k~ ~y) =O.

k=l

Ceci nous donne les relations d'orthogonalit~ cherch~es.

Lense (I .9). Soit V un seus-espace invariant tel que RV e s t i r r ~ d u c t i b l e . L_~e

sous-espace ~V est invariant A la lois sous l'action de R e_~t S e_~t V e s t contenu

dsns ~V
Soient f et g dans V, F(x)--g.Rxf. Alors

y -1
y x
puisque R ~ E V. De mSme, Sy P (x) = g.RxTf = g.Rx(Ryf ) . D~montrons l a seconde

assertion : V ~ t a n t , en v e r t u de ( 1 . 6 ) , form6 de f e n c t i o n s c o n t i n u e s , l ' a p p l i c a t i o n

f ----~f(e) d ~ f i n i t une forme l i n 6 a i r e sur V, e t i l e x i s t e denc 6vEV t e l que

f ( e ) ~J~_ f ( x ) . 6 v - ~ d x - - f ' N (e d~signe l'616ment n e u t r e de G). Donc, s i f appar-

tient ~ V,

f(x) =(R _1 f) (e) = f . (R6v)

x

Nous pouvons maintenant d ~ c r i r e l a d~cemposition de L2(G). Consid~rons 1'ensemble de

tousles sous-espaces V de L2(G) invariants sous l'action de R tels que RV est

irr~ductible, et consid6rons sur cet ensemble la relation d'~quivalence induite par la

relation d'~quivalence des repr6sentations. Soit A l'ensemble des classes d'6quivalence

de sous-espaces. En vertu du lemme (I .8), on peut faire correspondre A tout AEA le

sous-espace ~X de L2(G) qui ceTncide avec ~V quel que soit V dans la c l a s s e

. On p e u t de m~me d ~ f i n i r d R c o ~ e l a dimension commune des s o u s - e s p a c e s V de l a

classe R : s i deux espaces sont darts l a mSme c l a s s e i l e x i s t e une a p p l i c a t i o n l i n ~ a i r e

i n v e r s i b l e envoyant l ' u n dans l ' a u t r e . I1 d~coule du l e ~ e (1.7) que l a dimension de

 2
~X e s t aA.

si A ~ ~, d'apr~s (1.8), ~A et ~ sont orthogonaux. L'espace ~A contient,

en vertu du lemme (1.9), %ous les sous-espaces de la classe X ~ et est orthogonal

tousles antres sous-espaces invariants sous l'action de R minimaux.

Th6or~me (1.10). S.~i l e ~roupe G e s t compact, e.~%s_~i K e~% ~A sont d6finis

comme pr4c4demment, L2(G) = ~ (~ ~A"

Les sous-espaces ~A sont invariants ~ la fois sous 1 ' a c t i o n de R e~% S , sont

2
de dimension f i n i e d l e_~%son% form4s de fonctions continues. !I1 Pouvent ~tre d4compo-
d
s4s en ~ ~' ~ n' o~ les n ~on% invariants sous l'action de R et de dimension
n=1 d
d~, e_!, ~_.~em~me, e_~n ~l = ~ "~
~ Wm'i oh les W m~ sent invariants sous l'action de S 9
m=1 VA WA
de telle mani~re que .les repr4senta%ions R n e_~% S m sont irr6ductibles.

I!est possible de c h o i s i r les Vn~ --

et W m'
A et uns base orthonormale { ~ A tmn}

de ~A de t e l l e sorte que :

(1) quel que s o i t n, {VrdA tln' "'" ~ A tdAn ~ est une base de vA; n

(2) quel q~e soit m, I~A %mi' "''' ~'dA %rodA~ est une base de YAm ;

(3) l_amatrice associ6e~ l'op4rateur RylV A est, quel que soit n, l a matrice
n

(4) la matrice associ6e~ l'op4rateur

S m
y l
A est, quel que soit m,
W la matrice

II nous suffit, pour montrer que L2(G) = AE~ ~) ~Apde montrer que l ' o r t h o g o n a l de

AE~ e ~ A est r4duit ~ 101. Les ~ 4rant invariants sous 1 ' a c t i o n de R, i l en

e s t de m~me de cet orthogonal. S ' i l n ' 6 t a i t pas r6duit ~ {O~p i l contiendrait 9 en vertu

de (1.5)~ un sous-espace invariant par R, de dimension finiep V~ tel que RV soit

irr4ductible. Or un tel sous-espace es%, en vertu de (1.9), contenu dans un sous-espace

Montrons que ~A peut se d4composer en ~ (~ VAn : par dgfinition~ et en vertu

n=l
de (1.9)~ ~t.A contient an moins ~m sOus-espace V~ de dimension dk i n v a r i ~ t par R
 9

et tel que R est irr6ductible. L'orthogonal de V~ dans ~ ~tant invariant par

R, contient an moins un sous-espace V ~ tel que J ~ est irr~ductible. V 2 appartient

2

la classe ~ et est de dimension d~. Au bout de d~ choix analogues, l'espace ~

est ~l~lis~.

Tout ce que nous avons fait pour la repr6sentation R peut se transcrire pour la

representation S, et ~I peut, de ce fair, 8tre ~galement associ6 ~une classe de

sous-espaces invarian%s par S. Comme ce point de vue sera d6velopp6 d'une manibre plus

g~n~rale dans le paragraphe 2, nous nous contenterons de donner des e~mples de d~compo-
a.
sition de ~X en ~ , W~'m
==1
Soit V un sous-espace de la classe A, {e1, ..., ed~1 une base de V,

~j(X) = eioRxVej. Les fonctions 1~ tij } formen%uoe base orthonorm~e de ~ d'apr~s

(1°7). Co=me :

X j .

et, co=me RX es% une representation,

k=l k=t
d
Ry tij(x) = tij(y-lx) = ~ ~ %j(x).
k=1

Si l'on appelle V~n l'espace engendr~ par tln' "'" tdln' N~m l'espace engendr~ par

tml , ..., tmd , les propri~t6s (3) et (4) s'en a~duisent i=m~diatement. On a vu que

R[V~ est irr~ductible. II reste ~ montrer que S I¥~ est irr~ductible. Soit V~n l'es-
n n
pace engendr~ par les tin ~ j = I, .o., d~. Du fait que Ryf = Ryf, la reprdsentation

RI~A est irr~ductible. II en es% donc de m~me de SIW ~ qui lui est 6quivalente.
n n
Remarque. L'ensemble des _~ es% en m~me %emps l'ensemble de tousles sous-espa-
 10

c e s minimaux de L2(G) i n v a r i a n t s ~ l a f o i s sous l ' a c t i o n de R et S : soit H un

tel sous-espace. II contient, en vertu de (1.5), un sous-espace V invariant par R

tel que ~V est irr~ductible. Si 1'on montre que ~ = ~ ~ on aura ~ontr~ du ~ m e coup

que H = ~V. Or on a vu, d ~ s la d6monst~ation de (1.9) qu'il e~iste ~V d~ns V te~

Rue f(x) = f°Rx~gpour tout f{V. Soit donc el, ..., ed u n e base orthcnormalede V

t e l l e que Si l'onpose encore t i j ( x ) = e..Rxx de" on v o l t que V es% encore

l ' e s p a c e engendr~ par l a premibre colonne de l a m a t r i c e {tij t. L ' e s p a c e ~ngendr~, pour

i f i x 6 , par l e s t r a n s l a t 4 s ~ d r o i t e de til e s t i n v a r i a n t sous l ' a c t i o n de Sp e t con-

tenu, d'aprbs ce qui pr6cbde, dans l'espace Wl engendr6 par til , ..., ridA. Comme

SIW" est irrdductible, c'est W.x tout entier. Donc SVD ~ e W i = ~VD'sV.
i
Appelons P~ la projection de L2(G) sur ~. Si t~mn est la base de ~A

consid~r~e darts le th6or~me (1.10)

= ]'0 *(,) Emlln tnm(y

' -1 )dy ,

= dX JG f(y) trace ~A(y-lx)dy ,

si ~R ddsigne la matrice des t x .

D 6 f i n i t i o n . On a p p e l l e c a r a c t b r e a s s o c i 6 A ~ Ap e t on n o t e ~A l a t r a c e de l ' u n

quelconque des o p 4 r a t e u r s RV o~ V appartient Ala classe A. Plus g6ndralement on

appelle caract~re XT d'une reprdsentation T de dimension f i n i e sa t r a c e :

~T(U) = t r Tu • ( C e t t e t r a c e ne d4pend 6videmment que de l a c l a s s e d ' d q u i v a l e n c e de T).

Le c a l c u l prdc4dent montre que l ' o p 4 r a t e u r de p r o j e c t i o n sur ~A e s t donn4 par l a

c o n v o l u t i o n avec l e c a r a c t b r e ; c. ~ d. :
 11

Lemme (1.11). S_~i X~ ~t~ ~A e~t ~ sont orthogonaux etN~All = 1. ~uel que

soit f E L2(G), pXf=ax f. ZX =dXLX * f.

D'apr~s ce qui precede, PXf(x) = d A JGf(y) ~X(xy-1)dy = dxf * IA(x). L'orthogona-

lit~ de ~k et ~ r~sulte de celle de ~X et ~ puisque ~AE ~X ;

II xll 2 = ~y) ~ ( y - 1 ) d y = ~1 pX ~A(e) = 1 ~X(e ) = 1 lmisque ~k(y -1) = ~X(y)

et ~A(e) = trace (I) = d~.

Oo~oZlaire (1.12). f = ~ dX~X* r pour c h ~ e r ~ ~(~)

Remarque. Consid~rons l'ensemble ~A des fonctions conjugu~es de c e l l e s de ~.

Puisque ~A est aussi un sous-espace invariant b i l a t b r e minimal, deux cas sont possi-

bles

~A = ~A = le caract~re ~A est r~el.

hA e t ~A sont orthogonaux : posons 2~A tAm,n = °Amen+ i s Am,n. Les fonc-

tions cA et sA
m,n m,n' 1 ~ mp n gd~, formen% un syst~me de fonctions orthonormales t o t a l

2. Transformation de Fourier e t f o n c t i o n s c e n t r a l e s

La d~composition de L2(G) en sous-espaces minimaux invariants sous l ' a c t i o n de R

(ou de S) nous permet ~ present d ' o b t e n i r la d6composition spectrale des op~rateurs

lin~aires qui commutent avec R (ou S).

Nous appellerons op6rateur g~n~ralis~ de convolution A gauche (resp. A droite) ou

multi~licateur~auch e (resp. A droite) tout op6rateur lin~aire L d6fini sur les

polynSmes trigonom~triques g~n~ralis6s ~ valeurs dans C(G), tel que

L R = R L (resp. L S = S L).
 12

Consid4rons la base t_~ n(X) de ~i c o n s t ~ i t e darts le th4orbme (1.10) et "cA(x)

la repr6sentation matricielle correspondaate, nous avons alors le th4orbme suiva~t :

Th4orbme (2.1). Bolt L ~ op4rateur K4n4ralis4 de convolution ~ Raache. Quel que

soi% m = I , . . . , d I

LWXgW A ,
m m

et la matrice de la restriction ~ W ~ de L pax rapport ~ la base { ~ A t mA

m -- ~I ~'''"

• o, ~ d q t A } est donn4e par :

m,d A

e d4si~F*e l'416ment neutre de G). De plus, cette r e s t r i c t i o n est une convolution

~auche; ~.~¢,s_! k~(y)deJ d~tr(L(~X)(y)), alors, quel qu~ soit ~ ~ ~,

L(t)(x) = .[~_ kl(y)t(xy-1)dy = kA* t(x)

/
quel que soit % E kA.
A' %=0.

D6monstra%ion. De la lin4ari%4 de L e% de la relation L.R = R.L il d4coule que

quels que soient x et y,

%~y-I )L(~A) (x) = L(Ry% A) (x) : RyL(~ A) (x) : L(~X) (y-lx) "

Prenons y = x :
A

L(~)(x) = ~ ) L ( ~ ) ( e ) : ~)L(~).

En comps/ant les coefficients, nous obtenons

d
A
m,3 3 ,n

d'oh d4coulent les deux premieres affirmations.

D ' e t r e part, k ~ *~:~(x) -=~k~(Y) ~A(~-I)aY = ~(~)k(~)

oh I~(A) = I kA(y) tA(Y-1 )dy.

Pour achever la d4mons%ration, il suffit donc de v4rifier que

ce qui d4coule imm4diatement de la dgfinition de k et des relations d'orthogOnalit4.

 13

C o r o l l a i r e ( 2 . 2 ) . Tout o p ~ r a t e u r l i n ~ a i r e L° d ~ f i n i s u r l e s polynSmes trigonom~-

%rique~ g ~ n ~ r a l i s ~ s ~ v a l e u r s dans L1 (G) e~%q u i c o n f u t e avec R e s t un o p ~ r a t e u r

~ 6 n 6 r a l i s ~ de c o n v o l u t i o n .

En e f f e t , i l s u f f i t de montrer que Lo( ~) c. ~A . Soit k continue • alors

k. Lo(t ) e s t c o n t i n u e pour t o u t t E ~A. L ' o p ~ r a t e u r k * Lo e s t donc un op~rateur

de c o n v o l u t i o n g 6 n ~ r a l i s ~ ; par cons6quent k * Lo(% ) E ~ k pour t o u t t E ~A e t pour

route fonction k c o n t i n u e . En p r e n a n t une s u i t e de f o n c t i o n s k . t e l l e que

l
L'
h * ~(t) ---+ Lo(t) nons obtenons Lo(t ) E hA ( c e c i d~coule du f a i r que t o u t s o u s -

espace de dimension finie de L I(G) est fermi).

D~finition. La transform~e de Fourier d'un op~rateur L de convolution ~ gauche

g~n6ralis6 est la famille indici6e par ~EE des op~rateurs lin6aires obtenus par restric-

tion de L =~ sou~-~e~ ~. On i~ noter~ ~(L)(~).

]k] th~or~me (2.1) il d~coule que, par rapport A la base tmA~ n 9

la matrice qui

repr6sente ~(L)(A) prend l a forme

A
/L(~ 1 0 0 ,.. O ~

\° i °)
/

o~ ~(~) = L(~)(e).
A

L(A) est appol~ coefficient de Fourier matriciel de L,

Nous pouvons d ~ f i n i r l a transform~e de F o u r i e r dtune f o n c t i o n fEL2 comme l a

transform6e de F o u r i e r de l ' o p 6 r a t e u r F de c o n v o l u t i o n h gauche avec f°

Le c o e f f i c i e n t de F o u r i e r m a t r i c i e l e s t a l o r s d 6 f i n i d i r e c t e m e n t par

st lad~composition de f suivant la base {~"A~J de L 2 ( G ) p e u t s'~crire avee les

 14

notations introduites sous la forme :

(~.4) ~ =~-~a~ )raceli('>,' },

l a convergence de l a s 4 r i e v e r s f ayant lieu dans L2(G). Nous obtenons la formule de

Planeherel :

(~.~) Ilfll~ = E % 111~(~)111~ ,

~EA

o~ 111}(~)111= tr
{"e(~l[e(A
"

e s t l a norme de H i l b e r t - S e h m i d t d e i ( A ) . I1 r 6 s u l t e des

D4finition. On dit qu'une fonction f de L2(G) est centrale) si, quel que soit y

dens G, pour presque tout x de G

f(~-lx y) = f ( x ) .

Exemple : les caract~res ~A sont ~[es fonctions centrales.

Si f est une fonction centrale, pour toute fonction g de L2(G), on a

f*g=g*f.

La matrice ;(A) e s t donc s c a l a i r e l~isqu'elle commute avec t o u t e s l e s m a t r i c e s

d~ d A. Donc

P(k) = c A I A I A = identit4 de ~ k

~<~) = % I i = matrice ~ i t ~ d~d~

D'o~ en posant a ~ = eAdA, les for,~les (2.4) deviennent, si f e s t une f o n c t i o n

centrale :
f =~aXlx
(2.6)

Ces f o r m u l e s p r 6 s e n t e n t une g r a n d e a n a l o g i e avec l e s f o r m u l e s h a b i t u e l l e s o~ G

estun groupe a b 6 1 i e n compact. Les c a r a c t ~ r e s f o r m e n t u n e b a s e o r t h o n o r m a l e de l ' e s p a c e

de H i l b e r t des f o n c t i o n s c e n t r a l e s de L2(G).
Remarque. Les o b s e r v a t i o n s p r 6 c 6 d e n t e s m o n t r e n t de p l u s , que s i f * g = g * f pour

tout gEL2, alors f e s t une f o n c t i o n c e n t r a l e .

 15

§ 3. D4composition de route repr6sentation d'un ~roupe compact

Dans bien des cas, nous le verrons dans la suite du cours, il est plus facile de

trouver des repr4sentations irr4ductibles de G que de d4terminer directement les sous-

espaces minimaux invariants sous l'action de R de L2(G)o Nous allons montrer, dans ce

paragraphe, qu'en faitp route repr4sentation irr6ductible est 4quivalente ~ la restric-

tion de R ~ un sous-espace minimal invariant. A cot effet, appelons ~A la classe

d'6quivalenee des repr6sentations irr~ductibles 6quivalentes ~ RV, quel que soit V

dans l a c l a s s e A.

Soit T une r e p r 6 s e n t a t i o n de G sur l'espace de H i l b e r t H. Nous v o u l o n s m o n t r e r

que H peut s'4crire comme somme d i r e c t e de s o u s - e s p a c e s i n v a r i a n t s , t o u t comme L2(G).

P a r a n a l o g i e avec P~ d6finissons l'application H A de H dans lui-m~me p a r :

.~f d~ Ia ~(Y)~f dy
Lemme ( 3 . 1 ) . Les s o u s - e s p a c e s IlRH s o n t i n v a r i a n t s sous l ' a c t i o n de T e t deux

deux o r t h o g o n a u x . L ' a p p l i c a t i o n II~ est la projection sur II~H.

Du f a i t que ~A e s t une f o n c t i o n c e n t r a l e ,

~H est donc invariant sous l'action de T.

Soient f et g dams H, l~(x) = < f , Txg >.

0.2) < f, ~x~½ > = <r, ~ x ~ > = [ ~(y) < ~, ~y~ > ~y = P~(x).

Donc

D'oh
<It~, ll~g> = O si A ~ it " I~AH et II~ sont orthogonaux.
De (3.2) et {*) il vient
<r[~ , llkg> = (f , llkg> : llkf = f si f appartient A ~H.

appenera % le sous-en~emb1~ ae A form~ des ~ tels que ~ ~ {O~. Si

V est un sous-espace de H invariant sous l'action de T, on notera par TV la repr6-

 16

sentation obtenue en restreignant, pour tout y~G, T A V.

Y
Th4or~me (3.3). H = 6~@) ~AH.

Ii e s t ~pssible de t r o u v e r une d4com~osition

~AH =~-~. (~ V~,

oh les
V ~ sous-espaces V ~A sont des sous-espaces
~ M A minimaux invariants sous l'action de

et T ~ appartient ~ la classe ~,

Soit V un sous-espace minimal invariant sous l'action de T : il existe AE

te._.!lque V est contenu dans R~H ; V est de dimension d A e_~% T V appartient ~ la

classe ~A ,
Pour montrer que H est somme directe des ~AH, il suffit de montrer que, quel que

soit gEH, g % O, il existe A tel que ~ g ~ O. S'4tant donn~ f E H, appelons

encore F(x) = < f , Txg>. Puisque g ~ 0, il existe f tel que P ~ O, et il existe

donc ~ tel que PAP ~ O du fair de la totalit4 des ~A dans L2(G). Orp en vertu de

(3.2), PAF(x) = < f , Tx S A g > et nag est non nul°

Soit f E nAH non nul. Les 416ments Tyf, yEG, de ~AH engendrent un sous-espace

ferm4 de ~AH, invariant sous l'action de T, qu'on notera Vf. Pour tout g E Vf,

posens :

Ag(~) = ~g , Tx f>.

A est une application de ~V~ dans -~k puisque, en vertu de (3°2),

J

P~(x) = ~ , Tx~f > = <~, ~ > : ~(x).

£
Elle est injective : si <g ~ Txf> = 0 quel que soit x, g appartient ~ Vf puisque

Vf est engendr6 par les Txf , donc g est nul. Le sous-espace Vf de ~ est par

2
cons4quent, quel que soit fE~AH, de dimension dA au plus.

Quitte ~ remplacer Vf par un sous-espace de Vf, il est possible de trouver daus

~AH un sous-espace V minimal invariant sous l'action de T ; puis, choisissant f

darts l'orthogenal de V dans BAH, il est possible de trouver, dans cet orthogonal, un
 17

a~tre sous-espace W minimal invariant sous l'action de T. Le lemne de Zorn permet

alors de montrer l'existence de la d6composition n~ = ~, ~ V~.

~EM~
Soit V un sous-espace minimal invarian% sous l'action de T. Comme, quel que sol%

~ ~ est invariantp V est contenu dans l'un des sous-espaces n~H. Soi~ f~WnAH.

Le sous-espace Vf e s t i n v a r i a n t e t contenu dans Vm done 4gal A V.

A%.~(~) : < , y ~ , , J > : < ~ , ~ _~ f > = ~ '~(~).

y x
AV es% done un sous-espaee invariant sous fraction de R. L'application A est

une a p p l i c a t i o n l i n 4 a i r e i n v e r s i b l e ~ par l e lemme de Schur e%

AT =R A.
Y Y

AV est done un sous-espace minimal de L2(G) invarian% sous l'action de R puisque TV

est irr4ductible, e% TV e s t 4quivalent ~ RAV : la fin du th6or~me (3.3) s'en d6duit.

Corollaire (3.4). Touteorepr4sentation irr6ductible de G est de dimension finie et

appar%ient ~ l'une des classes S~A.

L'ensemble A peut done 8tre consid4r6 com~e l'ensemble des classes d'4quivalence

de repr4sentations irr4ductibles.

Soit T une repr6sentation de G sur l'espace de Hilbert H. On appelle ~T le

sous-espace ferm6 de L2(G) engendr6 par les fonctions F de la forme F(x) = <f , TxE>,

oh f et g appartiennent A H.

Corollaire (3°5). ~T : 16~ ~ ~A"

Soi% ~E~ : i l existe VC~AH tel que Tv appartienne ~ la elasse ~A. Donc

Soit par contre A~ ~ : en ver%u de (3.2), quels que soient fet g,

PAF(x) = <f , Tx~Ag > = 0 puisque ~kg = 0.

Le corollaire (3.5) s'en d4duit.

Corollaire (3.6.>. Soi~ {T~ ~£A une famille de re~r6sentations irr6ductibles deux

~ d e u x n o n 4quivalentes, telle que route repr6sentation irr6ductible est 4quivalente~

 18

l'une d e s r e p r e s e n t a t i o n s Ta. Alors

L2(G ) = E A ® ~T~"
T~ appartient ~ l'une des classes ~A, soit ~(u) et
T~
R~ciprequement, quel que soit ~EA, il existe a, soit a(A), tel que

tienne ~ la classe ~A, et donc ~ = T~(x)"

Remarque. On a montrE que q u e l l e que s o i t l a r e p r e s e n t a t i o n T d'un groupe compact

G surun e s p a c e de H i l b e r t H, i l e x i s t e dans H un s o u s - e s p a c e minimal i n v a r i a n t sous

l'action de T. La compacit6 du groupe est essentielle. Consid6rons, par exemple la

representation T de R sur L2(R) dEfinie par :

~f(.) = e2~*y f(x).

I1 e s t f a c i l e de v o i r que l e s s o u s - e s p a c e s de L2(R) i n v a r i a n t s sous l ' a c t i o n de T sent

l e s s o u s - e s p a c e s de f o n c t i o n s de L2(R) q u i s ' a n n u l e n t p r e s q u e p a r t o u t en d e h o r s d ' u n

ensemble de mesure positive. Un tel sous-espace n'est 4videmment pas minimal.

t4" Produit tensoriel de r e p r e s e n t a t i o n s

Preduit tensoriel d ' e s p a c e s de H i l b e r t : s o i e n t H et K deux e s p a c e s de H i l b e r t

de dimension f i n i e . Un e s p a c e de H i l b e r t ~ t a n t canoniquement isomorphe ~ son d u a l , i l y a

dans l e c a d r e oh nous nous pla~ons un isomorphisme canonique e n t r e H @K et ~ ( H ~ K).

Ikrr~navant nous i d e n t i f i e r o n s c e s deux e s p a c e s °

Soit el, ..., em (resp. f1' ""P fn ) une base orthonormale de H (resp. K),

on s a l t que ej ® ~ es% une b a s e o r t h o n o r m a l e de H ® K. L'applic~ion u. image de

3k
e j ® fK p a r l ' i s o m o r p h i s m e canonique e s t l ' a p p l i c a t i o n de H dans K d~finie par :

Ujk(ej) = fk et Ujk(e)) = 0 si ~,j.

Si t et s s o n t deux 61Ements de H @ Kp le produit scalaire v6rifie :

(t , s) = trace(ts*)~ c'est-~-dire que si :

m~n
t=E tjkejOf,
jk =1
 19

ms
s. e ®fK .
jk=1 3k
Alors :
(t,s) = ~ . k t j k Sjk- t r a c e (ts*).

Produit tensoriel d'espaces d'endomorphismes de Hilber~. Soit a un ~14ment de

@~(H , H) et bun 416ment de ~(K , K), le produit tensoriel a @ b, dldment de

~(H®K , H®K), est identifi4 A l'application de ~(H , K) = H @ K dans lui-m~me

d4f£nie par
(a ® b)t = b t a'

oh a' est l'application transpos6e de a et t est darts ~ ( H ~ K)o Si a est

repr4sent4 par la matriee (aij) e% b par la matrice (bke), l a matrice de a @b,

qui a nm lignes et nm colonnes, est la matrice (aij b£k), c'est-~-dire :

mTn
(a ® b)(ej ® fk) =i,~= 1 a..
13 b£kei @ fe. Ii en r4sulte que :

(4.1) trace a @b = trace a.trace b.

Lemme ( 4 . 2 ) , , Si a et b sent des o~4rateurs unitaires, il en est de m@me de

a@b.
En e f f e t : ll(a*b)%il2 = %race(bt a t ( b % a ' ) "x') = trace t t "x" = lltil
2.
D d f i n i t i o n . Si T1 et T2 s e n t deux r e p r 4 s e n t a t i o n s de G, on a p p e l l e p r o d u i t

tensoriel de TI et T2 l'application de G dane ~ ( H I @ H 2 , H I @ H 2) qui ~ x de

G fair correspondre T~@T

x 2.
x
On v6rifie ais6ment que TI@ T 2 est aussi une repr4senta-

%ion d~ G.

Le lemme (4.2) montre qu'un produit tensoriel de repr6sentations(unitaires)est une

repr4sentation (uni%alre) •

Ii est clair aussi que remplacer T~ et ~ par des repr4sentations 6quivalentes

ne change pas la classe d'~quivalence de leur produit tensoriel.

Soien% R A et R ~ deux repr6sentations des classes ~A et ~ d6finies au

d4but du § 3. Appelons ~A~ le caractbre do la repr6sentation R ~ @ R ~. L'6galit6

(4.1) nous montre que •

 20

(4.3) x, xeF= X x.,X,~.

Remarque sur le lemme (1.1). La relation PT I = T ~ oh TI et T2 sent deux

Y Y
repr6sentations de G dans les espaces HI et H2 peut s'4erire en termes de produit

tensoriel. En effet, elle est 4quivalente

= P

c'est-~-dire que P est laiss4 fixe par T I@ T 2.

Or si Ux est une repr4sentation de G dans un espace H et si B est un 416-

ment de H, il est clair que l'414ment P = ~UY B dy est laiss4 fixe par U x ; c'est-

~-dire : U P = P.
x

Si T1 et T2 sent irr4ductibles et U T1 @ T2

l e lemme de S c h u r d i t que s i PT I = T2p, alors P = O oh P est inversible. PaT eons4-

quent, quel que soit B dans H I@ H 2 " ~ ( H I p H 2) l'application P d4finie par l'int6-

grale ci-dessus est nulle ou inversible. C'est ce qui motive la d4monstration du lemme

(1.8).
Nous rappelons qu'on appelle polynSme trigonom4trique g4nTralis4 route combinaison lin4ai-

re finie de fonctions appartenant aux espaces ~A"

Len~ne (4.4). Les polynSmes trigonom4triques g4n4ralis4s ferment une alg&bre.

Ayaut choisi la base construite dams le th4or~me (I .10) il nous suffit de montrer

que tout produit tm,n

~ ~'
tm',n' est une combinaison lin4aire de fonctions ~,~.

Appelons SA et S A' les restrictions de la repr4sentation rTguli~re ~ droite S

aux espaces WA = W et W A' = W I . Le produit consid6r4 est un coefficient de la matri-

ce M de la repr4sentation S ~ @ S A' ~ valeurs dans l'espace M ~ @ W A' rapport4 ~ la base

ej®fk, oh ej = t lj
A A'
et fk = tlk

Mais d'apr~s le thTor~me (3.3), W A @ W At est une sorsne de sous-espaces invariants

sous l'action de S • @ S A' minimaux. Les restrictions de S A @ S ~' ~ ces sous-espaces sent
W~
irr4ductibles et donc 4quivalentes ~ certaines repr4sentations S .

En transports/It par l'isom4trie entre E ~) W ~ et I~A@W A' les bases des sous-
 21

espaces ¥~ donn~es par l e th~orbme ( 1 . 1 0 ) , on o b t i e n t une n o u v e l l e base de NA@NA'.

Soit C l a m a t r i c e de changement de base a s s o c i ~ e aux deux b a s e s pr~c~dentes. La m a t r i c e

N de l a r e p r e s e n t a t i o n S~@S ~' rapport@e ~ l a n o u v e l l e base s ' ~ c r i t :

ml '~Lt t~m2'n2~l
N=

La formule M = C N C-I nous fournit alors le r~sultat cherchg. Les matrices C obtenues

de c e t t e mani~re s ' a p p e l l e n t des m a t r i c e s de coefficients de Clebsch-Gordan.

Len~ne (4.5). L'alg~bre des ~olvnSmes trigonom~triques g~n6ralis6s est ferm~e pour

l_~aconjugaison e_~ts~pare l e s points d e G.

Les espaces ~ s ' 6 c h a n g e a n t par c o n j u g a i s o n , l ' a l g & b r e e s t s t a b l e pour cette

operation.
Les espaces ~A ~ t a u t i n v a r i a n t s par t r a n s l a t i o n (par l e s 61~ments de G), on ne

restreint pas l a g@n6ralit~ en prouvant que l ' a l g ~ b r e des polynSmes s6pare l'61~ment neu-

tre de G, not6 e, de tout point x diff6rent de e.

0

Supposons donc que, pour t o u t ~ darts A, la matrice t~(Xo) s o i t dgale ~ l a

matrice unit~. Or, d'apr~s le th~orbme d'Urysohn, il existe une fonction k continue sur

G qui d i f f b r e de k = R k. On a :
O X
O

ko(A) = JG ko(Y) tA(y-1)dy--

.(y)~(y-lx~1)ay
D'o~ l'ggalitg :

k =k
O

qui est absurde puisque deux fonctions diff~rentes ont des tr~nsform~es de Fourier diff.-

rentes en vertu de (2.4).

En utilisaut le th~orbme de Stone-Weierstrass, on obtient le thdorbme suivant :

Thdorbme (4.6). L'al~bre des pol,ynSmes trigonom6triques g~ndralis6s est dense darts
 22

l ' e s p a c e des f o n c t i o n s c o n t i n u e s .

Consid~rons maintenant l e c a s o~ 6 est un groupe de matrices unitaires sur Cn,

c'est-~-dire un sous-groupe de U(n). Nous a l l o n s montrer que l ' o n d i s p o s e a l o r s d ' u n

proc~d~ a l g ~ b r i q u e de f a b r i c a t i o n de r o u t e s l e s r e p r e s e n t a t i o n s irr6ductibles.

I1 e x i s t e deux r e p r e s e n t a t i o n s t r ~ s simples de G dans Cn . La p r e m i e r e , Iu, est

c e l l e qui A l a matrice u fait correspondre l'op6rateur unitaire q u ' e l l e d ~ f i n i t sur Cn.

La seconde I est celle qui ~ la matrice u fair correspondre l'op~rateur unitaire de

U

matrice ~.

Lemme (4.7). En faisant tousles produits tensoriels finis de I et Y- et en

. . . . . . . . . . . . . . . ~ U ~ U

les rdduisant en somme d_eereprdsentations irr~ductibles , on fair apparaitre routes les

reprdsentations irr~ductibles du ~roupe G.

Les coefficients des matrices ainsi construites engendrent un espace vectoriel dont

on montre qu'il forme une algbbre, par une m~thode analogue ~ cells du lemme (4.5). Cette

algbbre stable pour la conjugaison, s~pare les points, comme la simple consideration de la

representation I le montre. Donc cette algbbre est dense dans ~(G) et donc dans
U

L2(G). Tout ~A non contenu dans cet espace lui est orthogonal et est donc r~duit ~ O.

Remarquons que le lemme (4.7) nous permet d'obtenir pour des sous-groupes de U(n) une

a~monstration directe des r6sultats du paragraphe precedent.

§ 5. Commentaires s t r ~ f 6 r e n c e s

Nous donnons dans ce c h a p i t r e une d6monstration du th6or~me de Peter-Weyl a i n s i que

d'autres r~sultats fondamentaux r e l a t i f s ~ 1 ' a n a l y s e harmonique sur l e s groupes compacts,

r~sultats qui nous s e r o n t i n d i s p e n s a b l e s dans l a s u i t e . Le l e c t e u r p o u r r a t r o u v e r d ' a u t r e s

p r e s e n t a t i o n s de c e t t e q u e s t i o n dans P o n t r i a g i n E l l , Pukanski [1~ e t V i l e n k i n EI~. Notre

d ~ f i n i t i o n de l a transform~e de F o u r i e r e s t un peu p l u s g6n~rale que c e l l e q u i e s t

 23

h a b i t u e l l e m e n % adop%~e d a n s l a 1i%%~rature ; e11e nous p e r m e t de p o u v o i r ~ l a l o i s p a r l e r

d e s %rensform~es de F o u r i e r d ' u n ol~ra%eur de convolu%ion g ~ n ~ r a l i s ~ e% d ' u n e fonc%ion

(ce%te d e r n i ~ r e ~ t a n t e n c o r e l a %ransform~e de F o u r i e r de l ' o p 6 r a t e u r de c o n v o -

l u t i o n associ~). Les r~sulta%s (4.5), (4.6) e% (4.7) montrent qu'il es% possible, dans

bien des cas, d'obtenir le th~or~me de Peter-¥eyl plus ais~ment, A partir du th6or~me de

Stone-Weierstrass (en particulier iorsque is groupe consid~r~ est un groupe de matrices

unitaires). Ce poin% de rue a ~%~ plus syst~matiquement adopt~ dans la pr6sentation de

Stein [2].