Professional Documents
Culture Documents
Frederic Bevilacqua
Real Time Musical Interactions team
IRCAM
Real-Time Musical Interactions Team
Staff
Frederic Bevilacqua ... researcher (leader)
Norbert Schnell... researcher and developer
Riccardo Borghesi ... researcher and developer
Diemo Schwarz ... researcher and developer
Arshia Cont... researcher and developer
Emmanuel Fléty...engineer
Fabrice Guédy ... researcher
Nicolas Rasamimanana... researcher
PhD Students
Julien Bloit
Tommaso Bianco
Vassilios-Fivos Maniatakos
Baptiste Caramiaux
Associated Researchers
Alain Bonardi ... délégation CNRS
• Gesture Analysis
‣ Musician gestures
‣ gesture/action recognition and following
• Interaction
breathing
sensor
flex sensor
cameras
capture space
HyperCello
Tod Machover / Yo-Yo Ma
1991
Hybride…
‣ Game 1500
1000
‣ ... 500
0
1969-89 1990-95 1996-99 2000-04
Interactions Musicales Temps Réel
Da Fact
• www.dafact.com
• Body movements
‣ Tracking body parts, accelerations
‣ Silhouette features: stability, symmetry
‣ Trajectory characteristics: directness, …
• Biosignals
‣ Breathing
‣ Muscle (EMG)
‣ etc
• Touch (e.g. conductivity)
2005
Florence Baschet, Bogenlied, for (augmented) violin and electronics
Anne Mercier: violon, Serge Lemouton: computer music
2006
Concert « Cursus » Ircam, Oct 23 2006,
Sebastian Rivas (comp.), Pierre Strauch (cello)
José Miguel Fernandez (comp.), Michel Michalakakos (viola)
2007
Philippe Manoury, Partita 1, for (augmented) viola and electronics
Christophe Desjardins: viola,
Hector Parra, Tentatives de réalité, for (augmented) cello and electronics,
Pierre Strauch: cello
2008
Florence Baschet, StreicherKreis, augmented quartet
Quatuor Danel
Finger pressure
Accelerometres x y z
accelx
sound
Martelé
amax amin
[a.u.]
amin
Spiccato
amax
amax
[a.u.]
amin
2 violonistes, 2 tempi (60 bpm, 120 bpm)
Détaché
a
3 nuances (pp, mf, ff)
max
amin
• reconnaissance de modes jeux (temps réel)
• BogenLied, Florence Baschet
N. Rasamimanana et al., GW 2005, Lecture Notes in Artificial Intelligence 3881, pp. 145–155,
Interactions 2006.
Musicales Temps Réel
From gesture analysis data to musical material
martelé
spiccato
détaché
détaché
instrumental
I II III IV V VI VII VIII IX
détaché martelé spiccato
material o
o
all three
o bowing hybrids
styles
G A E
gesture bowing intensity bowing intensity
analysis
gesture
recognition
mapping
granular
synthesis of density of transposition envelope of
violin sound synthesis of synthesis synthesis
in realtime grains grains grains
Interactions Musicales Temps Réel
Interactions Musicales Temps Réel
Interactions Musicales Temps Réel
Interactions Musicales Temps Réel
Transition gesture
waveform
acceleration
time
pourcentag
Impulse
Jerk (cyclique)
Jerk (discret)
Figure 7: Cell with mixed bowing techniques: percentages of each model for
the four strokes of a cell, i.e. two Détaché and two Martelé.
StreicherKreis - Florence Baschet
for augmented string quartet
Première in 2008 with Quatuor Danel
Computer Music Design: Serge Lemouton
Commissioned by IRCAM-Centre Pompidou, 2008
8 familles de
modes de jeu distincts
correspondant à
8 gestes d’archet
Pour violon
Quatuor Danel
Février 2007
Capteur gyromètre-1 et 2
Capteur accélérationX-Y-Z
Capteur de pression
Florence Baschet
Violon 1
m2-2-3.mp3
Violon 2
Gestes =
mouvement (5)
pression
28 paramètres
energie audio
f F p P
œo .
#
%
n œoo# .. n m ˙o˙o m n œooœ
"
œ n m %% n m œœ# ..
&c $OJ J ‰ Œ $ On œJ œ
J ‰ Œ OO 42 OO 38
O p
I
f b
f p I
II f
flautando II
flautando
III
21-vlc
& 38 42
$
#
c& c n œœJ J m œ# m œ"
‰ ‰ ‰
J ‰ Œ Œ ‰ Œ
23
˙ œ
27 pont.
J J nœ œ
f p p f p f p f p sub. f p J
! !
! n% n œœ# .. flautando
q = 45
!# œ" m n œœ ..
#
m n œœ ..
"
m n œœ .. Glissan m m œœ m m œœ ..
#
U . mœ.
pont.
3 m
‰ 43 $ mn œœ . m œ"
42 Ó 28 ® R
do
"
& 8 m% ‰ ‰ nœ. nœ c& c ‰ œ ‰ m n œœ m n œœ Œ J J $ Œ
J p f J J p f p f p p
p p f
! ! œ
pont.
n œ# œœ
q = 45
œ œ mœ œ m n œœ
"
! œ détaché
µ n œ#œ ..
". U 28 $ m œR mœ. mœ œ
flautando
& 38 $ œœJ. œœ
J 42 Ó RÔ ®$ 43 Ó. c& c mœ
J ‰ Ó etc... J ‰ ®
mœ œ œ $
Ó ‰
p p f p p p p
o o oo U
n œo
3
détaché !
m n œœ ..
#
m n œœ Gliss. n m œœ n œ# œ m n œœ m n œœ#
flautando q = 45 flautando
œ
& 38 J 42 Œ 28 $ ®m œRÔ œR $ 43 Œ Œ ‰ J c& c ‰ Œ Ó. ‰
pont.
œ œ
œ
œ
œ ‰
nœ œ œ.
p f p f %
p p
24-sectionC 25 26-vlc 27-vl1 28-irise1 29-vla
p m œo o m œo m œo
(a) score détaché
µ n œœ# Gliss. µ n œœ
ord.
n m œœ" n m œœGlissando œ
Œ Ó Œ 43 J J ‰ Œ ® 81
30
&
p f p s. ( œ
m œœ" Glis œ )
#
!"
ord.
œ
m œ#
3 m n œ#œ J 81
m n ˙˙
pressure acceleration (x) pont.audio energy
& Ó 4 Œ Œ Œ ‰ ‰
p f p f
oo" flautando p
m œœ . m œo œo œo œo
3
.
détaché
µ n œœ µ n œœGlissn m œœ" n m ˙˙ n m œœ
ord. .
& 43 J ‰ Œ OO $ J Œ Œ ‰ 81
f p p f p
n n œoœo ..
II
ord.
"
œœ# œœ
III
& & 43 Ó. J 81
p f p
II
III
31-vl1 32-vlc-irise2
! U
œ" U !
's. m ˜ œœ# ..Glissandom n œœ" m n œœ ..Glissaanndo
ord.
m m œœ#
m m œœ $ œœ"
& 81 ‰ 42 43
Gliss
#
Ó.
pont.
Glis
c œ J c
33 do
R
% p f p
! marc. F p
! " flautando
3
m œœ"
flautando
&8 m œœ
¨oo f p 3
f p f p
m œœ ># ˙˙ .. œœ" .. n n œœ# œœ n n œœ"
1 ® œœ U
&8 c J $ 42 Ó c Œ ‰ J 43
f p p f
n m ˙o˙o
#
n m '' n m œœ" .. U # " # œ
marc.
"
&
18 ‰ c J $ 42 Ó c Ó $m Rœ œ œ m œJ ‰ 43
p f stridente
p
flautando
34-vl1 36-vl2
Interactions Musicales Temps Réel
Score following vs Gesture Following
score abstraction/
symbols
gesture data
Interactions Musicales Temps Réel
Olivia Grandville
Comment taire (2004)
Olivia Grandville- choreography, performing
Electroacoustic design Romain Kronenberg - Ircam-Centre Pompidou
Ircam assistant: Nicolas Leroy
Interaction
- hand following (facing camera)
- location in space of the dancer (from above
- energy and direction of the silhouette (from above)
1 2
8 3
7 4
6 5
Eyesweb.org
University of Genoa - Italy
Interactions Musicales Temps Réel
Double point +
3:
Interactions Musicales Temps Réel
This Is My House (2005)
Myriam Gourfink, choreography,
video
breathing
sensor
flex sensor
interactive installation !
A
C
gesture model
time
2:55
Gesture (live)
Gesture 1
Gesture 2
Learning
Compare
Gesture 1
Gesture 2
Compare
Gesture 1
Result
Gesture 2
data
recorded example
time
• Synchronization
• Recognition
• Anticipation (prediction) Interactions Musicales Temps Réel
Time warping
time warped
references performed gesture
x
acceleration
time
• Free download at
http://ftm.ircam.fr
• Wiki
http://ftm.ircam.fr/
index.php/
Gesture_Follower
Interactions Musicales Temps Réel
Music Pedagogy applications
in progress
• movements “qualities”
• generating new material (audio/video) ?
• building complex scenario ?