You are on page 1of 10

Konferencja; Audiokineza

Akademia Muzyczna w Krakowie, 14 X 2016 r.

-------------------------------------------------------------------------------------------------------------------Ucho w ruchu
Marcin Strzelecki
[szkic do szkicu]
1. przestrzeń
Słuch jako zmysł orientacji w przestrzeni (zob. M. Strzelecki „ucho w przestrzeni”, 2015)
W skrócie. Wzrok pierwszy, ale słuch ma rolę pomocniczą, gdy wzrok zawodzi, a czasem
wręcz modyfikuje wrażenia wzrokowe
Podstawy słuchowej percepcji przestrzeni
- głośność i faza
- binauralność
- kształt małżowiny (zmiana barwy)
- zasady grupowania Gestalt
- sterowanie odgórne (np. skupienie na treści, plan bardziej interesujący wydaje się
bliższy)
- i inne
2. ruch
Słuch definitywnie wywołuje wrażenie ruchu w przestrzeni
wręcz jednym z ważnych aspektów percepcji dźwięku jest lokalizacja źródła
przesłankami do lokalizacji źródeł są akustyczne parametry dźwięku (w zasadzie
wszystkie, wysokość, głośność, barwa, kierunek)
ergo zawsze kiedy zmieniają się parametry powstaje wrażenie ruchu
słuch dostarcza przesłanek o lokalizacji źródeł/obiektów wokół nas
rozważanie ruchu jest dalszym etapem
uzupełnieniem o sytuacje, kiedy bądź to porusza się obiekt, bądź w ruchu jest ucho
jeśli wyabstrahujemy z rozważań sam słuch to te dwie sytuacje są w zasadzie
jednoznaczne
tzn. zjawiska psychoakustyczne są te same kiedy my się poruszamy, bądź źródło, bądź i
my i źródło
umysł rozróżnia te sytuacje dopiero przy wzięciu pod uwagę informacji z innych zmysłów
wzroku, informacji z błędnika, ruchu naszego ciała (czucia, dotyku)
w skrajnym uogólnieniu każda muzyka w której coś się zmienia wywołuje wrażenia ruchu
wchodzimy tutaj już w metaforyczne rozumienie ruchu, nawet gdy go nie ma
wydaje się więc, że rozważania na temat audytywnej percepcji ruchu rozpięte pomiędzy
dwoma biegunami
od bardzo elementarnych procesów psychicznych, wręcz na poziomie neuronalnym do
filozoficznych koncepcji ruchu, których muzyka jest niejako symbolicznym
odzwierciedleniem
innymi słowy, od ruchu ucieleśnionego (embodiment) przez percepcję audytywną do
metaforycznego "poruszenia duszy"

3. przegląd
Psychologiczne i neurologiczne wyjaśnienia
psychologicznie dominuje teoria „snapshotów” z lat 70 xx w
tutaj wyjaśnienie mechanizmów, uściślenie, rewizja
Auditory Motion Perception: Snapshots Revisited
D. Wesley Grantham
w: Binaural and Spatial Hearing in Real and Virtual Environments. Robert H. Gilkey, Timothy R. Anderson
(red.) 1997, New Jersey

oddzielenie przetwarzania
neurologicznie, głównie próba umiejscowienia ośrodków
dla systemu poznawczego ważne jest rozpoznanie wzorców
nieważne gdzie jest obiekt, ani czy się porusza
ruch źródła zmienia parametry wzorców
mózg musi przede wszystkim zdecydować czy obiekt się porusza
rozpoznanie ruchu i wzorca jest oddzielone w mózgu
wynik analizy ruchu dostraja procesy rozpoznania wzorca
(kalibruje, koryguje)
A movement-sensitive area in auditory cortex
Frank Baumgart, Birgit Gaschler-Markefski, Marty G. Woldorff, Hans-Jochen Heinze, Henning
Scheich
Nature 400, 724-726 (19 August 1999)

lokalizacja
Neural correlates of externalized auditory motion perception under reverberation
Akiko Callan, Hikari-dai
IUCS '09 Proceedings of the 3rd International Universal Communication Symposium, Pages 296-299, ACM New York, NY,
USA ©2009

odkrywanie gdzie dokładnie zachodzi wrażenie ruchu
Auditory cortical neurons in the cat sensitive to the direction of sound source movement
Anssi R.A. Sovijarvi, Juhani Hyvarinen
Brain Research, Volume 73, Issue 3, 28 June 1974, Pages 455–471

These findings indicate that some cells in the primary auditory cortex of the cat perform a
special function in the detection of the direction of sound source movement.
A Comparison of Visual and Auditory Motion Processing in Human Cerebral Cortex
James W. Lewis, Michael S. Beauchamp 1 and Edgar A. DeYoe
Cerebral Cortex Sep 2000;10:873–888

obszary, unikalne dla zmysłu i wspólne, zależne od zadania, (zob. później
multisensoryczność)
Functional cerebral asymmetry in auditory motion perception.
Hirnstein M, Hausmann M, Lewald J.

Laterality. 2007 Jan;12(1):87-99.

lokalizacja - prawa półkula, to wiadomo
ale czy ruch też? też!
jednak zauważyli, że w rozpoznanie ruchu zaangażowana jest znacznie bardziej całość
mózgu, niż w lokalizację stacjonarnych dźwięków
czyli ruchomy dźwięk pobudza bardziej symetrycznie obie półkule
Perception of Auditory Movement in Children with Poor Listening Skills: An ERP Study
Ilse J.A. Wambacq, Kelly J. Shea-Miller, Anne M. Eckert, Virginia Toth
J Am Acad Audiol 16:312–326 (2005)

o symetrii, w kontekście uzdolnień słuchowych
dobrze słyszące aktywują prawa półkulę bardziej (tak jak wyżej)
źle słyszące symetrycznie, obie półkule, brak specjalizacji
Auditory motion perception in normal hearing listeners and bilateral cochlear implant users
Keng Moua, Heath G. Jones, Alan Kan, Ruth Y. Litovsky
Conference on Implantable Auditory Prostheses, July 12-17, 2015, Lake Tahoe, CA.

akcentujemy udział wyspecjalizowanych ośrodków w mózgu
jednak już na poziomie ślimaka zachodzi to
o czym świadczyć mogą porównania pomiędzy pacjentami zdrowymi, oraz takimi z
implantami ślimaka, (może tez to świadczyć o słabszym treningu osób z implantami)
inne:
Are there neurons detecting direction of sound source motion?
Altman JA.
Exp Neurol. 1968 Sep;22(1):13-25.

Synaptic Mechanisms in the Auditory System
Laurence O. Trussell,Arthur N. Popper,Richard R Fay
(redakcja)

tu ciekawostka: neurony odpowiedzialne za kinetykę należą do najszybszych w
centralnym układzie nerwowym
progi
Auditory Motion Perception Threshold
Bill Kapralos, Daniel Zikovitz, Saad Khattak
Haptic, Audio and Visual Environments and Games, 2007. HAVE 2007. IEEE International Workshop

ciekawe! istnieje próg zmian głośności, intensywności i czasu zmian
zmiany poniżej progu będą po prostu odbierane jako zmiany głośności (np. zbyt szybko,
jako wibrato dynamiczne), ale zmiany powyżej progów wywołają wrażenie ruchu
DOES REVERBERATION AFFECT UPPER LIMITS FOR AUDITORY MOtion perception?
Cédric Camier, Julien Boissinot, Catherine Guastavino
The 21 st International Conference on Auditory Display (ICAD–2015) (ICAD 2015) July 8–10, 8-10, 2015, Graz, Austria

a propos: progi dyskryminacji (szybkość pojawiania się bodźców)
pogłos nie wypływa na zmiany tych progów

Upper limits of auditory motion perception: the case of rotating sounds
Feron, Francois-Xavier, Frissen, Ilja, Guastavino, Catherine
International Conference on Auditory Display, 2009 [43]

dokładniejsze progi, dźwięki wirujące, słuchacze wskazują kiedy przestają wirować:
The thresholds ranged between 1.95-2.80 rot/s for noises and 1.65-2.75 rot/s for harmonic
sounds.
multisensoryczność
wzrok dominujący, ale słuch może wpływać
o związkach inter-sensorycznych
Auditory Motion Information Drives Visual Motion Perception
Souta Hidaka, Wataru Teramoto , Yoichi Sugita , Yuko Manaka, Shuichi Sakamoto, Yôiti Suzuki
PLoS ONE 6(3): e17499. doi:10.1371/journal.pone.0017499

[…] static visual stimuli are perceived as moving laterally by alternating left-right sound
sources. […] These findings suggest there exist direct interactions between auditory and
visual motion signals, and that there might be common neural substrates for auditory and
visual motion processing.
Auditory motion affects visual motion perception in a speeded discrimination task
Daniel Sanabria, Juan Lupiáñez, Charles Spence
Experimental Brain Research, April 2007, Volume 178, Issue 3, pp 415–421

eksperyment z podskakującymi dyskami, z dźwiękiem lub bez,
towarzyszący dźwięk zmieniał ocenę prędkości (zwiększał prędkość)
częsty temat, inne:
Auditory motion capturing ambiguous visual motion
https://www.google.pl/search?client=ubuntu&channel=fs&q=Auditory+motion+capturing+ambiguous+visual
+motion&ie=utf-8&oe=utf-8&gfe_rd=cr&ei=n8X_V4K3N8Ov8wff7L3YDA

Auditory motion affects visual biological motion processing
A. Brooks, R. van der Zwan, A. Billard, B. Petreska, S. Clarke, O. Blanke
Neuropsychologia xxx (2006) [online print proof]

detekcja ruchu, przy interakcji zmysłu wzroku i słuchu
co się dzieje gdy przesłanki się zgadzają, a co gdy są sprzeczne
nie tylko wzrok, także rozumienie mowy:
Perception of Auditory Motion Affects Language Processing
Michael P. Kaschak, Rolf A. Zwaan, Mark Aveyard, Richard H. Yaxley
Cognitive Science 30 (2006) 733–744

bada się jak bodźce sensoryczne (głównie wizualne) wpływają na rozumienie zdań o
ruchu. tutaj bodźce słuchowe (jest tu dobra literatura przedmiotu)
słuch wpływa na przetwarzanie mowy i czytanie
INNE na ten temat:
Moving multisensory research along: Motion perception across sensory modalities.
Soto-Faraco S, Spence C, Kingstone A (2004b)

Curr Direct Psychol Sci 13: 29–32.

Sound alters visual motion perception.
Sekuler R, Sekuler AB, Lau R (1997)
Nature 385: 308.

When sound affects vision: Effects of auditory grouping on visual motion perception.
Watanabe K, Shimojo S (2001)
Psychol Sci 12: 109–116.

Direction of visual apparent motion driven solely by timing of a static sound.
Freeman E, Driver J (2008)
Curr Biol 18: 1262–1266.

No direction-specific bimodal facilitation for audiovisual motion detection.
Alais D, Burr D (2004a)
Brain Res Cogn Brain Res 19: 185–194.

i poważna, dokłądna teza doktorska:
INTERACTIONS BETWEEN AUDITORY AND VISUAL MOTION MECHANISMS AND THE ROLE
OF ATTENTION: PSYCHOPHYSICS AND QUANTITATIVE MODELS
ANSHUL JAIN
A Dissertation submitted to the Graduate School-New Brunswick, Rutgers, The State University of New Jersey

interakcja z poruszającym się ciałem
Perceived auditory motion is inaccurate during smooth head rotation
Tom C. Freeman 1 , John F. Culling 1 , Michael A. Akeroyd 2 and W Owen Brimijoin
J. Acoust. Soc. Am. 137, 2201 (2015);

porównanie wzroki i słuchy, tworzenie reprezentacji ruchu przy zmiennej pozycji głowy
kolejne bardziej szczegółowe, subtelne, rzeczywiste sytuacje, a nie laboratorium
robi się to bardzo złożone, metodologia: bayesiańskie sztuczne sieci neuronowe
powidoki, także multisensoryczne
Auditory motion aftereffects
D. Wesley Grantham, Frederic L. Wightman
Perception & Psychophysics, September 1979, Volume 26, Issue 5, pp 403–408

wrażenie ruchu może być uwarunkowane kontekstem (priming)
po serii poruszających się w jednym kierunku dźwięków
dźwięk stacjonarny postrzegany jest jako poruszający się, w przeciwnym kierunku
autorzy nazwali to : auditory motion aftereffect - słuchowego ruchu powidok
a więc zachodzą tu dość subtelne zjawiska
Direction‐specific acoustical aftereffects
W. H. Ehrenstein
J. Acoust. Soc. Am. 64, S35 (1978)

Detalicznie o powidokach
przy bodźcach około 6khz nie występuje
zamiast tego lokalizacja statycznego źródła jest przesunięta (około 2 stopnie)
Dwóch autorów szczególnie aktywnych na tym polu:

Audiovisual short-term influences and aftereffects in motion: Examination across three sets of
directional pairings.
Jain A, Sally SL & Papathomas TV
Journal of Vision, 8(15), 7, 1-13, 2008

Jain et al. [1] showed that a strong motion signal in one modality (visual/auditory)
influences the perception of a simultaneously present weak motion signal in the other
modality (auditory/visual) for motion along the three cardinal axes. Furthermore, they also
observed auditory crossmodal motion aftereffects (MAE) for all directions and visual
crossmodal MAE for vertical direction of motion.
tworzą też model wyjaśnienia na poziomie neuronalnym:
Computational Model for Interactions between Auditory and Visual Motion Mechanisms
Anshul Jain 1 , Thomas V. Papathomas
Bioengineering Conference, 2009 IEEE 35th Annual Northeast

The effect of trajectory on the auditory motion aftereffect
Michael F. Neelon, Rick L. Jenison
Hearing Research 180 (2003) 57^66

tu dokładniejsze mierzenie relacji między modlanością wzrokową a słuchem, w temacie
powidoków
inne
Direction‐specific acoustical aftereffects
W. H. Ehrenstein
J. Acoust. Soc. Am. 64, S35 (1978)

w medycynie
A Simple Procedure Using Auditory Stimuli to Improve Movement in Parkinson’s
Fernandez del Olmo, M., Cudeiro, J.
Neurology and Clinical Neurophysiology 2003:2 (January 25, 2003)

Choroba Parkinsona utrudnia uniemożliwia ruch
Zauważono, że obecność wskazówek słuchowych pomaga
Rodzaj metronomu wyznacza czas działania, i pozwala koordynować ciału
Umożliwia poruszanie się. Autorzy prezentują projekt takiego przenośnego urządzenia
tutaj bardziej szczegółowe wyjaśnienie neurologiczne (późniejsze, tych samych autorów):
Evaluation of the effect of training using auditory stimulation on rhythmic movement in Parkinsonian
patients—a combined motor and [ 18 F]-FDG PET study
M. Fernandez del Olmo, P. Arias, M.C. Furio, M.A. Pozo, J. Cudeiro
Parkinsonism and Related Disorders 12 (2006) 155–164

wykorzystanie: plastyczność, przejmowanie funkcji
Auditory motion perception activates visual motion areas in early blind subjects.
Poirier C, Collignon O, Scheiber C, Renier L, Vanlierde A, Tranduy D, Veraart C, De Volder AG.
Neuroimage. 2006 May 15;31(1):279-85. Epub 2006 Jan 27.

occipital cortex of blind people could be organized in a modular way, as in sighted people
(plastyczność i modularność mózgu)
Hearing visual motion in depth
Kitagawa N, Ichihara S (2002)
Nature 416: 172–174.

For example, the adaptation made in response to moving visual stimuli induces a motion
aftereffect in the auditory modality [4]
w sporcie ?
Effect of music-movement synchrony on exercise oxygen consumption.
Bacon CJ , Myers TR, Karageorghis CI.
J Sports Med Phys Fitness. 2012 Aug;52(4):359-65.

jak się można spodziewać, ruch koordynowany dźwiękiem wymaga mniej tlenu
uporządkowany, mniej entropii w ruchu
w sztuce dźwięku
Surround - sztuka oszukiwania (słuchu)
Piotr Górecki
http://elportal.pl/pdf/k03/55_18.pdf , http://elportal.pl/pdf/k03/56_22.pdf

Ruch wokół słuchacza symulować jest dość łatwo
Natomiast stosunkowo trudne jest symulowania oddalania i przybliżania
Złożone procesy, odbicia, stosunek do szumu otoczenia (stałego tła), i wreszcie zmiana
barwy (dźwięki o niskim poziomie natężenia mają w percepcji zawężone spektrum, bliższe
są barwniejsze)
Akustycy mówią że przekonujące wrażenie do i od słuchacza jest niemal niemożliwe
najlepiej sprawdzają się przeciwległe głośniki, dźwięk przechodzi przez słuchacza
ale trudne jest określenie krzywych „fejdowania”
są też inne aspekty, jak wspomniana barwa, efekt Dopplera, zmiana fazy i td
badania a propos: dźwięków przybliżających się i oddalających
An Adaptive Bias in the Perception of Looming Auditory Motion
John G. Neuhoff
Ecological Psychology, 13(2), 87–110

Słuch przecenia skalę zgłaśniania się dźwięków,
Mechanizm adaptacyjny, ostrzegający bardziej, przed zbliżającymi się obiektami
Adaptive Sex Differences in Auditory Motion Perception: Looming Sounds Are Special
John G. Neuhoff and Rianna Planisek Erich Seifritz
[online printing proof]: Journal of Experimental Psychology: Human Perception and Performance 2008, Vol. xx, No. x, 000 –
000

dźwięki do i od słuchacza
różnice między płciami dotyczą wyłącznie dźwięków zbliżających się
kobiety odbierają je jako bliższe
odległość dźwięków oddalających się oceniana była identycznie
do wykorzystania w muzyce tanecznej:

Influences of Rhythm- and Timbre-Related Musical Features on Characteristics of Music-Induced
Movement
Birgitta Burger, Marc R. Thompson, Geoff Luck, Suvi Saarikallio, Petri Toiviainen
Front Psychol. 2013; 4: 183. Published online 2013 Apr 12. doi: 10.3389/fpsyg.2013.00183

to przykład prac Toivainena, jest więcej, ciekawych
lista tutaj: http://users.jyu.fi/~ptoiviai/publications.html

(stosowana metoda: optical motion capture)
harmonia, barwa, dysonans, rozwiązanie „wykręca”
powoduje wrażenie ruchu, przenosi się na ciało
ciekawe, Różne cechy dźwięku oddziałują na różne części ciała
czyste pulsy (beaty) całe ciało
ale zmiany barwy (spectral flux) na ruch głowy i rąk
inny Toivainen:
Embodied meter: hierarchical eigenmodes in music-induced movement.
Toiviainen, P., Luck, G. & Thompson, M. (2010)
Music Perception, 28(1), 59-70.

Dźwięk indukuje ruch
Ruch zmienia percepcję elementów muzyki
np. efekt Dopplera (kręcenie głową ;)
GRY
wwise
https://www.audiokinetic.com/
https://en.wikipedia.org/wiki/Audiokinetic_Wwise

soundart, Audio kinematics
http://www.glyph.de/en/project/audio-kinematics

ogólne źródła
przegląd zagadnień w:
The Perception of Auditory Motion
Simon Carlile, Johahn Leung
Trends in Hearing, 2016, Vol. 20: 1–19

Music, Mind, and Embodiment
Richard Kronland-Martinet, Mitsuko Aramaki and Sølvi Ystad
https://books.google.pl/books?id=-oggDQAAQBAJ&pg=PA107&lpg=PA107&dq=toivainen+sound
+movement&source=bl&ots=GjbUSqWOnC&sig=oLPQDocgaXuyiPljOuKc7xaeqVY&hl=pl&sa=X&ved=0ahUKEwiooJG8gdXP
AhVBWCwKHa_qDlcQ6AEIYDAJ#v=onepage&q=toivainen%20sound%20movement&f=false

oraz lista bibliografii:
http://web.calstatela.edu/faculty/dperrot/pub2.html

w stronę audytywnej semantyki ruchu
kodowanie informacji o ruchu
Auditory coding of human movement kinematics.
Vinken PM, Kröger D, Fehse U, Schmitz G, Brock H, Effenberg AO.
Multisens Res. 2013;26(6):533-52, erratum in: Multisens Res. 2014;27(3-4):263-4.

Dźwięk ma możliwości kodowania informacji or uchu
Ale brak przekonujących dowodów, że można dźwiękiem kodować ruch ciała
Kodowanie informacji o ruchu ramienia
kluczowy termin : „sonifikacja”
badani mieli skojarzyć próbki dźwiękowe z ruchami ramienia
Artificial acoustical kinematics – pomocna w informacji o ruchu dla osób niewidomych
Hearing what the body feels: Auditory encoding of rhythmic movement
Jessica Phillips-Silver, Laurel J. Trainor
Cognition 105 (2007) 533–546

Here we show that the way adults move their bodies to music influences their auditory
perception of the rhythm structure. […] Parallel results from adults and infants suggest that
the movement-sound interaction develops early and is fundamental to music processing
throughout life.
w stronę wyższych funkcji mózgu
Images of time: temporal aspects of auditory and movement imagination
Rebecca S. Schaefer
Front Psychol. 2014; 5: 877. Published online 2014 Aug 12.

rzeczywiste a wyobrażone…
co dzieje kiedy wyobrażamy sobie poruszające się dźwięku
wyobrażenia ruchu i wyobrażenia muzyki mają wspólne komponenty
podobne cechy, angażują podobne struktury i procesy poznawcze
ERGO muzyka jest ruchem, ruch jest muzyką
to i to informuje nas o czasie, o przepływie czasu
jest „obrazem” przepływającego czasu
ruch ucha metaforycznie
w analizie muzyki
Music means movement: musings on methods for movement analysis in music
Jan C. Schacher
2015

muzyka wywołuje ogólne wrażenia ruchu, aktywuje ośrodki ruchu
jest generalnym meta-bodźcem (w terminologii S. Pinkera: auditory cheescake)
Wg psychologii ewolucyjnej
Muzyka synchronizuje działania
(wczoraj Podlipniak, władza rytmu, socjalizacja przez rytm, także komunikacja/
sychronizacja emocjonalna)

polifonia renesansu i baroku
sztuka symulowania dynamicznie zmiennej przestrzeni
ruchy planów (trójwymiarowość muzyki)
oświeceniowa teoria retoryki muzycznej - wyjaśnienia fizjologiczne w kategoriach
przepływu płynów ustrojowych, który to ruch stymulowany jest muzyką, i w rezultacie
wywołuje emocje
np harmonia
Fetis opisuje relacje między współbrzmieniami jako attractions (Traite… 1844)
Kurth, Mersmann (pocz XX wieku) jako:
trajektorie, dążenie, ciążenie (grawitacja), kinetyka, tektonika
ale też rytm (to oczywiste) motoryka

nie tylko istnienie „motoryki”
także jeden, ciągły dźwięk może wywoływać wrażenie „pędu” (początek Polimorfii
Pendereckiego)
Motoryka? uwaga! dopiero od czasu upowszechnienia maszyn, powszechności maszyn.
Wcześniej takie postrzeganie ruchu wcale niekoniecznie istniało
dochodzą zjawiska kulturowe
i temat dopiero otwiera się…
---------------------------------------------------------------------------------------------------------------------