Professional Documents
Culture Documents
Eriksson04 Dataspelsaudio ITunivers
Eriksson04 Dataspelsaudio ITunivers
Thomas Eriksson
Stockholms universitet
dataspelsaudio
musik och ljud i en interaktiv underhållning
Presentation av föreläsare
Bakgrund: Magister i pedagogik med inriktning mot multimedia och forskning,
musikvetare, diplomgrafiker, grafisk designer
www.thomaseriksson.tk | www.mmedu.net
thomas.eriksson@mmedu.net
Struktur
Inledning: syfte, perspektiv, historik, ljud
Inledning
Syfte
Ge en inledande insikt i och översikt över området dataspelsaudio med såväl
tekniska perspektiv som beteendevetenskapliga verktyg
Perspektiv
Skilda perspektiv i ett mångvetenskapligt gränsöverskridande synsätt
Teknik, historia och beteendevetenskap
Historik
Några milstolpar i utvecklingen när det gäller spelplattformar och kort om auditiva
egenskaper
Atari 2600, Pacman 1980 en ljudkanal för ljudeffekter och början till musik
Commodore 64 1982 Sound Interface Device (SID) med tre monofona kanaler samt
en för samplade ljud
Nintendo Entertainment System (NES) Mario Brothers (1985) med flera monofona
kanaler
Commodore Amiga 1989-1995 Musikmoduler, trackers med samplat ljud och allt fler
kanaler
Ljudvågorna har egenskapern att de motsvarar svängningar som anges per sekund
d.v.s. frekvens som mäts i Hertz (Hz), Hörbart fekvensomfång 20-20.000 Hz
Klanger byggs upp av sinusvågor med en grundton och övertoner som är multiplar av
grundtonen och som tillsammans skapar en helhetsklang
Digital audio
Metoder för digitalisering/AD-omvandling, lagring,
bearbetning och återskapande
Analog kontinuerlig ljudsignal i form av spänninsvariationer digitaliseras i diskreta
steg, syntetiseras i dator, lagras digitalt och omvandlas till analog signal. Fördelar
med digital ljudrepresentation är identisk kopiering,
lagringsmöjligheter, digital distribution, samordning och integration med
mediaelement såsom text, film, animation, grafik, och interaktion.
Parametrar.
Samplingsfrekvens (kHz) hur hur ofta den kontinuerliga signalen avläses och
upplösning (bit/ord, bitdjup) hur många diskreta steg amplituden delas in i vilket
bestämer dynamik och signal/brusförhållandet.
Digitalisering består dels av s.k. sampling, då man tar täta prover/avläsningar som
kodas digitalt i AD-omvandling. Samplingsfrekvensen, Fs skall vara dubbelt så hög
som den högsta ingående frekvensen (20 kHz är den högsta hörbara) därför har
frekvensen 44,1 kHz valts till Audio-CD-formatet
Stickproven tas med sample/hold-krets som mellanlagrar.
Efter detta sker kodning av signalen vilket betyder att varje sampel ges ett binärt
värde och detta är beroende av det interna systemets förutsättningar. Pulse Code
Modulation (PSM) innebär att lagra sampels efter varandra i pulståg.
D/A-omvandling används för att återskapa den analoga signalen. I stort sätt en
omvändning av A/D-omvandlingen, men ett lågpassfilter används för att runda av den
trappstegsformade signalen samt dubbel översampling för att förbättra kvaliteten.
Komprimering
Syftet med komprimering är att ta bort redundant överflödig information så att
minnesåtgången minskas.
Aiff (Audio Interchange File Format) togs fram av Apple. Upp till 48 kHz
samplingsfrekvens och 16 bitars bitdjup, kompression upp till ca 1:6
MP3 (MPEG-1 audio layer 3) 32, 44,1 och 48 kHz. Signaler med låg frekvens
kodas i en gemensam kanal och ej i stereo. Maskning d.v.s. borttagning av
frekvenser med svagt ljudtryck/amplitud görs för att minska data.
Kompression sker med Huffmankodning.
Audioediteringsprogram
Audioediteringsprogram såsom exempelvis Soundforge arbetar med den digitala
vågformsrepresentationen av ljud. I programmen kan olika egenskaper hos ljudet
påverkas t.ex. förstärkning av amplitud, noramlisering då ljudets nivå anpassas till en
lagom signalnivå, filtrera med olika effekter t.ex. equalizer för att styra
frekvensgången, d.v.s. hur olika frekvensområden representeras inom ett ljud.
Hårddiskinspelning
Hårddiskinspelning innebär att lagra flera ljudspår digitalt på en hårddisk och görs när
man spelar in musik som sedan skall mixas. Detta ersätter äldre
mångkanalsinspelning med analoga magnetband. Datorns ljudkort hanterar AD/DA-
omvandlingen. Vid hårddiskinspelning lagras typiskt flera timmar ljud för ett antal
låtar. För hårddiskinspelning används mångkanalsprogram såsom ProTools, Cubase
eller Nuendo (Marks 2001).
Sampler är en enhet som spelar in digitalt ljud, lagrar det och behandlar det
digitalt. Ljudet kan sedan spelas upp från keyboard och då omräknas det till olika
frekvenser/toner beronde på vilka tangenter som trycks ner på en keyboard.
Trummaskin förut externa enheter men idag en implementerad enhet eller plugin som
sköter om att generera trumljud och som används för att programmera in
trummönster.
Motherkeyboard är ett styrkeyboard som saknar egen ljudkälla och som kopplas via
midiinterface till dator för inmatning av musikaliska data när man spelar på det och
för att styra
program i datorn såsom tonböjning och tonmodulation. Ett fullstort keyboard har 88
tangenter och efterliknar ett traditionellt keyboard på ett piano eller flygel. En mindre
variant har tre oktaver med 61 tangenter.
Ljudgenereringsmetoder
Subraktiv syntes
Metoden subtraktiv syntes användes först i de äldre analog synthezisers som fanns
på 1970-talet t.ex. de berömda
Sedan filtreras tonen genom att ljudsignalen går igenom filterenhet med t.ex. ett
lågpassfilter som stegvis tar bort frekvenser över en viss cutoff frekvens.
Resonansfilter finns också och denna enhet förstärker vissa frekvenser.
En envelopegenerator (EG) formar ljudets beteende i tiden både när det gäller
styrka/amplitud och filtrering. ADSR kallas den då den typiskt arbetar med fyra
parametrar, attack (insvängning), decay (tid till punkt där ljudet klingar med fast
amplitud vid nedtryckt tangent), sustain (upprätthållen ljudnivå) och release
(utklingnings tid från tangentsläpp).
Lågfrekvent oscilator (LFO) används för att modulera ljudet för att skapa vibrato
(frekvensmodulering) eller tremolo (amplitud modulering).
Ljudsignalen skapas alltså i en process som inleds med allstring i oscillator och leds i
en process genom olika enheter som utgör modifierare medan det styrs av andra
enheter som är kontrollerande. I äldre analogsynthar kunde man leda signalen fritt på
olika vägar mellen olika enheter och moduler med kablage. Idag finns den funktionen
i olika softsynthar (t.ex. Cellsynth) vilket gör att nya oväntade ljud kan skapas.
FM-syntes är en förenklad variant av additiv syntes där man inte använder så stort
antal oscillatorer och där dessa får styra varandra (frekvensmodulering) efter olika
ihopkopplingsmetoder. Denna metod kan vara svårgripbar men skapar ofta ljud med
en speciell klang som kan efterlikna klockor och piano-klanger.
Wavetable är en metod som påminner om subtraktiv syntes men där man använder
lite mer sammansatta vågformer i form av samples som sedan behandlas på samma
sätt som i subtraktiv syntes.
VST används även för olika digitala effekter såsom reverb (efterklangrumsklang),
delay (eko), flanger (fasförskjutare) fuzz (amplitud distorsion/clipping) compression
(anpassning av amplitudvariation mot en normalnivå).
Midi
MIDI står för Musical Instruments Digital Interface och är en standard för att koppla
ihop digitala instrument och datorer, där man sänder styrdata (inga ljudsignaler)
mellan olika enheter.
Yttre enheter kopplas ihop via fempolig DIN-kontakt och överföringen är seriell med
10 bits/byte (en oktett med start respektive stopbit). Överföringen är 31 kbits/sek
vilket ibland ger en eftersläpning men eftersom örat inte uppfattar tidsskillnader på
mindre än 30 msek så fungerar detta system.
Musiken och ljuden i MIDI genereras av en synth eller datorns ljudkort som har ljuden
digitalt lagrade. I
Apples egna ljudkort använder instrumentklanger från Roland i Wavetableform.
Midifilformatet (Standard Midi Format, SMF), liksom de format som olika tillverkare
använder internt, innehåller alltså endast styrinformation om musiken och därför blir
midifilerna mycket kompakta (ungefär typiskt 10 kB/minut).
MOD
Music Modules (MOD) påminner om MIDI genom att styrkoder lagras i fil men
skillnaden är att ljuden bakas in i datafilen som samples vilket gör att man kan
använda vilka instrumentsamples eller vågformer man önskar. Denna teknik togs
fram till Commodores Amgiadator för att användas till spelmusik. Programmen för
denna teknik kallas trackers och tekniken finns också i operativsystem till PC och
Macintosh-plattformarna men är i utdöende då den inte vidareutvecklas till senare
operativsystem.
Musik i dataspel
Exempel1
Känner ni igen?
Rätt svar: Super Mario Brothers för symfoniorkester resp. original Nintendo NES
Definitioner
Dataspelsmusik (Music in Video Game/Video Game Music) är samlingsbegrepp för
musik i alla typer av processorstyrda spel som presenteras på en bildskärm. Det kan
vara spelkonsoller, äldre arkadspel, spel på PC.
Nintendo Entertainment System (NES) (1985) med fyra analoga kanaler med
bestämda enkla vågformer (kanal ett och två puls, tre trekant och fyra var för brus)
och en för lågupplösta samples (effekter, tal etc)
Commodore 64 (1982) tre kanaler med ett antal valfria vågformer att välja på,
lågpassfilter.
Lagringsformatet kallas .sid efter den signalenhet som finns i datorn som kallas
Sound Interface Device (SID).
Gameboy har i grunden liknande uppbyggnad med enheter för enkelt programmerad
musikskapande.
Playstation lagrar musiken på CD vilket innebär att musik och effekter produceras
och lagras i audioformat såsom wave eller mp3 vilket innebär att musiken kan
produceras på valfritt sätt och sedan lagras på CD.
MIDI kom på 1980-talet och har ibland används direkt att anropas i spel. Systemet
har vi talat om tidigare, se ovan.
Det som kännetecknar den tidsmässiga utvecklingen är att tekniken utvecklats och
prestandan ökat. Den tidiga dataspelsmusiken var av typen realtids och
programmerad musik vilket innebar att musiken skapades av kod i spelögonblicket
och att musiken registrerades i en programeringsliknande miljö på en maskinnära
nivå av en musikprogrammerare. Man skrev in hexkoden för vilken ton som skulle
spelas, samt hexkod för med vilken vågform och med kod för effekt och hur denna
skulle bete sig. Detta gjordes i ett program med tidsangivelser för triggning av varje
ton.
När hårdvaran har utvecklats har man gått bort från den programmerade musiken
med enkla vågformer till mer avancerade musikprogram och mångkanalsprogram
som innebär att man kan arbeta mer musikaliskt och med olika grafiska interface och
representationsformer. Musiken i datorspel produceras idag med samma verktyg
som övrig populärmusik som innebär behandling i datorprogram och digital lagring.
Karaktärsteman, teman eller fraser som identifierar en viss spelkarraktär, t.ex. hjälten
Bossmusik är det tema som presenteras och stöder den önskade affekten av
dramatisk kamp i uppgörelser i slutet av en spelnivå när den onda antagonisten
skall elimineras.
Platsteman, teman som identifierar och ger stämning åt bestämda platser och rum
och spelas upp när spelaren kommer till platsen.
Scoring, innebär att skriva musik till rörlig bild (kommer från filmbranschen). Detta
görs t.ex. till de korta cinematografiska övergångar mellan olika nivåer som finns i
spel.
Menymusik, musik som spelas vid inställningar i menyer före spelandet. Denna är
ofta en dämpad loopad version av titelmusiken/soundtracket.
Inomspelslig musik (in game music), musik som presenteras i spelsituationen som
ackompanjemang och bakgrund till handlande och interaktion.Musiken skapar en
stämning och får ej störa spelandet som är det viktiga.
Creditmusik, musik som spelas upp när de medverkandes namn visas genom val
från meny, ofta är creditmusieken en variation av huvudtema.
Vinst och förlustmusik, illustrerar en seger med glad musik i stigande tonintervall eller
en förlust med mer nedstämd musik. Idag ersätts denna musik ofta med musik till
rörliga pasager
Realtidsmusik, musik som styrs i realtid av programkod, vilket möjliggör att musiken
inte behöver vara fastlagd i förväg utan kan påverkas av och samordnas med vad
som sker i spelverksamheten.
Dynamisk musik kan jämföras med realtidsmuik, musiken varierar med situationen
t.ex. så kan valet av instrumentklang för en melodi varieras, melodistämmans tonläge
(sopran, alt, tenor), tempo (hastighet) samt antalet stämmor/lager för att få en viss
helhetsklang för att överensstämma med stämningen i spelsituationen
Beteendevetenskapliga begrepp
Begrepp som kan fungera som teoretiska verktyg i praktiken
Immersion
Begreppet immersion är centralt inom dagens dataspelsmusik och innebär en
inneslutenhet, uppslukenhet i och upplevelse av att vara uppfylld av spelupplevelsen
något som ger koncentration och fokusering. Musiken stänger även ute omgivningen.
(Bengtsson 2004, Eriksson 2004, Murray 1997)
Arousal
Teori om arousal har skapats inom hjärnforskning och tagits upp inom
musiksociologi. Teorin menar på att yttre stimuli (påverkan på sinnen) och aktivitet
ger en hjärnaktivitet som kan skapa välbefinnande och balans eller obehag. Hög
arousalpotential upplevs som obehagligt och störande medan en lagom arousal ger
välbehag. (Bengtsson 2004, s. 24). Experiment har visat att aktivitet med
högarousalpotential leder till val av enklare musik.Komplexa uppgifter som att spela
ett svårt dataspel ger hög arousalnivå och därmed kan en mindre komplex musik
vara att föredra till sådana aktiviteter. I t.ex. racingspel fungerar stark och hård men i
sin struktur enkel och rytmiskt pulserande musik, men inte progressiv art symfonirock
a la Genesis på 1970-talet då det blir för mycket information för människan att
hantera.
Musikmiljö
Den miljö, sammanhang och situation en musik framställs kallas för musikmiljö. Två
typiska musikmiljöer är en konsertsal eller vardagsrummet hemma.
Dataspelsmusikmiljöer är sov/vardags/arbetsrum i hemmet i en solitär situation eller i
en social situation med vänner vid ett litet LAN-party eller vid ett megaLAN med ca
flera tusen datorspelare
Ubiquitous musik
Detta begrepp står för musik som verkar på ett förmedvetet sätt.Det kan exempelvis
vara bakgrundsmusik på ett varuhus s.k. muzak som skall påverka kunder att handla
mer (Kassabian i Eriksson 2004, s. 9). Denna musik skiljer sig för den musik som vi
lyssnar medvetet på, musik för lyssning t.ex. när vi laddar ner musik från nätet eller
lyssnar på en musik CD. Dataspelsmusiken är typiskt sätt just ubiquitous music då
det är funktionell musik med ett syfte, att stödja spelarens funktionalitet i
spelsituationen.
Affektlära
Affekter utgör standardiserade känslor såsom rädsla, glädje, sorg etc. (som de allra
flesta medicinskt friska människor kan uppleva) har kunnat konstateras påverkas
med hjälp av musikaliska komponenter sedan lång tid tillbaka. Under barockepoken
under 1600-talet utvecklade en omfattande affektteori samt praktiska metoder som
tillämpades friskt inom t.ex. opera. Med en palett av korta melodiska fraser kunde
man sätta samman nästan tonmålningar. Stigande tonföljder (intervall) upplevs som
livsbejakande och fallande som dystra. Vi har även samklanger och treklanger som
kan byggas upp efter olika principer. Harmonier och durackord ger en positiv känsla
medan dissonanta ackord ger en obehaglig känsla.
Vissa ackord (Kjellberg 1999).
Produktion
Att producera musik, ljudeffekter, dialog för dataspel
Marks (2001) ger en utförlig beskrivning av hur man praktiskt arbetar med olika
program och utrustning för att skapa musik och ljudeffekter till dataspel.
Programexempel
Cubase
Utrustning
Vad som behövs för att komma igång.
Mixerbord
Programvara
Editeringsprogram (Soundforge),
Musik/sequencer/mångkanalsprogram (Protools, Cubase, Logic, Nuendo)
Loopproduktionsprogram Acid
Plugins
Avslutning
Framtid och frågetecken
Realtidsmusik och interaktiv musik
Den äldre spelmusiken var programmerad och innehöll få ljudkanaler men klara
inslag av starka melodiska teman och avancerad stämföring hur olika instrument
samverkar och sammanvävs (mycket lik immitativ interpunktion som kännetecknar
barockmusik). Idag är musiken lagrad som audiofiler i små fasta bitar som läggs ihop
i olika mönster och loopas. Om musik och ljudprogram utvecklas till att innehålla mer
musikalisk eller fysisk auditiv information skulle dessa program kunna fungera mer
interkativt tillsammans med interkationen i spelsituationen.
Mångkanalsljud
Miljöupplevelse i det auditiva kan ökas. För att kunna få en utökad spelupplevelse
med surroundljud för att uppleva detaljer och miljöljud utvecklas ljudsystem
7:1kanalsljud,
Ny standard med 24bitars kvantifiering, 96kHz samplingsfrekvens ger betydande
högre ljudupplösning och med de olika kanalerna samkodade för att spara utrymme.
Microsoft utvecklar system för streamad mångkanalsljud. Var skall ljudet lagras lokalt
eller via server på nätet eller peertopeer. Streaming via 8 Mbit bredband.
Dolby
Soundblaster
Slutsats/sammanfattning
Det lätta är det riktigt svåra d.v.s. det som spelaren uppfattar som lättsam
oproblematisk underhållning är för musikkompositörer och ljudläggare något som
väcker många tankar och överväganden och som kräver långsiktigt planerat uthålligt
arbete. Dataspelsaudio är på gränsen till en konstart, vetenskap men framför allt ett
roligt samtidigt slitsamt yrke ” hard fun”.
Litteratur
Bengtsson, J. (2004) Dataspelsmusikens form och funktion [c-uppsats] Stockholm:
Multimediaprogrammet, Pedagogiska institutionen, Stockholms universitet.
Franz, D. (2001) Producing in the Home Studio with Pro Tools. Boston: Berklee
Press
Gamasutra. The Art and Science of Making Games (2004) Features: Audio
<http://www.gamasutra.com/php-bin/article_display.php?category=1>
Marks, A. (2001) The Complete guide to Game Audio. San Francisco: CMP