Den klassiske fiolinisten Victoria Johnson beveger seg sakte rundt på scenen. Samtidig som hun stryker buen over strengene, styrer hun andre lydfragmenter med kroppen. Strødd utover det digitale scenerommet ligger nemlig opptak av hennes egne fiolinlyder. Noen steder tett i tett, andre steder spredt.
Sensorer fanger opp hvor hun går og står. Slik kan hun velge å flytte seg til mer dramatisk eller stille materiale, leke med lyd og utforske bevegelser. På en digitalt utvidet fiolin improviserer hun med seg selv.
– Det er en helt spesiell opplevelse, som bare må erfares. Etter hvert utvikler kroppen et fysisk minne av hvor lydfragmentene er plassert, forteller Johnson.
Les også: I år tar trådløs lading endelig av
Større spillerom
Det er en stund siden den elektroniske musikken kunne plasseres i en blikkboks. Nå legger digital musikkproduksjon til nyanser og klanglig spillerom der de tradisjonelle instrumentene møter sin begrensning.
– Ting skjer mellom meg og elektronikken som ikke kunne vært gjort på noen annen måte. Det er skjedd noe nytt musikalsk. Jeg har fått større kunstnerisk frihet og mulighet til å komponere i sanntid i et rom, sier Johnson.
Hun fremhever at de fleste lyder allerede er blitt utforsket på de klassiske, akustiske instrumentene. For henne handler eksperimenteringen med datamaskiner om å skape en større verktøykasse for musikeren.
– Det skal mye til å finne på noe helt nytt. Ved å integrere lyden med ulike dataprogrammer, vil du kunne utvide instrumentet ditt til å låte helt annerledes, få en helt ny funksjon, og bli en annen type del av din kropp – mulighetene er egentlig uten begrensning, sier Johnson.
Les også: Her er brillene som skal fjerne jetlag
Musikere som kan teknologi
Det nevnte stykket har navnet ”Transformation”, og ble laget i nært samarbeid med Alexander Refsum Jensenius, musikkforsker, forskermusiker og nytilsatt leder ved Institutt for musikkvitenskap (IMV) ved Universitetet i Oslo (UiO).
Han jobber med musikkteknologi og musikkognisjon, med særlig vekt på menneskelig kropp og bevegelse i musikalsk sammenheng. Som forsker i VERDIKT-prosjektet ”Sensing Music-related Actions” har han laget en rekke dataprogrammer og nye musikkinstrumenter - et arbeid det har kommet mange konserter ut av. Johnson har på sin side brukt samarbeidet med Jensenius som del av sitt doktorgradsarbeid ved Norges musikkhøgskole.
Arbeidet med ”Transformation” tok omtrent to år, og det var mye prøving og feiling før de to kom fram til noe som kunne brukes i en musikalsk sammenheng. Johnson understreker hvor viktig det er at hun som musiker også har teknologisk kompetanse.
– Jeg tok lydprogrammeringsfaget ved UiO for å forstå mest mulig. Det handler ikke om at jeg skal være programmerer, men at jeg kan henge med i diskusjonen. Siden det stadig kommer nyvinninger på feltet, er det viktig å holde seg oppdatert også, sier hun.
– Fremtidens musikere må nok bli mer delaktige i å være med å utvikle instrumentet. Her er det ikke snakk om et ferdig instrument og en ferdig låt. Vi må både bygge instrumentet og lage låta underveis, forklarer Jensenius.
Samtidig som han tror det vil bli stilt nye, teknologiske krav til musikeres ferdigheter i fremtiden, har forskerne i prosjektet også jobbet mye med å lage teknologi og instrumenter som er enklere å spille med.
Les også: Nå kan du glemme PIN-koden
Demokratisering
– Med slike instrumenter kan folk komme raskere i gang med å lage spennende musikk. Det innebærer en demokratisering av musikkproduksjonen, sier Jensenius.
Baller, sverd, leketroll, hansker og kroppsdekkende drakter er noen av objektene som forskerne i gruppen ”fourMs” (Music, Mind, Motion, Machines) har gjort om til digitale musikkinstrumenter. Jensenius forteller også om et mobilorkester og dansere som spiller med mikrobevegelser. Nøkkelen er bevegelsessensorer og digitale koblinger mellom bevegelser og musikk.
– Vi liker å trekke en akse fra det å spille et akustisk instrument, hvor du har full kontroll over det musikalske, til den andre siden hvor du bare er passiv og lytter. Vi er veldig interessert i å utforske det som ligger midt i mellom, sier Jensenius.
Det vil si instrumenter folk har delvis kontroll over, der kroppen og måten de beveger seg på er med å påvirke musikken. Forskerne har dekket hele spekteret fra instrumenter hvor du har full kontroll over alle parametere, til applikasjoner hvor du for eksempel bare kan styre tempoet på musikken.
– Vi forsøker å føre opplevelsen av å lytte litt nærmere det å spille musikk, sier Jensenius.
Les også: Ny mobillinse lar deg fokusere i etterkant
Musikk = lyd + kroppsbevegelser
Til grunn for utviklingen av de nye instrumentene, ligger en annen hoveddel av prosjektet, hvor forskerne har studert nettopp forholdet mellom lyd og bevegelse i musikken.
– Musikk er lyd pluss kroppsbevegelser. Samspillet mellom de to er essensen av musikk som fenomen. Dette har vi dokumentert godt, sier professor Rolf Inge Godøy ved IMV, som har ledet hele prosjektet.
Flere hundre forsøkspersoner har vært innom laboratoriet. I et rom med utstyr for bevegelsessporing, fikk de på seg en drakt eller hanske med mange markører. Forskerne spilte en lyd for dem, og ba dem om å bevege seg slik de trodde lyden var laget.
Resultatet ble statistiske korrelasjoner mellom bevegelser og lyd. For eksempel vil de fleste spontant bevege hendene ovenfra og ned når de hører en tone som går fra høyt til lavt leie. Bølger i lyden gjenskapes også med hendene.
– De fleste mennesker beveger seg rolig når de hører rolig musikk, og mer hakkete når de hører bråkete musikk. Det er en overensstemmelse mellom emosjoner i musikken og de spontane bevegelsene, sier Godøy.
– I et tidligere prosjekt hadde vi resultater som viste at folk som påsto de ikke kunne noe om musikk, var i stand til å gjenskape de bevegelsene som musikere faktisk bruker for å lage lyd. Folk flest har altså ganske mye kunnskap om musikk, sier professoren.
Les også: Her er Samsungs Apple TV-konkurrent
Utgangspunkt i kroppslige erfaringer
Han tror den nære sammenhengen mellom lyd og bevegelse vil bli utnyttet i mye større grad i fremtidens musikk. Digital lyd, som vi har hatt mulighet til å lage de siste 30 årene, er i bunn og grunn bare en strøm av tall i en datamaskin. Tallene sendes til en krets som omgjør tall til lyd.
– Utfordringen er å lage god og interessant lyd. Når du hører en CD har du 4100 tall i sekundet. Det er en enorm datamengde. For å lage god musikk, kreves et grensesnitt som gir mulighet til å uttrykke noe musikalsk, sier Godøy.
Fremtidens musikkinstrument kan altså være at vi står i et rom og beveger oss, og lager musikk på den måten, eller at vi holder en duppeditt som kan beveges eller klemmes og ristes på.
– Om du spiller piano, vet du at når du løfter armen og slår på tangenten med en viss kraft, vil en hammer slå på en streng som lager lyd. I digitale instrumenter har vi ikke de samme koblingene, men vi har tatt utgangspunkt i kroppslige erfaringer vi har fra tidligere, og brukt den kunnskapen til å styre helt nye og langt mer fleksible musikkinstrumenter, sier Godøy.
Les også: Denne 3D-printeren kan du ha hjemme
Læring og mestring
Etter hvert som regnekraften blir større og bevegelsessensorene bedre, ser han for seg muligheten til å bruke enkle videokameraer sammen med programvare som er intelligent nok til å tolke folks bevegelser.
– Med bedre sensorteknologi kommer bedre nyanseringsmuligheter. Skillet mellom de kalde, teknologiske, og det mer varme og nyansrike, menneskelige, vil bli mindre påtrengende etter hvert, sier han.
Jensenius tror den nye teknologien vil gi en mer aktiv type musikk, der folk flest er involvert i å endre og produsere.
- Det er egentlig bare de siste 100 årene det har vært vanlig med passiv lytting og ren avspilling av musikk. Før det måtte man gå på konsert eller spille selv for å få nærkontakt med musikk. I fremtiden tror jeg vi går tilbake til at musikk-opplevelsen blir en aktiv affære, der musikken tilpasser seg deg – for eksempel ved at neste låt på spilleren passer tempoet du er ute og jogger i, sier han.
Istedenfor en fast spilleliste på fest, kan kanskje låtene til alle menneskene i rommet blandes, og tempoet folk danser i kan være med å styre musikken.
– Vi har laget prototyper på mange forskjellige slike former for aktiv musikk, så det konseptuelle og teknologiske kommer etter hvert på plass. Det tar likevel tid før ting kommer skikkelig i gang, og blir kommersialisert, sier Jensenius.
– Musikken vi har jobbet med er eksperimentell av natur, men jeg tror dette kommer til å bli en del av populærkulturen og mer normalt på sikt. Det som var musikkteknologisk forskning for 20-30 år siden, er standard i populærmusikken i dag, sier Jensenius.
Denne artikkelen er levert av VERDIKT (Kjernekompetanse og verdiskaping i IKT), som er Forskningsrådets store program for IKT-forskning.
