Tietokone ja musiikki Otto.Romanowski@iki.fi versio 27.1.2003 Luentokooste sekä kirjallisuusluettelo Tietokone ja musiikki Mikä on tietokone? yksinkertaisimmillaan kone joka vertaa ja toistaa käyttötarkoitus: syöttötieto -> tiedon käsittely -> tulostieto syöttötieto on sekä käsiteltävää lähdemateriaalia että toimintakäskyjä, joiden tuloksena syntyy tulostieto LISP-ohjelmointiympäristössä yhdistetään ohjelma sekä data jolloin ohjelma voi muuttaa itseään mahdollistaen AIsovellukset (keinoäly) PROLOG-kielessä ohjelma osaa kartuttaa tietoaan ja "kehittyä" (AI) Tietokonemusiikki = musiikki, jota on mahdotonta tai hankalaa toteuttaa ilman tietokonetta Wolfgang Amadeus Mozart "Ein Musikalisches Würfelspiel", sävellysautomaatti ilman tietokonetta esimerkiksi musiikin materiaalin tai prosessien hankala toteutus Magnus Lindberg ("Kraft", ohjelmointikielinä FORTH -> LISP -> Patchwork) mikäli tarvitaan synteettisiä ääniä tai äänianalyysiä Kaija Saariaho (esim. ihmisäänen ja huilun konvoluutio, risteyttäminen) ohjattu satunnaisuus, stokastiset prosessit, sävellysautomaatit Iannis Xenakis ja kaasumolekyylien käyttäytyminen Nyberg/Romanowski: Nuages-sävellysautomaatti monipuolinen tosiaikainen vuorovaikutus laitteiston kanssa Wayne Siegel "Movement Study" jossa tanssija ohjaa omaa musiikkiaan Otto Romanowski "JamBox" jossa kokija "soittaa" kuvaa ja musiikkia liikkeillään soittimien ja esittäjien mallinnus -> keinosäestäjä Tietokoneen kolme käyttöaluetta soitin (äänien muokkaus ja tuotanto) syntetisaattorit, audiotyöasemat, fysikaalinen soitinmallinnus tutkimus (musiikki- ja äänihavainnon tutkiminen) äänitutkimukseen tuotettavissa monimutkaista ja tarkasti määriteltyä materiaalia (illuusiot, binauraalisuus, huoneakustiikka) sävellys (keinoäly sekä strukturointityökalut) algoritminen/stokastinen/dynaaminen/vuorovaikutteinen jne. musiikki tyylin ja tulkinnan mallinnus sekä automaattisäestys Tärkeä aspekti on myös käyttöliittymä (user interface, UI) muusikon/säveltäjän liittäminen soittimiin/prosesseihin tällä hetkellä perinteiset ja kömpelöt menetelmät (koskettimisto, jousi, puhallus jne.) kehitteillä visuaalisia työkaluja (MAX, M, Metasynth jne.) uudet anturit ja ohjaimet (mm. aivo- ja bio-ohjaimet) 1/8
Johdatus MIDI-kieleen sekä sekvensserin toimintaperiaatteet MIDI (Musical Instruments Digital Interface) on kieli jolla kuvataan soittamisen tuottamia toimintoja ja ohjauksia esim. on/off tilat koskettimistolta, pedaaleista, kytkimistä, key-velocity (down/up), key/blow pressure jne. muuttuvat arvot koskettimen jälkipainosta, puhalluspaineesta, liukusäätimistä jne. perustuu 8-bittisyyteen josta käytetään itse tietoon vain 7-bittiä (lukualue 0 127) MIDI-ympäristössä auttaa ajattelutapa: syntetisaattori = orkesteri channel = muusikko (lyömäsoittaja on kanavalla 10) program tai patch = soitin (kanavalla 10 kyseessä lyömäsoitinsetti) Rajoituksia mm. 12-säveljärjestelmän tasavireisyys! 8 bittisyys yhteysnopeus (epästandardi 31.25 KHz) yhteysprotokolla (yksisuuntainen, ei kovokättelyä) vain 16 kanavaa lyhyet, huonosti suojatut johdot (max. 15 m) Kehitysnäkymiä versio 2 tulossa (...?) mallinnukseen liittyviä ohjausparametrejä epäsynkroninen kaksisuuntaisuus hyvä resoluutio sekä laajakaistaisuus -> äänitiedon integrointi synkronoinnin parannukset (MTC) laajennettavuus mutta yhteensopiva MIDI 1.0 kanssa MIDIn pääasiallinen hyödyntäminen musiikin teossa Sekvensseri tallentaa vain ohjaustietoa (koskettimet, säätimet, ajoitus) yleensä passiivinen toimintamalli (ei älykkyyttä) ajatusmaailma perustuu perinteisiin analoginauhureihin mukana monasti kevyt notaatioeditori tahdistus: joko MTC (Midi Time Code) tai SMPTE (videotahdistus; hh:mm:ss:fr) sekvensserissä käytettäviä jippoja ja tehokeinoja monista raita ja viivästytä kopiota hieman -> delay, arpeggiator parametrien monistus ja uudelleentulkinta (mapping), esim. alkuperäinen pitch-bend muutetaan modulaatioksi kontrapunktiset työkalut (melodia ylösalaisin ja/tai takaperin) asteikkomappaus: transponointi, moodimuutos, yhdistäminen saman materiaalin kerrostaminen eri soinneilla (myös viipeen kera) -> layers erilaiset aikakorjaukset (quantization, groove) joissain ohjelmissa audio-to-midi-to-audio muunnokset Muita MIDI-sovelluksia Band-In-A-Box (automaattisovitus) tietokonenuotinnus (Finale, Sibelius, Igor) automaattisäestys (SmartMusic) MAX (graafinen MIDI-ohjelmointi) 2/8
Digitaaliaudion perusteita (DSP) 2000, Otto Romanowski & ORO-ART OY Perusteita ääniopista ääni on ilman värähtelyä (paineen muutoksia) termejä: taajuus eli frekvenssi (Hz), voimakkuus eli amplitudi (P), vaihe eli faasi (ϕ) ja aallonpituus (λ) yksinkertaisin värähtely on siniäänes joiden yhdistelmistä kaikki äänet koostuvat sinikäyrän-funktio: y(x) = P sin (2π vx + ϕ), jossa P=amplitudi, v=taajuus and ϕ=vaihe sävel = perustaajuus sekä siihen liittyvät ylä-äänekset (eli kuullaan korkeus ja sointiväri) spektri = kuvaus eri osaäänistä (osaäänesrakenne) synteesin perusaaltomuotoja: sini-, kolmio-, ramppi-, neliö- ja pulssiaalto tila-akustiikka (soittimet soivat aina jossain tilassa -> tila on osa soitinta ja musiikkia) äänisynteesin menetelmiä additive (lisätään ylä-ääneksiä) subtractive (suodatus, poistetaan taajuusalueita) modulaatio (FM, AM, RM, modulaattori muuttaa kantoaaltoa) aaltomuodon peilaus (non-linear distortion, waveshaping) takaisinkytkentä (esim. säröt) viipeet (delay, echo) kombinointi edellisistä (esim. chorus, flanger) Kuulotapahtuman fysikaalisia taustoja kuulo reagoi ilmanpaineen muutoksiin kuulotapahtuma: korvalehti -> korvakäytävä -> tärykalvo -> kuuloluut -> simpukan neste -> soluärsykkeet -> kuulohermoa pitkin välittyvät neuronipulssit -> aivojen hahmotus värähtelyn aistittu taajuusalue: 0Hz < f < 40KHz sävelkorkeushavainnon taajuusalue: 16Hz < f < 18KHz mielenkiintoinen alue 7Hz < f < 16Hz kun f<7hz -> ääni aistitaan rytminä, on myös lähellä aivojen omia perustaajuuksia kun f>16hz -> äänihavainto muuttu jatkumoksi -> sävelkorkeushavainto mutta kun 7<f<16Hz, niin kyseessä epämiellyttävä ärsyke (havainnon muutosalue) masking eli peittoilmiö (taajuus- ja aikapeitto) loudness (Fletcher-Munson -käyrä) kriittiset kaistat (sävelten erotuskynnys) sointijatkumo: siniäänes - harmoninen sointi - (sole) - epäharmoninen sointi (häly) - kohina huomaa soinnin kauneuskäsitteen muuntuminen historiassa Kuulemisen hahmottamisesta yleistä aistit reagoivat muutoksiin dynaaminen ominaisuus mielenkiintoisempi kuin staattinen (synteettinen) tasainen ääni hahmottuu taustaksi ja epätasainen pyrkii havainnossa etualalle toistuvuus luo turvallisen perustan jonka päällä toimitaan (rumpukomppi) ennakoitu yllätys on paras yllätys kuulemme myös ihollamme ja kehollamme (kuulokekuuntelun vaarat!) fysiikan tiedostamattomat lait matalat sävelet koetaan "isompina" kuin korkeat "tuhti" ja/tai matala sointi ei voi liikkua nopeasti korkeat ja vähäosaääniset soinnit koetaan "kevyinä" eli soveltuvat nopeisiin kuvioihin tila ja liike liikkuva ääni hahmottuu esiin taustasta lähestyvä ääni koetaan uhkaavana ja etääntyvä rauhoittavana voimakkaampi ääni edustalla ja hiljaisempi etäämpänä kuiva ääni edessä ja kaiutettu kaukana älä käytä useita erilaisia tilaefektejä koska siitä syntyy epätodellinen tuntu liike ilman doppleria on luonnoton sointiväreistä harmoninen spektri miellyttävämpi kuin epäharmoninen ylä-ääneksien logaritminen vaimeneminen on luonnollista (esim. pink-noise >< white-noise) säröytyminen (forseeraus) = tunteen lisäys (sanottavan painottaminen) 3/8
intuition ja opitun merkitys nouseva ääni uhkaava ja laskeva rauhoittava (Doppler-ilmiö) hahmolait (samakaltaisuus, läheisyys, täyttymys, odotus, toistuvuus jne.) tottumukset ja odotukset vaikuttavat tulokseen (mainostajan toiveuni) visuaalisuuden ja äänen suhde visuaalisuus hallitsee ääntä (mm. suuntakuulossa) visuaalisuuden ja äänen summa kannattaa pitää vakiona (-> ei säpinää molempiin) Samplaus eli näytteistäminen näytetaajuus eli sample rate, SR (yleisimmät: 8000, 22050, 32000, 44100, 48000, 96000, 192000) Nyqvistin taajuus = SR/2, -> korkein tuotettava taajuus on aina puolet SR:stä näytteen tarkkuus bitteinä, resoluutio (yleisimmät: 8, 12, 16, 24, 32) yleensä kokonaislukuina (integer), liukulukuesitys (floating point) tulossa kvantisointikohina ditherointi eli kohinan lisääminen pehmentää kvantisointivirheitä standardeja (resoluutio biteissä/näytetaajuus kilohertseissä): CD-levy (16/44.1), DAT-nauhuri (16/48), audiotyöasema (24/96) DSP (digital signal processing), äänenkäsittely dsp-työkaluja taajuuteen perustuvat: suodatus ja formanttimuutokset aikaan perustuvat: phase, chorus, delay yhdistelmät: kaiku, kaiunta, tilan simulointi näytetaajuuden muutokset (esim. 48 KHz --> 44.1 KHz) resoluution muutokset normalisointi (muutetaan voimakkain ääni maksimaaliseksi) ditherointikohinan lisääminen (= maskataan kvantisointikohinat) DC-offsetin poisto (muutetaan aaltomuodon symmetriatasapainoa) äänen pakkaus (MP3) äänen tuotto ohjelmapohjaiset syntetisaattorit (ns. softasynat) DAW (Digital Audio Workstation), digitaaliaudiotyöasema liitäntäformaatit: S/P-DIF (koaksiaalikaapeli, RCA-liittimet), AES/EBU (optinen liitäntä) toiminnot riippuvaisia prosessoritehosta sekä kiintolevyn nopeudesta (keskim. hakuaika oltava alle 11ms) laajennuspalikat sekä kommunikointi VST tai ASIO -liityntäpinnan kautta softasynat ja efektit (tehosteet) I/O-laitteet (muuntimet, päätelaitteet, liityntälaitteet) yleisimpiä termejä: eq, equalization = taajuuskorjaus (sointivärimuutos) reverb = kaiku stretch = "venytys" eli äänen keston muutos ilman korkeusmuutosta (muuttaa silti äänen väriä!) pitch-change = korkeuden muutos ilman tempon muutosta (muuttaa silti äänen väriä!) cross-fade = edellisen äänen loppuhännän ja seuraavan alun ristiinmiksaus effects = tehosteet (shifter, phaser, tap-delay jne.) normalize = laajentaa äänitiedoston dynamiikan maksimiin (0 db) CD-masterointi eli CD-levylle tulevan materiaalin lopputyöstö raitojen alkujen ja loppujen editointi, normalisointi sekä balansointi master EQ sekä kaiku PQ-alakoodit (index, start/stop/length, emphasize-bit, protection-bit, ISRC-data) lopullisen CD-aihion poltto perustuen Red-Book määrittelyyn Digitaaliaudion mahdollisuudet musiikin tekijän näkökulmasta keston ja korkeuden muutokset (toisistaan riippumattomat) loppumiksaus voidaan jättää avoimeksi (tai versiokohtaiset miksaukset) efektoinnit (kohina ei lisäänny) masterkaiun voi jättää esitykseen leikkaus/kopiointi/liimaus (esim. monistus) näytteen tarkkuudella 4/8
aaltomuodon muokkaus käsin todellisen ja synteettisen äänen miksaukset ja sekoitukset (konvoluutio, vocoder) Musique Concréte eli äänitetyn materiaalin muokkaus tee ja julkaise musiikkiäänitteesi itse (CD, MP3) Ääni ja verkkoviestintä yleistä äänimateriaalin verkkovälityksestä sinulla ei ole takeita toistettavan musiikkisi äänen laadusta mikä on vastaanottajan laitteisto tahi sen toimivuus? tosiaikainen äänen välitys verkossa kärsii ennakoimattomista viipeistä laajakaistainen tiedonvälitys vaatii pakettipohjaiselta systeemiltä resursseja haittaa tosiaikaista yhteismusisointia verkon yli tai monitapahtuman synkronointia et voi hallita julkaisemaasi musiikkia kuka käyttää julkaisemaasi musiikkia, missä ja miten? muista tekijänoikeus! www.teosto.fi http://www.sjoki.uta.fi/~latvis/jarjesto/teosto.html http://www.hut.fi/~jkorpela/tekoik.html http://www.wasa.shh.fi/hr/intern1.htm ääni verkossa: tiedosto, jonka voi ladata ja tallentaa kiintolevylle (MIDI tai äänitiedosto) MIDI-tiedosto (MIDI-file, tiedoston päätteenä.mid) sisältö vain ohjauksia ei itse ääntä, tarvitsee siksi vähän tilaa et voi taata vastaanottajan äänenlaatua koska et tiedä minkälaisella syntetisaattorilla hän soittaa tietokoneen oma midi-player eli ohjelmallinen soitin -> naurettava äänen laatu ulkoinen syntetisaattori -> hieman parempi laatu (riippuu hinnasta) huomioitavaa kun teet jaettavan MIDI-tiedoston: tallenna mieluiten MIDI-formaatissa 1 tallenna joka raidan alkuun sointivaihtokomento (program change) käytä vain GM-sointeja (program change 1-128) käytä lyömäsoittimia vain kanavalla 10 (channel 10) älä käytä runsaasti jatkuvaa ohjaintietoa (esim. pitch bend, after touch), se kasvattaa tiedoston kokoa Äänitiedosto eli digitaaliaudio on tallenne oikeasta äänestä, vie runsaasti enemmän tilaa kuin MIDI termejä: bittimäärä eli tarkkuus tai resoluutio (bit-depth), näytetaajuus (sample-rate) puheeseen riittää: 8 bit/8 KHz (GSM-puhelimet) musiikkiin: kohtalainen: 8bit/11.025 KHz, hyvä laatu: 16bit/22.05 tai 44.1 KHz pakkaamattomat äänitiedostot (.wav ja.aif) pakatuista tiedostomuodoista tunnetuin: mp3 (bittitiheys yleensä 128 tai 192Kbit) pakkaussovellukset maksullisia, soittosovellukset (=purku) maksuttomia MP3 on synnyttänyt ns. Napster-boomin, jossa kaikki Internetin asiakkaat voivat avata "ystävilleen" äänitekirjastonsa "lainattavaksi" tietovuo (stream) jota voi kuunnella mutta ei tallentaa QuickTime RealAudio Windows Media aktiivinen, soitettava komponentti Java-ohjelmointi (scriptit ja/tai appletit) jolla joko ohjataan selaimen omaa äänisynteesiä tai luodaan kokonaan oma äänisynteesiä www.beatnik.com (sisältää palikan lisäksi hyvän manuaalin, kannattaa tutustua) linkkivinkki: asteikkoja yms: academics.hamilton.edu/music/spellman/javamusic/scalebuilding.html fourier synteesi: www.phy.ntnu.edu.tw/java/sound/sound.html kuva-ääni: ourworld.compuserve.com/homepages/peter_meijer/javoice.htm selaimien omat midi- ja äänituet voit asettaa selaimesi käyttämään haluamaasi ulkoista syntetisaattoria (esim. sekvensseriohjelmaasi tai ulkoista syntetisaattoria) voit asentaa selaimeen plug-in eli palikan esim: Beatnik; tunnistaa ja suorittaa audiota, midiä sekä omaa suojattua rmf-formaattia QuickTime; tunnistaa ja suorittaa useita ääni- ja kuvaformaatteja sekä myös tietovuota RealAudio; tietovuon soitin (radio, video, ääni) 5/8
HTML esimerkkejä linkki joka latautuu vasta käyttäjän klikatessa <A HREF="nauru.wav"> vitsin loppu</a> embed-toiminto joka lataa tiedoston välittömästi (ei sovellu usean tiedoston soittamiseen) äänitiedosto ohjauspaneelin kera (riippuu palikasta): <EMBED SRC="nauru.wav" HEIGHT="20" WIDTH="200"> </EMBED> automaattisesti taustamusiikiksi käynnistyvä tiedosto: <EMBED SRC="piisi.mid" VOLUME="70" HIDDEN="TRUE" AUTOSTART="TRUE"> </EMBED> Musiikin käyttöliittymiä 2000, Otto Romanowski & ORO-ART OY soittimen soittaminen on ihminen/kone -liityntä soittimen on annettava palautetta laulu on luonnollisin koska se on nopein palautteen antaja perinteiset käyttöliittymät (esim. huilu tai viulu) kiellettäisiin terveydellisistä syistä, jos ne keksittäisiin tänään, koska soittoasento on raskas ja fysiologisesti huono Voisimmeko kehittää uusia ohjaimia ja antureita? Antureiden tiedot muutetaan MIDIksi! uusia soittotapoja -> antureita ja ohjaimia vammaisille fysikaaliset anturit (valo, etäisyys, lämpö) biometriset anturit (verenpaine, pulssi, iriksen koko, ihon sähkönjohtokyky, hermopulssit, lihasjännitteet, aivoaallot, solut, geenit, eläimet, kasvit) sääanturit (ilmanpaine, kosteus, pilvimuodostelmat, sääprosessit) geoanturit (maan magneettikenttä, mannerten liikket, seisminen aktiviteetti, tulivuoret, veden virtaukset ja pinnanmuutokset, metsäpalot) ilmakehäanturit (saastumiset, otsonikato, revontulet, aurinkotuuli) avaruusanturit (auringon aktiviteetti/pilkut, meteorisateet, asteroidien liikkeet) kosmoanturit (gammapurkaukset, neutronisäteily, 20cm vedyn säteily, 3 Kelvinin taustasäteily) 6/8
Kirjallisuutta Elektronimusiikin historiaa Ernst, D.: The Evolution of Electronic Music; 1977, Schirmer Books, ISBN 0-02-870880-6 mm. hyvä levyhakemisto Holmes, T. B. : Electronic and Experimental Music; 1985, Charles Scribner's Sons, ISBN 0-684-18395-1 mm. mielenkiintoisia kuvia Akustiikka ja äänentuotto Helmholz, Hermann L. F. : On the Sensations of Tone; (1877 orig.) 1954, Dover Publications, ISBN 0-486-60753-4 Historiallinen perusteos Campbell, M. and Greated, C. : The Musician's Guide to Acoustics; 1987, J. M. Dent & Sons Ltd, ISBN 0-460-04644-6 Hieno johdanto akustiikkaan ja soittimiin. Epämatemaattinen lähestuymistapa. Meyer-Eppler, W. : Elektrische Klangerzeugung; 1949 (!), Ferd. Dümmlers Verlag Historiallinen äänen analyysin ja tuottamisen perusteos Chowning, J. and Bristow, D. : FM Theory & Applications; 1986, Yamaha Music Foundation, ISBN 4-636-17482-8 Hyvä kirja FM-synteesistä kiinnostuneille (DX-7) Rossing, T. D. : The Science of Sound; Addison-Wesley Pub. Co. ISBN 0-201-15727-6 mm. TKK käyttää tätä kirjaa Välimäki, V. : Discrete-Time Modeling of Acoustic Tubes Using Fractional Delay Filters (Doctoral Thesis); 1995, Report 37, Helsinki University of Technology, ISBN 951-22-2880-7 Tietokonemusiikki Hiller, L. and Isaacson, L. : Experimental Music; 1959 (!), McGraw-Hill Book Company, Inc., Library of Congress Catalog Card Number 58-13874 Tietokonemusiikin ensi askeleet sekä Illiac Suiten sävellyksen dokumetaatio Dodge, C. and Jerse, T. A. : Computer Music; 1985, Schirmer Books, ISBN 0-02-873100-X Perusteos Roads, C. : The Computer Music Tutorial; 1996, The MIT Press, ISBN 0-252-18158-4 Hyvä kirja Mathews, M. V. and Pierce, J. R. : Current Directions in Computer Music Research; 1989, The MIT Press, ISBN 0-262-13241-9 Sisältää mielenkiintoisen CD:n Roads, C. : The Music Machine; 1989, The MIT Press, ISBN 0-262-18131-2 53 artikkelia Computer Music Journal lehdistä vuosilta 1980-85. Sisältää myös mielenkiintoisia haastatteluja. Xenakis, I. : Formalized Music; 1971, Indiana University Press, ISBN 0-253-32378-9 Stokastisen musiikin filosofian perusteos Computer Music Journal; The MIT Press, http://mitpress.mit.edu/cmj Hyvä alan lehti sekä liite CD 7/8
Ohjelmointikielistä 2000, Otto Romanowski & ORO-ART OY Winston, P. H. : Artificial Intelligence; 1977, Addison-Wesley Publishing Company, Inc., ISBN 0-201-08454-6 Johdatus LISP-kieleen Laurson, M. : Patchwork, 1996, Sibelius Academy, Studia Musica No. 6, ISBN 952-9658-44-3 Kuuluisan suomalaisen PatchWork ympäristön esittely Winkler, T. : Composing Interactive Music; 1998, The MIT Press, ISBN 0-262-23193-X Hyvä johdanto MAX-kieleen Boulanger, R. (ed.): The Csound Book; 2000 The MIT Press, ISBN 0-262-52261-6 Hyvä kirja monialustaisesta Csound-ohjelmointikielestä Alan perusjärjestö: The International Computer Music Association (ICMA) http://www.notam.uio.no/icma/ 8/8