Pārlekt uz galveno saturu

jp_bcmi-photo-4.png

Džeikins Edvards Pusons (Jachin Edward Pousson)
Rīga • 2023. gada maijs

Mūzika sākas un beidzas cilvēka smadzenēs. Tā sākas ar iztēli un beidzas ar uztveri. Mūzikas mākslinieka acīs EEG signāli ir fascinējošs darba materiāls. Tas ir sarežģīts, blīvi ritmisks materiāls, kas spēj atklāt cilvēka pieredzes slēptos aspektus. Tāda ir arī māksla – tā atklāj skaisto vai būtisko no cilvēku pieredzes. Šā gada muzeju naktī 2023. gada 13. maijā būs iespējams noklausīties īpaši RSU Anatomijas muzejam radīto trīs skaņdarbu sēriju, kas tapuši ar EEG pierakstu palīdzību, izmantojot dažādas pieejas. Iespējams izveidot atskaņojumu sarakstu vēlamajā secībā vai arī skaņdarbus klausīties atsevišķi jebkādam mērķim, kas atbilst Orgānu mūzikas tēmai.

1. ieraksts: Iztēles dzirkstis (Sparks of Imagination (12:43))

Mūzika radīta, izmantojot klasiskā pianista Hailonga Žanga (Hailong Zhang) smadzeņu viļņus, kas fiksēti mūziķa brīvas muzikālas improvizācijas laikā. Ierakstītie EEG signāli (12 kanāli) tika straumēti, izmantojot BCMI sistēmu, un kartēti MIDI komandās, kas kontrolē 4 dažādus virtuālos elektrisko klavieru instrumentus, izmantojot mūzikas programmatūru. Ar smadzeņu viļņu palīdzību, kas saistīti ar distresa, sajūsmas, depresijas un atslābuma līmeņiem (pamatojoties uz oriģinālo publicēto datu analīzi, kurā izmantoti 32 kanāli), tika kontrolēts katru klavieru skaļums. Katrām klavierēm tika pievienots arpedžiators, katrs no tiem ar dažādu ritma attiecību. Oktāvu skaits arpēdžijām tika noteikts, transponējot apvienotos distresa un sajūsmas līmeņus. Galvenajam izejas signālam pievienotais atbalss apjoms tika līdzīgi kartēts, transponējot apvienotos sajūsmas un atslābuma līmeņus. Visas 4 virtuālās klavieres bija aprīkotas, lai ierakstītu ievadītās notis no MIDI klaviatūras, kā arī automātiskajām līknēm, kas atspoguļo iepriekšminētos smadzeņu kontrolētos parametrus, kas laika gaitā tika transponēti. 

Rezultātā šo skaņdarbu veido vienkāršas akordu progresija, kas tiek atkārtota 3 reizes un tiek izpildīta uz MIDI klaviatūras, mijiedarbojoties pianista smadzeņu viļņiem, lai izrotātu un veidotu skaņu ar blīvu arpedžiju poliritmu kombināciju, mainīgu toņu diapazonu un telpiskajām īpašībām.

2. ieraksts: Domājot par džezu (Thinkin ‘bout Jazz (2:33))

Mūzika radīta, izmantojot klasiskā saksofonista Arvīda Kazlauska (Arvydas Kazlauskas) smadzeņu viļņus, kas fiksēti mūziķa brīvas muzikālas improvizācijas laikā. Ierakstītie EEG signāli tika straumēti, izmantojot BCMI sistēmu, un kartēti, lai radītu MIDI notis brīdī, kad notiek sinhronizācija starp jebkuru elektrodu pāri (kopā 8 kanāli), kas bija pievienoti viņa galvai. Par sinhronizācijas notikumu uzskatāms brīdis, kad konkrētas spektrālās jaudas frekvences dažādās smadzeņu daļās parādās vienlaikus ar identisku amplitūdu. Spekulatīvi tika paredzēts, ka cilvēka smadzenes, kuras ir iesaistītas mūzikas improvizācijas aktā, radīs lielu sinhronizācijas notikumu skaitu, salīdzinot ar miera stāvokli vai skaņdarba atskaņošanas uzdevumu.

MIDI notis sākotnēji tika kartētas C mažora mērogā un uztvertas ar 3 virtuālajām elektroniskajām klavierēm, izmantojot mūzikas programmatūru. Tām katrai tika piemēroti atšķirīgi mūzikas noteikumi, lai katram uztvertajam sinhronizācijas notikumam noteiktu ritma kvantizāciju, arpedžiju, transponēšanu un akordu trigera harmonijas. Šajā ierakstā noteikumi tika piemēroti ar džeza ritmiem un harmonijām, bet frāzējumu un nošu secību noteica saksofonista smadzenēs notiekošo sinhronizācijas notikumu laiks un vieta. Rezultātā radās īss, rotaļīgs skaņdarbs, kas dažos aspektos atgādina džezu, bet ritma un melodijas ziņā ir sarežģīts un ar nelielu humora devu.

3. ieraksts: Neona viļņi (Neon Wavelengths (10:52))

Mūzika ir radīta, izmantojot elektroniskās mūzikas mūziķa Vadima Pitlana elektroencefalogrammu. Viņš brīvi improvizēja ar dažādām analogajām bungu iekārtām un sekvencētājiem. Radošais process un ķermeņa kustības, kas saistītas ar elektroniskās mūzikas izpildīšanu, atšķiras no akadēmiskās mūzikas. Tomēr tos pašus izteiksmes mērķus var sasniegt, izmantojot dažādas pamatpieejas, tādējādi elektroniskās mūzikas izpildītājs bija unikāla gadījuma izpēte. Līdzīgi kā iepriekšējā skaņdarbā ierakstītie EEG signāli tika straumēti, izmantojot BCMI sistēmu, un kartēti, lai radītu MIDI notis brīdī, kad notiek sinhronizācija starp jebkuru no 8 kanāliem. Šajā skaņdarbā sinhronizācijas notikumi tika kartēti, lai radītu MIDI notis, kas veido do mažora septakordu. Šīs MIDI notis uztvēra 5 virtuālie instrumenti, izmantojot mūzikas programmatūru: bungu komplekts, marimba, vibrafons, Synth Pad, fiziskās modelēšanas sintezators. Katram instrumentam tika piešķirta citi ritma kvantizācijas, apredžiju un transponēšanas noteikumi, kas piemērojami katram ienākošajam sinhronizācijas notikumam. Šie noteikumi tika piemēroti ar nolūku radīt ambientu mūzikas skaņdarbu ar negaidītu lauztu ritmu plūsmu, ko rada bungu komplekts.

Autors veidoja mūzikas struktūru, pa vienam pievienojot vai atņemot elektrodu signālus. Tā kā šie sinhronizācijas notikumi starp dažādiem elektrodiem rada dažādas notis, kas jau veidotas no trim elementiem (Cmaj7), akordus var mērķtiecīgi veidot, ierakstīšanas laikā pievienojot vai atņemot konkrētus elektrodus. Nošu ātrumu noteica katra sinhronizācijas notikuma amplitūda, tādējādi neapstrādātus EEG signālus varēja uzraudzīt, lai paredzētu skaļākus uzsvarus darba procesā. Rezultātā tika iegūts improvizācijas līdzsvars, kas noris elektroniskās mūzikas mūziķa smadzenēs un autora smadzenēs.

jp_bcmi-photo-2.png

Pēdējo gadu laikā doktorantūras pētniecības projekta ietvaros autors ir strādājis pie Smadzeņu un datora mūzikas saskarnes (Brain-Computer Music Interface – BCMI) izstrādes. Šīs sistēmas pārveido elektroencefalogrāfijas (EEG) signālus, kas nāk no smadzenēm, un reāllaikā tos kartē kā mūzikas vai vizuālus izvaddatus. Šajā darbā izmantotie EEG pieraksti ir iegūti 2022. gadā no trīs mūziķiem, lai kontrolētu dažādus radīto 3 skaņdarbu aspektus. Datu ieguves laikā katram mūziķim tika uzdots brīvi improvizēt jebkurā laika posmā ar nosacījumu, ka mūziķis maina divas kontrastējošas izteiksmes ieceres – sajūsmu un atslābumu – ik pēc 30 – 60 sekundēm .Šie kontrastējošie apstākļi rada dažādus EEG modeļus, ko iespējams noteikt reāllaikā un kartēt, lai noteiktu tādus mūzikas parametrus kā tempu, ritmu un toni vai kontrolētu tādus tembra un telpiskos parametrus kā distorcija un atbalsis.