6.11.Media ja multimodaalisuus

‘Medium’ and ’media’ are concepts that are routinely used but too seldom examined in media studies.

As foundational concepts they are the air we breathe, part of that what is taken for granted in the field.

And yet, as we know from human history, the more evident and acceptable a conception, concept or theory appears, the more strictly it has to be questioned and scrutinized.

At the nominal level in media studies the plural noun ‘media’ is used more often than the singular ’medium’.

In research practices, however, preference seems to be given to the singular, not the plural – to differences, that is, rather than to connections and similarities.

While it is usual at the nominal level to speak of ‘media’– and especially ‘the media’, of course, naming the field as a whole – it is equally common to put ‘medium’ first in what is actually done.

Mikko Lehtonen: Media: One or Many? In Juha Herkman, Taisto Hujanen and Paavo Oinonen (eds.) Intermediality and Media Change. Tampere: University of Tampere Press. 2012.

Sana ’medium’ ollut säännöllisessä käytössä englannin kielessä 1500-luvulta lähtien.

1600-luvulta se on merkinnyt ”väliin tulevaa tai välittävää tahoa tai substanssia” (Raymond Williams: Keywords).

1700-luvulla oli jo vakiintunutta puhua ’mediumista’ sanomalehtien yhteydessä – toisin sanoen jo ennen kuin lehdistä alettiin puhua mainostamisen ”mediumeina”.

Kieliopillisesti monikollisen mutta käytännössä yksiköllisen ’median’ kehitys 1900-luvun toisella puoliskolla ”tapahtui todennäköisesti pääasiassa tässä [kaupallisessa – ML] kontekstissa” (ibid.).

Medium

• väliin tuleva tai välittävä taho tai substanssi

• teknologia

• markkinoinnin välikappale

’Mediumin’ käsitteessä tulevat esitetyiksi eli representoiduiksi tietytsosiaalisen ja kulttuuriset käytänteet.

’Medium’ varsin erikoinen esitys kyseisistä käytänteistä.

Kuvaa kohdettaan tietyllä tavalla – ei niinkään toiminnaksi tai käytänteeksi, vaan autonomiseksi toimijaksi, teknologiaksi tai työkaluksi.

Jos ’medium’ nähdään autonomiseksi toimijaksi, teknologiaksi tai työkaluksi, on helppo unohtaa, että ’mediumin’ toimittama välitys – ’mediation’ – on itse asiassa aktiivinen suhde, jota ei voi pelkistää viestien neutraaliksi välittämiseksi, vaan joka sisältää mutkikkaita sosiaalisia suhteita ja sisältöjen muokkaamista.

’Mediumin’ aktiivinen ja kontekstuaalinen luonne jätetään usein huomiotta.

Vallitsevat näkemykset mediasta sisältävät voimakkaita abstrahoivia ja objektivoivia tendenssejä, jotka muistuttavat läheisesti vallitsevien kielikäsitysten vastaavia piirteitä.

Vallitseva läntinen kieliteoria: kieli on väline, jota käytetään, kun halutaan välittää kanssaihmisille ajatuksia, jotka ovat olemassa kielestä riippumatta ja sitten vain ilmaistaan kielen ’mediumissa’.

Vaihtoehto edellä luonnostelluille käsityksille:

’medium’ ja ’media’ aina tietyssä kulttuurisessa kontekstissa sijaitsevaa välittävää toimintaa.

Johan Fornäs (2000, 55):

”Kaikki kulttuuri ja viestintä ovat itse asiassa aina jo kaksinkertaisesti välitettyjä. Ensinnäkin niitä välittävät ne materiaaliset ruumiillistumat, tekstit tai artefaktit, jotka vaikuttavat ruumiillisiin aisteihimme. Toiseksi niitä välittävät ne sosiaalisesti järjestetyt ja historiallisesti kehittyneet symboliset järjestelmät, joihin tulkintayhteisöt kirjoittautuvat tuottaessaan merkityksiä genrejen ja ilmausten pohjalta.”

What to do with ’medium’ and ’media’, then?

To dump them completely is evidently out of question for researchers, since their usage is ubiquitous and has a deep impact on our social, economic and cultural realities.

Perhaps the only option, then, is to put them ‘under erasure’.

This would indicate that ‘they are no longer serviceable – “good to think with” – in their originary and undeconstructed form’, as Stuart Hall (1996: 1) puts it in relation to the concept of ‘identity’.

As with ‘identity’ for Hall, so also can ‘medium’ and ‘media’ be understood as concepts that ‘have not been superseded dialectically’, but which remain because ‘there are no other, entirely different concepts with which to replace them.’

Therefore it might well be that ‘there is nothing to do but to continue to think with them – albeit now in their detotalized or deconstructed forms, and no longer operating within the paradigm in which they were originally generated’ (ibid.).

Lehtonen: Media: One or Many?

Raymond Williams: Film History (1983)

‘What is the history of film?’ Suggests that when answering this question, researchers ‘are likely to pass lightly over “history” and put a defining emphasis on “film”.’

Film seems to be the noun that brings researchers to their subject, he states: ‘The properties of the subject are taken as known [...] film and cinema are treated as unitary subjects.’

For Williams, however, this is evidently flawed, since it involves an unquestioned assumption ‘that there is a significant unitary subject, film, with reasonably evident common properties.’

Such ‘subject’ for Williams cannot be assumed as ‘independent and isolated processes and products’ (ibid.: 133).

For him, these are ‘at best provisional intellectual identifications of significant areas of common life’, but at worst ‘draw hard lines around certain areas, cutting off the practical relations with other “areas”.’ What Williams questions here is the idea that there might be such a unitary subject as film. According to him, anyone wishing to understand the history of film has to take into account relations between film, theatre, literature, popular culture, technological change and urbanisation, et cetera.

What Williams writes of film applies mutatis mutandis to other forms of media.

Forms of media are not autonomous entities but heteronomous cultural practices that gain their identity not from themselves but from their relations to other practices.

As a consequence, while studying various forms of media one should ask if there really is a significant unitary subject with reasonably evident properties.

In studies of any media form one should not draw hard lines around certain types of texts, production practices, etc., cutting off relations with other types of texts, production practices, etc.

On the contrary, a relevant understanding of any medium cannot be reached by concentrating only on that one medium.

Such media-centrism would represent a peculiar formalism that fails to pay sufficient attention to what media forms actually do.

Kulttuurin käytänteissä emme kohtaa ’mediumia’ tai ’mediaa’ sellaisinaan, irrallaan sisällöistään tai sosiaalisten suhteiden verkoista.

’Mediumin’ käsitteellä kuvattu on todellisuudessa aina tietoista inhimillistä käytäntöä tai käytännöllistä tietoisuutta.

’Mediumit’ koostuvat joukosta suhteita, jotka ovatepävakaita ja muutosalttiita.

Yksikään medium ei ole pelkkä väline, jonka läpi merkitykset yksinkertaisesti virtaisivat. Mediumin nimellä kuvattu on pikemminkin sosiaalisesti jaettuja ja vastavuoroisia käytänteitä, jotka ovat aina jo osa aktiivisia suhteita ja itsekin myös suhteita.

Inhimillisten merkityksellistämiskäytänteiden tutkimuksessa ei tule lähteä liikkeelle merkitsevistä yhteyksistään irrotetuista (siis abstrahoiduista) mediumeista, vaan laajemmasta kokonaisuudesta: merkityksenannosta eli signifikaatiostamateriaalisena ja sosiaalisena prosessina.

Multimodaalisuus luonnehtiisekä tekstejä että kulttuureja

Tekstuaalinen multimodaalisuus

Kulttuurin multimodaalisuus

Yksikään mediamuoto ei ole olemassa yksinään eikä vain itsensä varassa, eivät siis ole autonomisia.

Multimodaalisuus ei uusi ilmiö ihmislajin historiassa.

Kaikki symboloinnin muodot ovat aina olleet multimodaalisia eli niissä on käytetty hyväksi samaan aikaan useita eri merkitysten tuottamisen keinoja.

Symbolit eivät koskaan esittäydy silkkoina ideoina, vaan ovat aina joissakin materiaalisissa muodoissa.

Kun ihmiset puhuvat, he eivät käytä immateriaalisia sanoja, vaan ääntä, rytmiä ja intonaatiota, joita saattelevat kasvojen ilmeet, eleet ja ruumiin asennot.

Kun ihmiset kirjoittavat tai piirtävät, he tuottavat jälkiä käyttämilleen pinnoille.

Gunther Kress ja Theo van Leeuwen Reading Images (1996)

Oli kieli sitten puhuttua tai kirjoitettua, se on aina ollut olemassa vain yhtenä muotona siinä muotojen totaliteetissa, joka on läsnä minkä tahansa –kirjoitetun tai puhutun – tekstin tuotannossa. Puhuttu teksti ei ole vain verbaalista, vaan myös visuaalista, sillä siihen yhdistyy sellaisia ”ei-verbaaleja” viestinnän muotoja kuin kasvonilmeet, eleet, ruumiin asennot ja muut itseilmaisun muodot. Samaan tapaan myös kirjoitettuun tekstiin kuuluu muutakin kuin kieltä: se on kirjoitettu jollekin jollakin materiaalilla […] Kirjoitetun tekstin multimodaalisuus on yleensä jätetty huomiotta niin kasvatuksellisissa yhteyksissä, kielitieteellisissä teorioissa kuin arkijärkeilyissäkin. Nykyisellä ”multimedian” aikakaudella se voitaisiin kuitenkin yhtäkkiä havaita uudelleen.

.Aistimodaliteetit: inhimilliset havaintokanavat (näkö, kuulo jne.)

Symboliset muodot: yleiset inhimilliset viestintätavat (puhe, kirjoitus, kuva, musiikki)

Mediamuodot: viestinnän eri keinot (esim. lehdistö, televisio tai internet)

Modernissa maailmassa näköaistia pidetty keskeisenä.

Kartesiolainen perspektivismi

per-spicere, läpi-näkyvyys

Walter Ong:

Ihmisen aistihavainnot ovat pyörryttävän runsaita. Kaikkiin niihin ei voi millään kiinnittää huomiota yhtä aikaa. Kukin kulttuuri opettaa jäsenilleen tietyn tavan valita havainnoistaan. Kulttuurit ohjaavat järjestämään aistihavaintoja kiinnittämällä suurempaa huomiota joihinkin havaintotyyppeihin kuin toisiin, painottamalla tiettyjä ja lyömällä laimin toisia

Toistaiseksi ei kuitenkaan paljoakaan käsitteellistetty sitä, mitä tapahtuu, kun sanat, kuvat ja äänet sekoittuvat toisiinsa ja kun niitä käytetään yhtä aikaa ja koordinoidusti.

Missä suhteessa nämä merkityksen osatekijät ovat toisiinsa esimerkiksi televisiossa tai digitaalisissa teksteissä?

Sanat, kuvat ja äänet ovat materiaalisesti olemassa keskenään eri tavoin, niiden muotokielet poikkeavat toisistaan ja niillä on eri funktiot viestinnässä, mutta silti ne liittyvät yhä useammin toisiinsa.

Symboliset muodot

oraalinen visuaalinen

verbaalinen puhe kirjoitus

ei-verbaalinen musiikki kuva

Sanojen, kuvien ja äänten keskinäisestä yhteydestä puhuu, että puheen, kirjoituksen, musiikin ja kuvien väliset erot sijaitsevat ensisijaisesti merkitsijöiden (puhuttujen tai kirjoitettujen sanojen, kuvien ja musiikillisten äänten) tasolla.

Kaikki nämä eri symbolisissa muodoissa olevat merkitsijät kuitenkin aktivoivat ihmisten tietoisuudessa samoja merkittyjä (käsitteitä).

Eri symbolisissa muodoissa olevissa merkeissä on siis kaksi puolta:

materiaaliset merkitsijät

ja

ihmisten tietoisuudessa olevat merkityt.

Puhe, kirjoitus, kuvat ja musiikki eroavat toisistaan ensisijaisesti materiaalisten merkitsijöiden tasolla.

Yksi keskeinen ero niiden välillä liittyy siihen, millaisessa suhteessa kunkin symbolisen muodon merkitsijät ovat niiden merkittyihin.

Puhutun ja kirjoitetun kielen sanat ovat niin sanotusti sopimuksenvaraisia.

Merkityn ’koira’ merkitsijänä ei millään välttämättömyydellä tarvitsisi olla merkitsijän ’koira’. Yhtä hyvin merkityn ’koira’ merkitsijä voisi olla myös ’kissa’.

Kuvien kohdalla tilanne jossain määrin toinen.

Kuvalliset merkitsijät voivat merkitä tiettyjä merkittyjä keskeisesti sitä kautta, että ne tavalla tai toisella muistuttavat merkittyjään.

Kuvan indeksisyys: Merkki on konkreettisessa suhteessa referenttiinsä. Esim. savu tulen merkkinä.

Kuvan ikonisuus: Merkki edustaa referenttiään muistuttamalla sitä. Esim. valokuvat.

Tietoisuudessa olevan käsitteiden järjestelmän (”merkittyjen”) kannalta siis toissijaista, missä nimenomaisessa materiaalisessa muodossa merkitsijät ovat.

Ei kuitenkaan tarkoita sitä, etteikö merkitsijöiden materiaalisella muodolla olisi merkitystä.

Päinvastoin: kullakin symbolisella muodolla on sille ominaiset merkitysten tuottamisen mahdollisuutensa ja rajoituksensa.

Kaikkea mitä voi ilmaista puheella ei voi ilmaista kirjoituksella.

Vastaavasti kaikkea kielellä ilmaistua ei voi kääntää musiikiksi tai kuviksi.

Näitä mahdollisuuksia ja rajoituksia kuvaa affordanssia eli tarjoomaa koskevaajatus.

Affordanssi eli tarjooma

Jotkin asiat voi merkityksellistää ja viestiä helpommin tietyillä symbolisilla muodoilla kuin joillakin toisilla.

Äänet ja kuvat läpäisevät kulttuurisia rajoja tehokkaammin kuin puhe ja kirjoitus.

Puhe

Ajallisesti ja peräkkäisesti järjestetty muoto. Toiminta ja tapahtumat korostuvat. Kertovuus.Mitkä ovat asiaan kuuluvat tapahtumat? Missä järjestyksessä ne tapahtuvat?

Visuaalisuus (mukaan lukien kirjoitus):

Tilallisesti ja samanaikaisesti järjestetty muoto.Elementit ja niiden suhteet korostuvat.Mitkä ovat asiaankuuluvat elementit? Missä spatiaalisessa suhteessa ne ovat toisiinsa?

Symbolisilla muodoilla on niiden omaan symboliseen toimintaan liittyviä affordansseja.

Näitä voi kutsua symbolien tekstuaalisiksi affordansseiksi.

Tämän lisäksi symbolien käyttöä eri tarkoituksiin rajaa myös niiden kulloinenkin sosiaalinen ja kulttuurinen arvostus.

Tätä voi kutsua symbolien kontekstuaaliseksi affordanssiksi.

Symbolisten muotojen kontekstuaalisia affordansseja voi kuvata modaliteetteja koskevan ajatuksen avulla.

Peräisin kielitieteestä, viitataan todellisuutta koskevien lausumien totuusarvoon tai uskottavuuteen.

Kielentutkimuksessa modaliteetti liittyy esim. apuverbeihin, jotka tuottavat lausumiin erilaisia modaliteetin asteita: verbit ’voida’, ’täytyä’, ’saattaa’ ja ’pitää’.

Lause ”Hän tulee” on modaliteetiltaan erilainen kuin lause ”Hän saattaa tulla”.

Modaliteetti liittyy myös sellaisiin adjektiiveihin kuin ’mahdollinen’, ’todennäköinen’ ja ’varma’.

Modaliteetit ovat sosiaalisia ja muuttuvat ajasta ja paikasta toiseen.

Modaliteetit tuottavat imaginaarisen tahon ”me”, jotka ajattelemme tästä ”näin”.

’Mediumin’ ja ’median’ uudelleenarviointi on erityisen ajankohtaista myöhäismodernin kulttuurin oloissa, joita luonnehtivat kasvava kulttuurinen hybridiys, multimodaalisuus, intertekstuaalisuus ja intermediaalisuus.

Käytössä ovat samaan aikaan kaikki ihmiskunnan historian mittaan kehkeytyneet representaation keinot puheesta aina digitaaliseen mediaan.

Voi olla niinkin, että nykyiset länsimaalaiset ihmiset eivät ole kovin herkkiä eri symbolisten muotojen eroja kohtaan.

Saattavat olla edeltäjiään välinpitämättömämpiä siihen nähden, missä nimenomaisessa muodossa jokin viesti on heidät tavoittanut.

Uudet lukemisyhteisöt –tutkimus:

Internet ns. google-sukupolven keskeinen mediamuoto.

Painetulla sanalla silti vahva arvostus.

”Netti on hupia, printti työtä” ei pidä paikkaansa,

Multimodality as a new transdisciplinary research field has become visible in studies of, e.g., multimedia, the visual forms of culture, media convergence, cross-media products etc.

The idea of multimodality is a challenge for the existing disciplinary and other borders in all studies concerning human symbolic forms.

In academic studies questions concerning cultural values and cultural power are always present, regardless of whether this is articulated explicitly or not.

Questions concerning multimodality raise questions concerning the values implicit and explicit in the studies of arts and the media.

Do we give a priority to printed word over other symbolic and media forms?

Do we organise the academic life along the monomodal lines, giving differences of various forms of arts and media priority over similarities, overlappings and mutual influences?

A need to create new interdisciplinary spaces where questions concerning multimodality can be addressed.

Mitkä nykyisistä jaoista perusteltuja?

Välineperustaisuus?

Jako ’faktaan’ ja ’fiktioon’?

Mitkä nykyisistä jaoista perusteltuja?

Välineperustaisuus?

Jako ’faktaan’ ja ’fiktioon’?