Viestintä ja vuorovaikutus perustuvat poikkeuksetta usean eri ilmaisukeinon yhteistoimintaan. Tätä ilmiötä, jota kutsutaan multimodaalisuudeksi, tutkitaan nykyään usealla eri tieteenalalla. Kielitieteen teoriat ja menetelmät ovat osoittautuneet hyödyllisiksi multimodaalisuuden tutkimuksessa, koska alalla on pitkä perinne luonnollisen kielen rakenteen tarkastelussa eri tasoilla.
Kehitän kielitieteeseen pohjautuvaa multimodaalisuuden teoriaa sekä tietokoneavusteisia menetelmiä ilmiön empiiriseen tutkimukseen. Sovellan teoriaa myös yhteistyössä, jossa tarkastelemme maantieteilijöiden kanssa kuinka kieliteknologiaa, konenäköä ja -oppimista voidaan hyödyntää sosiaalisen median sisältöanalyysiin osana maantieteellistä tutkimusta.
Olen työskennellyt vuodesta 2018 englannin kielen ja digitaalisten ihmistieteiden apulaisprofessorina Helsingin yliopiston Kielten osastolla.
Kotisivu: www.helsinki.fi/~thiippal
Twitter: @tuomo_h
Valokuvaaja: Veikko Somerpuro