Videojuegos, sonido y materialidad digital

Introducción

Actualmente el individuo tiene la capacidad de involucrarse directamente con la obra en diversos niveles mediante la interacción digital, lo que permite la generación de  elementos y experiencias que el artista no necesariamente puede controlar. El concepto de una experiencia lineal queda subyugada a una instancia donde la incertidumbre y la libertad de acción del espectador se convierten en componentes fundamentales para su desarrollo, siendo los procesos no lineales e interactivos ejes para la construcción de estas experiencias digitales. De igual manera, la relación existente con los espacios virtuales en el presente contexto pandémico, propone nuevas formas de trabajar con la materialidad, convirtiéndose ésta en una “materialidad digital” y que comprende la totalidad de las prácticas artísticas basadas en la tecnología digital. En este sentido, el actual modelo tecnológico permite que los artistas y sus obras se articulen  en un contexto material único derivado de las características del mundo digitalizado. De esta forma, el control que ejerce el artista sobre su obra digital estará determinada por las cualidades y limitaciones del material digital que tiene a disposición. Variables relacionadas al uso de softwares y hardwares específicos, como la utilización de plataformas y espacios virtuales determinarán como se expone, circula y es recepcionada  la obra por el espectador.

Del mismo modo, el artista sonoro u otro agente creador que utiliza el sonido como medio de expresión, se ve obligado a adaptar sus procesos creativos a esta nueva materialidad digital y a las limitantes que éstas generan, como también a los cambios producidos por la pandemia en la conductas de consumo digitalizado y en las estructuras de interacción social.  En este sentido, es preciso preguntar ¿Como la materialidad digital puede ser abordada desde el arte a partir del sonido? ¿De qué forma construimos, habitamos y organizamos espacios digitales post-pandémicos destinados a la creación de obras y acciones desde lo sonoro?,  y ¿De qué manera influyen estos nuevos espacios virtuales y el Covid-19 en la relación obra-espectador? Acá es donde el videojuego entre otras experiencias virtuales interactivas cobran importancia y se presentan como una posible solución a estas problemáticas, funcionando como medio de expresión artística ad-hoc a las demandas tecnológicas de los sistemas informáticos-digitales en la actualidad, permitiéndonos  producir, controlar y articular material digital para la generación de obras de arte sonoro u otra disciplina artística, como también construir y habitar espacios virtuales para la realización de conciertos, performances, instalaciones sonoras, exposiciones, entre otras manifestaciones vinculadas al sonido como medio.

Pandemia y videojuegos

La adaptación de las sociedades contemporáneas al uso de espacios virtuales y al mundo de la materialidad digital, es un proceso que se ha visto acelerado por los efectos de la crisis pandémica, lo cual obliga a los individuos a habitar los espacios virtuales dentro de su tiempo cotidiano por diversas circunstancias (trabajo, relaciones interpersonales, actividades de entretenimiento, etc), lo cual ha transformado diversas conductas de consumo e interacción debido al excesivo uso de dispositivos digitales. En este sentido, los videojuegos se convierten en plataformas ideales para habitar el mundo digital y generar interacciones humanas en línea, permitiéndonos visualizar la íntima relación entre las tecnologías interactivas y los procesos culturales de las sociedades contemporáneas urbanizadas.

Desde el punto de vista de la creación artística, los videojuegos se convierten en una atractiva y accesible opción para el desarrollo de diversas manifestaciones que hacen uso de las cualidades interactivas, no-lineales, lúdicas y comunicacionales de este medio. Un ejemplo sobre las aplicaciones posibles de los videojuegos como herramienta de expresión artística durante el periodo de pandemia, es el de la artista Channe Choi y su proyecto Pandemic^[1].

Chanee Choi^[2], es una artista interactiva multidisciplinaria originaria de Corea del Sur y actualmente radicada en la ciudad de Seattle, Washington, donde es candidata a Ph. D. (ABD) en Arte y Medios experimentales en DXARTS en la Universidad de Washington. Su obra se enfoca en el desarrollo de experiencias inmersivas de tipo corporal y  virtual, que exploran los efectos de la inmigración en cuestiones de identidad y los procesos sinestésicos del espacio corpóreo-cognitivo. Choi ha desarrollado, con la colaboración de la artista de origen chino Wey Yang^[3] –encargada del diseño sonoro–, Pandemic, un videojuego clasificado por la artista como una pieza de art game, donde personificamos y controlamos a un virus de covid-19, con el cual nos desplazamos a través de un entorno virtual que comprende siete niveles ambientados en una realidad abstracta. Cada escenario tiene una estética distinta y locaciones diferentes, incrementándose la violencia de las escenas cada vez que avanzamos en el juego. Esta violencia que es el eje central de la narrativa de  Pandemic, guarda relación con los recientes incidentes de discriminación, xenofobia y racismo dirigidos especialmente a ciudadanos de origen asiático durante la pandemia en 2020: “A medida que avanzaba esta pandemia parece que solo estamos viendo un universo paralelo surrealista, por eso decidí hacer un videojuego”^[4].

Desde el punto de vista de los aspectos sonoros de Pandemic, Yan Wang crea una paleta de sonido extraída de videos de insultos subido a Internet, entrevistas con víctimas de ataques racistas relacionados a la pandemia, videos de menciones al "virus chino" recopilados en TikTok  entre otras aplicaciones de video en vivo. Desde esta materialidad digital, Wang construye un diseño sonoro que permite reforzar la interpretación de contenidos implícitos en la diégesis, relacionados a los concepto de violencia racial o al miedo experimentado por personas de origen asiático, y además complementar los contenidos ya comunicados por otros elementos (gráficos, iluminación, gestualidad de los personajes, escenarios, color y tiempo de movimiento de los personajes, entre otros).

Arte sonoro y videojuegos

Por su parte, el arte sonoro no escapa a los cambios generados por las medidas sanitarias, manifestándose en las limitantes de desplazamiento y de reunión que han afectado las actividades de los espacios físicos en los cuales las obras circulan normalmente.  En este sentido, artistas sonoros y mediales han recurrido a la tecnología de los videojuegos para adoptarlos en sus procedimientos de creación, generando obras de arte a partir de estas plataformas.

Una propuesta de este tipo es el proyecto KOMA^[5], desarrollado por la compañía Bergamot Digital y por 404.zero^[6], proyecto de arte inmersivo integrado por la artista de medios Kristina Karpysheva y la diseñadora audiovisual Sasha Letsius. Las dos artistas de origen ruso desarrollan una línea de trabajo dedicada al arte generativo y a la producción de herramientas de innovación audiovisual, buscando ampliar las posibilidades sinérgicas de las imágenes y el sonido, aplicando en sus proyectos técnicas de live-coding^[7], música modular, imágenes generativas y el desarrollo de herramientas de TouchDesigner^[8]

En relación al videojuego, KOMA se define como un juego art-game en el cual nos desplazamos en un espacio tridimensional creado a partir de imágenes de lugares escaneados en la vida real mediante la tecnología TouchDesigner, combinado con efectos de luz y sonido, los cuales se transforman continuamente (al igual que los escenarios) mediante renderizado 3D en tiempo real para generar un espacio inmersivo no lineal. KOMA plantea una experiencia accesible a cualquier usuario no importando edad o un nivel de jugador avanzado, invitándolo a desplazarse libremente durante 30 minutos donde el paisaje sonoro está compuesto por sesiones de experimentación sonora en vivo de 404.zero. En este sentido, la finalidad de KOMA no es plantear una experiencia con objetivos específicos, de carácter teleológico como sucede en la mayoría de los videojuegos, sino más bien, generar un estado de inmersión a partir de un gameplay^[9] basado en la experiencia visual y auditiva que percibe el usuario en el entorno 3D.

Videojuegos y espacio virtual en pandemia

Por otra parte, la realización de eventos presenciales masivos de música igualmente se ha visto afectado a las medidas de restricción sanitaria, lo que ha generado que este tipo de manifestaciones migren a diversos espacios virtuales, siendo las plataformas de videojuegos en línea una solución a las barreras de interacción social producto de la pandemia.

Jean Michell Jarré haciendo uso de las tecnologías basadas en videojuegos on-line y realidad virtual, realizó en plena pandemia el año 2020, un concierto para la celebración de año nuevo en el espacio digital Virtual Notre-Dame de Paris, una recreación a partir de un entorno 3D de la Catedral de Notre-Dame. El concierto Welcome To The Other Side^[10], congregó a alrededor de 30.000 persona en línea y hasta el momento ha sido visto por 75 millones de personas. Su implementación se realizó con la actuación de Jarre en vivo desde Studio Gabriel, un espacio cercano a la catedral de París, mientras que su avatar jugaba y realizaba el concierto dentro de la Virtual Notre-Dame.

El proyecto, producido mediante la asociatividad con la compañía de plataformas de realidad virtual VRrOOm, la ciudad de París y el patrocinio de la UNESCO, fue creado, diseñado y producido durante 3 meses, generando un proyecto de medios mixtos a partir del trabajo de un equipo de cien técnicos y artistas multidisciplinarios enfocados en recrear la catedral de Notre-Dame en un entorno 3D interactivo y pensado para responder a los requerimientos específicos que requiere la realización de conciertos virtuales en realidad virtual.

Por otra parte, el popular juego Fornite se convirtió en una plataforma para la realización de una serie de conciertos llamado Astronomical, a cargo del rapero Travi Scott. Una de las diferencias existente entre el concierto virtual de Jarre y Scott, es que en el primer caso, el personaje virtual era una representación controlada por Jarre, como sucede cuando controlamos un avatar en un videojuego. En el segundo caso, el personaje de Travi Scott que aparece dentro de Fornite es una animación no controlada y  reproducida dentro del motor de juego, de esta forma los únicos elementos “en vivo” serían los usuarios de Fornite conectados dentro de la plataforma.

Conclusiones

En relación a la pregunta de cómo construimos, habitamos y organizamos espacios digitales destinados a la creación de obras y acciones desde lo sonoro, podríamos responder que los videojuegos nos entregan diversas herramientas y medios para vincularnos con el espacio digital desde el arte en todas sus expresiones. Ejemplos como Pandemic, donde vemos a una Chanee Choi que utiliza un videojuego para expiar de algún modo los eventos de violencia racial, viviendo a través de una experiencia conceptual e interactiva, la vialidad del cruce entre videojuegos y arte. Del mismo modo, Fornite y Minecraft se presenta como una plataforma ideal para la implementación de instalaciones sonoras, performance, happening u otra manifestación artística que tenga como eje central el sonido, ofreciendo a los artistas sonoros un espacio único de creación gracias a las características del software-hardware que nos permiten controlar y generar una relación directa con la materialidad digital. Además, los conciertos en realidad virtual de Jean-Michel Jarre, ponen en evidencia la latente vigencia de estas actividades como formas de reunión e interacción social a través de la música y el sonido que se harán cotidianas en un futuro cercano, que nos invitan a adaptarnos y habitar estos nuevos espacios basado en la materialidad digital, siendo necesario replantear nuestro procesos creativos, pero sin  perder de vista los canales de comunicación propios del arte relacionados a la subjetivad, lo sensible, lo metafórico, al discurso poético y a la experimentación propia de la actividad artística.

Referencias bibliográficas:

• Circumventing the White Cube: Digital Curatorial Practices in Contemporary Media Landscapes. 2020. [ANTI]MATERIA. https://anti-materia.org/circumventing-the-white-cube  (Consultado el 23 de julio 2021)
• Collins, Karen. 2008. Game Sound: An Introduction to the History, Theory, and Practice of Video Game Music and Sound Design. MIT Press. Digital Studies/Le champ numérique, Digital Studies/Le champ numérique, https://www.digitalstudies.org/articles/10.16995/dscn.273/  (Consultado el 23 de julio 2021)
• Kowert, Rachel. 2014. Video Games and Social Competence. New York, Routledge.
• Manovich, Lev. 2001. The Language of new media. Cambridge, Mass. (USA). MIT Press.
• Dean, Roger T. y Alex McLean, eds. The Oxford Handbook of Algorithmic Music (Oxford University Press, 2018), 57.
• Kigomi Taguchi, Video: Art game looks at the pandemic through an artists eye, UW NEWS https://www.washington.edu/news/2020/09/24/video-art-game-looks-at-the-pandemic-through-an-artists-eye/ (Consultado el 23 de julio de 2021)

Gerardo Marcoleta es músico e investigador dedicado al estudio del sonido en medios interactivos informáticos, analizando como las nuevas tecnologías replantean los métodos tradicionales de creación a partir de las características de la materialidad digital. Por otra parte, es coordinador del Centro de Investigación Musical Autónomo CIMA y organizador del Forum Internacional Música, Ciencias y Nuevas Tecnologías, Valparaíso-Chile, instancia organizada por CIMA en conjunto con la Facultad de Ingeniería de la Pontificia Universidad Católica de Valparaíso.

CIMA: https://cimach.cl/

Proyecto Financiado por Fondart Regional, convocatoria 2021.