39 — December 2023

clustered | unclustered

Digital culture and ‘old’ media: convergences and interferences

Special issue edited by Karel Vanhaesebrouck

The four texts in this issue of Collateral have their origins in a PhD seminar at the Université Libre de Bruxelles (ULB), which aimed to explore the interaction between video games on the one hand and film and theatre on the other. The PhD seminar took place at a moment at which Covid-19 was in full swing and the circumstances forced us to reconsider what research as a collaborative practice could be. We tried to take advantage of the context of the moment to examine the (often stressful) upheavals linked to the growing importance of digital and virtual environments in our daily lives, and their impact on live performance. The seminar aimed to explore the mutual influences of digital and “AFK” (Away From Keyboard) and subsequently the points of contact between the fields of video games and performing arts.

Each of the four texts approaches this relationship from a different angle. But each time the same tension is central, namely that between immersion on the one hand and interactivity on the other. The concept of remediation, elaborated by Bolter and Grusin in Remediation: Understanding New Media, serves as a pivotal concept that allows for a better understanding of the complex reception of very diverse cultural objects, from opera and contemporary theatre to video games and webtoons.

This special issue is a trace of these particular circumstances of global pandemic and the questions this context raised for artistic practice in general and live performance in particular. But more importantly, together, these four texts seek to develop a dual perspective. Each of the contributions undertakes an attempt to historicize the perspective of media theory, using insights from media archaeology to search for genealogical traces of those so-called new media. At the same time, the authors also show how historical practices can be employed to contextualize those same contemporary practices, exploring concepts such as immersion, remediation, interactivity and participation.

a

clustered | unclustered

South-Korean Webtoons in an Age of Remediation

Oriana Virone

Tuesday night. I am currently living in Seoul and am on the metro back home. I am thinking about a conversation I just had with a friend who was in the country for a business trip, yet never really had a specific interest in South Korean culture. At some point I mentioned a film, explaining it was based on a webtoon. He was slightly confused, and I explained that webtoons were online comics. This quite mundane conversation still got me thinking. It showed me I was living in my ‘Korean bubble’ reality. Webtoons have become so embedded in South Korean culture over the past decades that I forgot that, even if it is spreading worldwide, it is still a relatively local phenomenon. My reality in that metro is that out of five people surrounding me, one is on Instagram, one is catching up on the latest K-drama (itself based on a webtoon) and three are reading actual webtoons on their smartphones. My reality is that I can’t count how many dramas and films based on webtoons will be released this year. Yet it is because I am interested in Korean culture, am researching it, and have experienced South Korea, that webtoons have, for me, become an unquestionable part of the mediasphere.

In this essay, I reflect upon the media aspect of webtoons. Not only do I want to think about webtoons as such, but I also want to look at their adaptations on various screens: on phone screens with web-dramas, on television or laptop screens with TV-dramas, and on cinema screens with feature films. In this way, I want to provide a dense account of the life of the genre across different media for an audience that does not inhabit my bubble.

Fig. 1: Picture of an advertisement for the webtoon Marry my husband
Fig. 2: Page of the actual webtoon as displayed on a phone (Naver Webtoon)

Why consider webtoon as a genre at all? In a digital context, genre is closely connected to medium—indeed, “digital genres not only act as text but also as medium” (Askehave and Nielsen, 2005: 1). Genre is a “distinctive format (…) recognizable to, or marketed to, a target audience” (Chandler and Munday, 2020: 873); it can “be identified by its socially recognized purpose and shared characteristics of form” (Yates et al., 1999: 84). It “makes commodities reproducible and transmissible” and is a “multidimensional construct” (Miller, 2015: 68-69). All of this applies to webtoon: it can easily be recognized by specific audiences, is “reproducible and transmissible”, and constitutively multidimensional. Furthermore, Freeman and Smith discuss genre with a transmedial perspective (2023), as for them, “understanding genre in a transmedial context means taking a medium-specific approach to transmediality, looking at different genres across different platforms and technologies” (8). This article understands the genre of webtoon in its connection to different media, to different platforms and technologies by exploring webtoons adaptations on screen.

Webtoons: Overview

The term Webtoon conjoins ‘web’ and ‘cartoon’ and refers to online manhwas. Manhwas is the Korean term for Korean comics, either in their printed or online distribution. Webtoons have been studied through various methodological approaches. Jang and Song (2017) investigate the glocalization of the genre as a hybrid cultural product, with both global and local characteristics. The media convergence and transmedia storytelling aspects of webtoons have also been discussed (Jin, 2015, 2019, 2020; Park et al., 2019). The online comics have also been examined through the lens of “the platformization of culture”, where webtoon as art is by nature dependent on the platforms it functions on (Cho, 2021). Those methodologies are very pertinent and often complement each other. However, in this contribution I would like to advance the more dynamic notion of remediation, as developed by Bolter and Grusin in Remediation: Understanding New Media (2000), to better capture the various instantiations of the genre across media.

History

In its short history, webtoon has known three phases. The first one was initiated by people sharing drawings of their everyday lives on their blogs. Around the same time, the cartoon series Kwang Su’s thoughts, which was physically published in a newspaper from 1997 to 2002, gained popularity online. The second phase started in 2003, when Daum – one of the largest Korean web portals – was the first to launch a portal specifically dedicated to webtoons. Daum’s main competitor, Naver, quicky followed in 2004 (Jin, 2015: 186). From 2006 onwards, webtoons have been adapted on screen. Indeed, 2006 marks the year the film APT (Ahn) was released. The feature wasn’t a box office success, even though it was adapted from Kang Full’s successful webtoon Apartment. Finally, the third phase in the genre’s career started in 2009, as the ‘smartphone era’ took off in Korea (Jin, 2020: 133). The quite unsuccessful adaptations of webtoons on screen didn’t deter producers, and in 2010, Kang Woo-suk’s Moss, based on the eponymous webtoon, was screened at various film festivals and won numerous awards. In 2013 Secretly, Greatly (Jang) was released. The film is based on a 2010 successful webtoon and was also favorably received. Webtoons, then, have been a staple of Korean media culture for over a decade.

Expansion across media

The wheels of adaptation success have since been in motion. Webtoons are gaining ever more popularity, becoming less and less confined to the platforms they are read on, and expanding across media. The adaptations of webtoons on (big or small) screens is exponentially growing, successful webtoons are being physically published or adapted into video games. Moreover, webtoons are also used as promotional materials. It can be the case that a specific webtoon is created to promote a company or product (called ‘Brand webtoon’), as Samsung did with the webtoon (and its web-drama adaptation) Infinite Power (Joo, 2012). In this webtoon, we follow the journey of a character trying to become an employee at the conglomerate. The idea was not only to explain the hiring process, but also to promote the company’s values (Kang, 2017: 768). Similarly, the disaster webtoon 2024 (Lee and So, 2014-2015) was backed by the Korean Hanwha Insurance Company. The webtoon depicts a natural disaster and the insurance company eventually guiding people and saving the day (Lee, Park and al, 2019: 5). Webtoons as promotional materials can also exist by having product placement within the webtoon – not unlike practices common in K-dramas (see fig. 3). Another way to use those comics as promotional materials is by developing partnerships between brands and famous webtoons. For example, characters of The Sound of Your Heart (Jo, 2014-2020) were used in a partnership with cosmetic brand SNP (see fig. 4).

The circulation of webtoons does not stop there. Webtoons are getting both official and unofficial translations and get to circulate outside of South Korea and to non-Korean-speaking readers. Some comic authors have even reached the status of celebrities and are appearing in entertainment shows (Cho, 2021: 73). Webtoons have become so important that several universities now offer classes about them. Furthermore, TV shows take inspiration from the webtoon world, even when they are not webtoon adaptations per se. In the 2016 drama W (Jung), for instance, the plot revolves around a webtoon artist and the webtoon’s main character coming to life. Finally, not only do dramas get adapted from webtoons or are inspired by them, but the influence also works in the opposite direction. Successful TV-dramas are being adapted into webtoons, as in the case of Yoo’s 2022 drama Extraordinary Attorney Woo (Park, 2022). All the above examples illustrate how, in a very short period, webtoons have travelled on and off digital space, and on and off their native platforms.

Fig. 3: Product placement in webtoons – Twitter
Fig. 4: Brand Partnerships, here between The Sound of Your Heart and cosmetic brand SNP

Various factors have combined to allow for this spectacular rise of webtoon. The genre developed hand in hand with the development and circulation of smartphones, as well as high broadband diffusion rates and fast internet (Jang and Song, 2017: 179). Moreover, webtoons are easily accessible, their content is varied, and readers can interact easily with the authors (Jin, 2015: 200) – all elements that contribute to the “snack culture” in which the genre thrives (Kim, 2016; Jin, 2019). The term “snack culture” refers to the tendency to rapidly consume content and not “engage at a deeper level” (Jin, 2019: 2094).

Webtoon components

Keeping all these elements in mind helps to understand the specific components of webtoons. Crucially, webtoons are possible because of and are made for the digital space. Because a webtoon is made to be read on a phone screen, scrolling has become an important aspect of the genre. While we have to turn the pages of physical manhwas, with webtoon, we need to scroll down to see the story unfold. Interrelated with the idea of snack culture, webtoon episodes are not too long and can typically be consumed within three to five minutes. In a guideline book to help students create webtoons, Presser et al. point out the importance of elements such as simplicity, breathing areas, bigger lettering, identification, dramatic unities in panels or clusters, use of screen width, silence areas, vertical reading, hypermedia, and narratives of varying sizes (2021: 69). These components tend to accentuate the differences with ‘traditional’ comic books. The reading is vertical as per the scrolling effect. Visually, webtoons don’t always use margins, and the number of panels is limited. More and more creators are using sound, animation or even QR codes within their comic (Brouard, 2021; Lynn 2016: 1). Furthermore, webtoons are generally in color. This is a step away from ‘traditional’ manhwas, which are often in black and white for economic reasons – economic reasons that don’t apply to screen contexts (Lynn, 2016: 5). It’s interesting to note that color can sometimes become a code within the webtoon world. For example, the webtoon Pop Out Boy! (Nimni, 2019) tells the story of a manhwa character coming to life. As can be seen on fig. 5, the color scheme indicates that the main female character is set ‘in real life’ (in color) whereas her male counterpart is not (in black and white).

Fig. 5: Art for Pop Out Boy, which uses color to indicate the belonging of the male character to the manhwa world

Webtoons tackle different types of stories: drama, fantasy, comedy, action, slice of life, sci-fi, mystery, historical, horror, and others. The way most platforms operate – leaders Naver webtoon and Kakao webtoon (former Daum) for example – is that a series will have a new episode going out each week on a specific day, each episode ending with a cliffhanger, which is a mainstay of serial storytelling. These will then become known as, for example, the Monday or Wednesday webtoon (Cho, 2021: 82-83). Throughout the week, readers will eagerly wait for the next episode.

Another key element of webtoons is their interactive and participatory character (Cho, 2021). If the experience of reading the webtoon itself is not interactive, the pre- and post-reading is. On most platforms, fans can directly comment on each episode, as well as attribute a note or “like” the episode. This leads to a greater sense of direct interactivity with the authors – who will take into account readers’ feedback and feed it into their subsequent stories. As Jang and Song remark,

[t]he examples of interactive creation in webtoons are shown in reply function and viewers’ active participation on the webtoon platforms. Webtoons are spread through open platforms where creators, producers, and users can all participate in the process of content creation. (2017: 179)

This interactivity is playing an important part in the creation, but also in the global diffusion of webtoons. Aware of the potential of international markets, platforms such as Naver have begun to develop their products in other languages, for which they officially request translations of specific webtoons. Yet fans didn’t wait for the platforms to make the first move and had started translating webtoons already before the platforms’ extension initiatives. Fans still translate webtoons that haven’t been translated yet – allowing their circulation on an international scale, contributing to a process of transnationalization (Shim, Yecies et al., 2020). One last important aspect of the fan interaction is how readers compose their ideal cast for potential screen adaptation. These ‘dream castings’ sometimes become reality. The ‘imaginary casting’ is interesting for both webtoon fans and producers (Yun, 2021: 5). Fans will feel their agency is taken seriously and the chances of a good audience size are higher.

Webtoon adaptations

Although quite recently established, webtoon is a genre that is already quite polyvalent in its adaptations: books, physical manhwas, musicals, games, web drama, TV drama, features, videogames, and so on. In fact, adaptations of webtoons to other media are so frequent that webtoon artists will create their content with potential adaptations to other media in mind (Jin, 2015: 205; Park, Lee et al., 2019: 2181; Shim, Yecies et al., 2020: 837). Indeed, the idea of webtoons traveling among other media was quickly considered constitutive of the genre’s mode of operation. Of course, this has to do with financial incentives and risk management. Park, Lee et al. (2019) have interviewed different actors on the production side for their research about TV (drama) adaptation of webtoons. This has allowed them to outline various industrial factors that motivate producers to adapt webtoons on screen. First, webtoons offer many different stories to pick from – up to the point where media companies have people dedicated to finding potential webtoons to adapt (2188). Second, the ‘usual’ way K-dramas are produced allows for the audience’s feedback to be incorporated as the drama is being shot – sometimes leading to a rewriting/re-shooting of the episodes. Webtoons, because of their interactive and participatory dimension, allow a ‘pre-tested’ response from audiences and hence more flexibility during the actual shooting of the drama(2188). Third, drama producers will favour the financing of a project with a webtoon creator rather than with a relatively unknown screenwriter. Korean scriptwriters can have the status of celebrities, and their involvement in a project will attract both creative talent and financial support. In a context of high competitivity, producers are reluctant to hire non-established writers. Therefore, when they do have to work with cheaper and less known writers, they gravitate toward webtoon creators (2189-2190). Finally, the financial aspect of webtoon adaptation is an important factor: production costs are cheaper than for other kinds of content, and there is a marketing base and an audience that already exist (2190).

Adapting webtoons means the possibility of reaching out to a broader and/or more targeted audience. Webtoon platforms have statistical data about their readership, and it is not hard to guess that those data are crucial when considering a screen adaptation. Additionally, webtoons themselves reach out to a broad demographic. If physical manhwas are mostly read by teenagers, webtoons are read by all ages, with a higher proportion of readers in their 20s to 40s (Lynn, 2016: 4; Jin, 2019: 2104). Webtoon adaptations can create a virtuous circle where readers of a specific webtoon will watch its adaptation, and viewers of a webtoon adaptation will read the webtoon it originated from. This means that webtoons have also gained popularity through their adaptations (Jin, 2015: 199).

Apart from these industrial factors, there are also stylistic elements that make webtoons conducive to adaptation on screen. Webtoons are easy to adapt as they are visually appealing, have often already integrated the narrative and visual codes of cinema, and can act as storyboards almost directly (see fig.6). We have already mentioned the serial aspect and the use of cliffhangers, but also visual cinematic techniques are being used: pan, tilt, zoom in and out, dissolve effect and rack focus (Choi, 2012, as cited in Park, 2016: 248).

Fig. 6: Webtoons and storyboard use, here with the webtoon and TV drama adaptation Cheese in the Trap

The circulation of webtoons and their adaptations to other media is indubitable, but the transmedia storytelling aspect of webtoon adaptation is still under discussion. Indeed, the notion of transmedia storytelling tends to be preserved for dynamics in which various media converge to expand a story or a fictional universe (Jenkins, 2011); it does not suggest a copy and paste of the original product on different platforms. When it comes to webtoon adaptation, various points of view exist. Mostly, both writers and fans want TV or film adaptations to be extremely faithful to the original digital version. Indeed, not only is this what some writers stipulate before agreeing to an adaptation, but it is also a criterion viewers and fans adopt when deciding whether an adaptation is successful or not. For example, the TV adaptation of the popular webtoon Cheese in the Trap (Lee, 2016) received backlash for stepping away too much from the original version. This has created a precedent that influences producers’ decisions about bringing new elements to an existing webtoon when adapting it on screen (Park, Lee et al., 2019: 2191-92). In this context also, the practice of ‘dream casting’ is important because it marks the interactive aspect of the adaptation, but also because it means that the (fantasized) version closest to the original webtoon is being adhered to. This emphasis on fidelity tends to undermine the traditional idea of transmedia storytelling, as it could be considered a copy and paste rather than an expansion of the fictional universe. More typically, transmedia storytelling happens when there is an “expansion or compression of the original story to fit into platforms’ unique attributes” (Jin, 2019: 2096). Jin gives the examples of webtoons Misaeng (Yoon, 2012-2013) and Secretly, Greatly (Hun, 2010-2011), where adaptations differ from the webtoons they are based on, but still met critical approval. Indeed, some adaptations do step away from the source material without being dismissed by viewers; they expand, or nuance, the webtoon’s universe in a way that qualifies these as more prototypical instances of transmedia storytelling.

Fig. 7: Poster of the successful drama Itaewon Class next to the webtoon it is based on

The drama Kingdom (Kim, 2019 - ) is an interesting case study when thinking of transmedia storytelling. The series – the first original Korean Netflix production – is an adaptation of the webtoon The Kingdom of the Gods (Youn et al. 2014). To ensure continuity with the webtoon, Kim Eun-hee, writer of the webtoon, was hired as part of the screenwriting team for the drama. Admittedly, Kim already had experience as a screenwriter, but still, the decision to hire a webtoon creative team member could be seen as expressing a desire to stick as closely as possible to the original, and hence as a step away from transmedia storytelling. Nonetheless, the webtoon and the drama do vary quite a bit, and this hasn’t bothered fans and viewers. In the case of Kingdom, the extension of the webtoon universe is appreciated, and the presence of the writer adds to the ‘legitimacy’ of the story’s extension.

Hypermediacy, Immediacy and Remediation

As previously discussed, webtoons can be explored both with a genre/medium lens and with a transmedia storytelling lens. However, I believe that thinking of webtoons and their various screen adaptations with the notions of hypermediacy, immediacy and remediation as conceptualized by Bolter and Grusin (2000) makes for a different account of the phenomenon and can nuance our understanding of its dynamics. By using the expression “various screens adaptations”, I refer to adaptations on phone screens (with web dramas), on TV/laptop screens (with TV dramas) and on cinema screens (with features).

Immediacy vs. Hypermediacy

In Remediation: Understanding New Media (2000), Bolter and Grusin argue that remediation or “the representation of one medium in another is a defining characteristic of the new digital media” (45). For them, “the very act of remediation (…) ensures that the older medium cannot be entirely effaced; the new medium remains dependent on the older one in acknowledged or unacknowledged ways” (47). They point out the ambivalence inherent in the notion of remediation: “Our culture wants both to multiply its media and to erase all traces of mediation: ideally, it wants to erase its media in the very act of multiplying them” (5). Indeed, the ultimate goal of media is to “transfer sense experiences from one person to another” (3), to “get past the limits of representation and to achieve the real” (52), while the way to achieve this resorts to two seemingly contradictory processes: immediacy and hypermediacy.

Immediacy is related to the drive for a sense of reality. Immediacy means that there shouldn’t be any trace of the use of media: “The logic of immediacy dictates that the medium itself should disappear and leave us in the presence of the thing represented” (5-6). And with immediacy comes the idea of transparency. This is needed to reach a sense of immersion, “which means that it is a medium whose purpose is to disappear” (21). When discussing webtoons, Jang and Song have identified four factors enhancing the reader’s immersive experience. First, there is the vertical scrolling and presenting of sequences, which allows for a coherent story and teases the reader’s curiosity. Then, there is the interactive aspect, which enhances the reader’s focus but also adds a fun element. Third, webtoons can add sound components, which not only allows more involvement from the user (as well as bring an entertaining aspect), but also enhances the expressiveness of the story. Finally, nonlinear storytelling creates a higher engagement and interaction among readers and with the webtoon artists (2017: 177). Whether interaction among users and with the artists contributes to immersion is, however, questionable. After all, wouldn’t the digitization of communication be considered as a step outside of the story, as a reminder that the story that unfolds is only made possible through the use of a platform?

Bolter and Grusin also remind us that this desire for immediacy is not new and was a key element of what has become “Western visual (…) representation” (24), which promotes linear perspective. Linear perspective has shaped mainstream cinema – which, as we have seen, is a key component of webtoon visuals. This perspectival choice also has an impact on what viewers accept as realistic. As this is part of an integrated cultural convention, linear perspective enhance webtoons’ users’ sense of immersion.

Hypermediacy, for its part, refers to the process in which cultural producers are multiplying the media used to create and share their product. Audiences take pleasure in experiencing various media simultaneously: “In the logic of hypermediacy, the artist (or multimedia programmer or web designer) strives to make the viewer acknowledge the medium as a medium and to delight in that acknowledgment” (41-42). Within a hypermediated context, “the user as a subject is constantly present” (33). For example, webtoons expanding the ‘original’ webtoon format by integrating QR codes, sound or lighting effects are using this strategy as a selling argument. Furthermore, webtoons as a multimedia experience blur the line between different media. Indeed, we may well ask how we designate webtoon receivers in the first place? “Readers,” “viewers” and “users” would all be appropriate terms. Readers, as it is a medium that is read? Viewers, as it is a mainly visual medium (even more so when there are animations)? Or users, as the receivers need to use their fingers to scroll down and have the story move forward and develop?

Horror webtoon Chillers is an interesting example, which highlights the ambivalence of webtoons when it comes to immediacy and hypermediacy. This 37-chapters webtoon was created by different artists. It uses music, sound effects, phone vibrations, texts revealing themselves little by little and moving images to tell a horror story. There are various techniques such as background music and moving images that create a ‘wow effect’ but at the same time remind the reader that they are engaging with a culturally mediated product. However paradoxically, these additions also want to improve the reader’s immersion.

Fig. 8: Animation from the 22nd webtoon episode of Chiller: Bongcheon-Dong Ghost” by Horang

Webtoons aptly illustrate the concept of remediation and its ambivalent oscillation “between immediacy and hypermediacy, between transparency and opacity” (17). On the one hand, webtoons aim at creating an immersive experience. Its visual aspects (shorter/no margins, vertical format, linear perspective, scroll-down effect that gives the impression of a never-ending story) match pre-existing cultural conventions and make the readers forget they are experiencing a cultural product on their phones. As mentioned in relation to Chillers, the addition of sounds or animations is used to improve the immersive feeling. On the other hand, it is only because consumers have adopted the use of smartphones, because there is ubiquitous internet access, because there is an app that allows the access to webtoons, because phones have speakers and vibrations, etc. that users can enjoy the genre in the way they do. Moreover, and as mentioned previously, the interactive and participatory aspect of webtoons is also a constant reminder of their mediated dimension. Readers still post comments, rate the episodes, sometimes pay for content, and so on. All these aspects highlight that there is a creative team behind the webtoon, that the cultural product consumed is created by other human beings.

Because it is a cultural product in the context of capitalist society, readers are also reminded of their position as consumers. This corresponds with the snack culture developed in South Korea. As Jin explains,

Snack culture, originally referring to the quick habit of consuming information and cultural resources, should be considered through the interaction between culture and technology, because the meanings of time and space in contemporary societies and the commodification of leisure time in late capitalist societies have greatly shifted in Korea. (2019: 2095)

Webtoons are not only possible and popular because of the interaction between culture and technology, but also because of how time, space and leisure time have been reshaped: people are looking for “shorter and faster ways to consume cultural contents” (Kim, 2016: 36). Thus, webtoon readers are consuming a product and reminded of that transactional nature – distancing them from a completely immersive experience.

Nonetheless, hypermediality and immediacy are not radical opposites. Bolter and Grusin note that when a hypermediated cultural experience is consolidated, we experience a glance (“we look at the medium or at a multiplicity of media that may appear” (81)) rather than a gaze (“we look through the medium in linear perspective” (81)). This allows for an authentic and real response. This implies that snack culture offers a favorable environment to develop glances rather than gazes and to cultivate a sense of immediate reality. Immediacy and hypermediacy can paradoxically come together without tension when we think in terms of the genre’s “appeal to authenticity of experience” (71).

Webtoon adaptations on screen

Webtoons are embedded in new digital media, adopt both immediacy and hypermediacy, and account for interesting examples of the notion of remediation. But what happens when webtoons go from new to old(er) media? I would like to focus here on on-screen adaptations. In other words, and because we consider webtoon to be a genre, what would be the “medium-specific approach” to the screen adaptations of webtoon? We can refer to this as what Bother and Grusin call retrograde remediation, “in which a newer medium is imitated and even absorbed by an older one” (2000: 147).

Web dramas can be considered as a new form of digital content. They are series that are developed for digital consumption: the episodes are short, the plot lines simple. Just like webtoons, they are meant to be consumed on the go and can be connected to the notion of snack culture. They share many similarities with webtoons: they are often released on online platforms, are quite cheap and low-risk to produce, and are often being used by companies to promote a particular product (Kang: 2017 and 2021). Some web dramas are trying to experiment, as Pocket Boyfriend did in 2015, by using a vertical ratio (Kang, 2021: 1003). In that sense, web dramas adapted from webtoons could be understood as webtoons undergoing a remediation process.

The question of TV and cinematic adaptations calls for a slightly different approach. They seem like a movement back to ‘classical’ media, rather than a step forward. Of course, and just as in web dramas, webtoon adaptations suppose a higher likeliness with ‘reality’, a higher immediacy, because they offer live action, with actors in flesh and bones. This is quite noticeable when the ‘dream casting’ is being considered and the projected ‘real’ faces of webtoon characters come to live. However, those adaptations are not really “presenting themselves as refashioned and improved versions” of webtoons and are not existing within a new media sphere. Can we then really talk of retrograde remediation? There is neither imitation nor absorption. Rather, the adaptations can be understood as synergic, and as simply a different way to consume a story. With TV dramas and features, we step away from the snack culture and from the native digital media. Here, the cultural products cannot be consumed in a few minutes; they are intended to be watched rather than scrolled through, at home on a TV or laptop screen or in a movie theatre rather than on the go.

Because there is a sense of backwards movement, we could wonder if we are indeed facing an improved version or simply a different way to consume the genre. Bolter and Grusin explain that when users are experiencing different representations and have to “consider why one medium might offer a more appropriate representation than another”, they are engaging in “acts of remediation” (44). With TV and feature adaptations, the main question the consumer is facing doesn’t seem to be which medium is offering the most appropriate representation – in fact, the two can be combined – but rather which mode of consumption of the story is most appropriate. Not only is that consumption influenced by the time that can be spent (three to five minutes, over one or two hours), but also by the device used (phone, laptop, television, or cinema screen) and the environment (metro, café, home, cinema, etc.). Watching a one-hour episode for many weeks on a television screen is not the same as spending two hours in a cinema, which is in its turn not the same as consuming culture on a smartphone. If the notion of remediation seems to apply to web dramas based on webtoons, neither the notion of remediation nor that of transmedial storytelling fully capture what is going on with TV or feature adaptations of webtoons.

Conclusion

Webtoons have been able to expand in the age of smartphones, digital technologies, but also of snack culture. As a successful and important part of the South Korean cultural scene, the visually appealing, highly interactive and easily accessible genre of the webtoon quickly started to travel in an out of digital spaces. This is such a common practice now that webtoon artists will think of potential adaptations already when first creating their story.

This essay not only discussed the question whether webtoon adaptations on screen count as transmedia storytelling or not, but also the issue of remediation as developed by Bolter and Grusin. I argued that webtoons embrace and exploit the ambivalence of remediation: they are both hypermediated and cultivate a sense of immersion, which brings immediacy. Webtoons bring immediacy and hypermediacy together in order to obtain “authenticity of experience” (Bolter and Grusin, 2000: 71), which leads to remediation. I also discussed the adaptations of webtoons on phone screens (web dramas), TV/laptop screens (TV dramas) and cinema screens (features). Whereas web dramas can claim to be improved version of webtoons and hence hint at a remediation mechanism, the notion of remediation is less clearly relevant when it comes to TV and cinema adaptations. What medium works best, it turns out, is dependent on context and purpose.

Bibliography

  • Askehave, Inger, and Ellerup Nielsen (2005). “What are the Characteristics of Digital Genres? Genre Theory from a Multi-modal Perspective.” Proceedings of the 38th Hawaii International Conference on System Sciences – 2005. 98a.
  • Bolter, Jay David, and Richard Grusin (2000). Remediation: Understanding New Media. Cambridge, MA: MIT Press.
  • Brouard, Pauline (2021). “Ce que les plateformes font aux industries culturelles : le cas du webtoon sud-coréen.” Association Effeuillage 10, 35-39.
  • Chandle, Daniel, and Rod Munday (2020). Dictionary of Media and Communication. Third Edition. Oxford: Oxford University Press.
  • Cho, Heekyoung (2021). “The Platformization of Culture: Webtoon Platforms and Media Ecology in Korea and Beyond.” The Journal of Asian Studies 80.1, 73-93.
  • Choi, Yu-nam (2012). “웹툰 연출의 영화적 기법 연구 (A study on cinematic techniques of webtoon direction). Master’s thesis of Department of Design, Graduate School, Pusan National University.
  • Freeman, Matthew, and Anthony N. Smith (2023). Transmedia/Genre: Rethinking Genre in a Multiplatform Culture. Cham: Springer International Publishing.
  • Jang Wonho, and Jung Eun Song (2017). “Webtoon as a New Korean Wave in the Process of Glocalization”. Kritika Kultura 29, 168-187.
  • Jenkins, Henry (2011). “Transmedia 202: Further Reflections.” (accessed on 13 August).
  • Jin, Dal Yong (2015). “Digital Convergence of Korea’s Webtoons: transmedia storytelling.” Communication Research and Practice 1.3, 193-209.
  • Jin, Dal Yong (2019). “Snack Culture’s Dream of Big-Screen Culture: Korean Webtoons’ Transmedia Storytelling.” International Journal of Communication 13, 2094-2115.
  • Jin, Dal Yong (2020). Transnational Korean Cinema: Cultural Politics, Film Genres and Digital Technologies. New Brunswick: Rutgers University Press.
  • Kang, Jennifer M. (2017). “Just another platform for television? The emerging web dramas as digital culture in South Korea.” Media, Culture & Society 29.5, 762-772.
  • Kang, Jennifer M. (2021). “Better than television: The rise of Korean web dramas.” International Journal of Cultural Studies 24.6, 993-1008.
  • Kim, Yeon-seung (2016). “Snacks Emerging as the new Entrée.” Yonsei Annals, 36-39 (accessed on 13 August 2022).
  • Lee, Jong Yoon, Jae Hee Park, and Jong Woo Jun. 2019. “Brand Webtoon as Sustainable Advertising in Korean Consumers: A Focus on Hierarchical Relationships.” Sustainability 11, 1364.
  • Lynn, Hyung-Gu (2016). “Korean Webtoons: Explaining Growth. 韓国研究センタ〡年報.” Annual Report of the Korean Research Center 16, 1-13.
  • Miller, Carolyn R. (2015). “Genre as Social Action (1984), Revisited 30 Years Later (2014).” LETRAS & LETRAS 31.3, 56-72.
  • Park, Chan-Ik (2016). “Study the Phenomenon of Cross-Media between Video Media and Webtoon.” International Journal of Multimedia and Ubiquitous Engineering 11.5, 245-252.
  • Park, Ji Hoon-, Jeehyun Lee, and Yongsuk Lee (2019). “Do Webtoon-Based TV Dramas Represent Transmedia Storytelling? Industrial Factors Leading to Webtoon-Based TV Dramas.” International Journal of Communications 13, 2179-2198.
  • Park, Han-sol. “‘Extraordinary Attorney Woo’ to be adapted into webtoon.” Koreatimes.co.kr (accessed on 13 August 2022).
  • Presser, Alexandra, Gilson Braviano and Eduardo Côrte-Real (2021). “Webtoons. A Parameter Guide for Developing Webcomics focused on Small Screen Reading.” Convergências 14.28, 67-78.
  • Shim, Aegyung, Brian Yecies, Xiang Ren (Tony) and Dingkun Wang (2020). “Cultural Intermediation and the Basis of Trust Among Webtoon and Webnovel Communities.” Information, Communication   Society 23(6): 833-848.
  • Yates, JoAnn, Wanda J. Orlikowski and Kazuo Okamua (1999). “Explicit and Implicit Structuring of Genres in Electronic Communication: Reinforcement and Change of Social Interaction.” Organization Science 10.1, 83-103.
  • Yun, Chae-Eun (2021). “Webtoon-based Media, a Trusted Label.” The Hyowon Herald 369, 8.

Webtoons, manwhas and comics

  • Hun. 2010 – 2011. Secretely, Greatly. Daum Webtoon.
  • Jo, Seok. 2014 – 2020. The Sound of Your Heart. Naver Webtoon.
  • Joo, Ho Min. 2012. Infinite Power. Naver Webtoon.
  • Kang, Full. 2004 – 2008. Apartment. Daum Webtoon.
  • Kwang, Jin. 2016 – 2018. Itaewon Class. Daum Webtoon.
  • Lee, Jong-kyu and Jae-il So. 2014 – 2015. 2024. Naver Webtoon.
  • Lico and Sojak Sung. 2021 – ongoing. Marry My Husband. Naver Webtoon.
  • Nimni. 2019. Pop Out Boy! Naver Webtoon.
  • Park, Kwang-su. 1997 – 2002. Kwang Su’s Thoughts. Chosun Ilbo.
  • Park, Soo-hee. 2022 – 2012. Goong. Wink.
  • Soonkki. 2010 – 2017. Cheese in the Trap. Naver Webtoon.
  • Various authors. 2015. Chillers. Naver Webtoon.
  • Yoon, Tae-ho. 2008 – 2009. Moss. Daum Webtoon.
  • Yoon Tae-ho. 2012 – 2013. Misaeng. Daum Webtoon.
  • Youn, In-wan, Kyung-il Yang and Eun-hee Kim. 2014. The Kingdom of the Gods. YLAB.

Films, TV Dramas and Web Dramas

  • Ahn, Byeong-ki. 2006. APT (feature). Showbox/Mediaplex.
  • Jang, Cheol-soo. 2013. Secretly, Greatly (feature). Showbox/Mediaplex.
  • Jung, Dae-yoon. 2016. W (TV Series). MBC.
  • Kang, Woo-suk. 2010. Moss (feature). CJ Entertainment.
  • Kim, Seong-yoon. 2020. Itaewon Class (TV Series). JTBC.
  • Kim, Seong-hun. 2019 – ongoing. Kingdom (TV Series). Netflix.
  • Kim, Won-seok. 2014. Misaeng: Incomplete Life (TV Series). TvN.
  • Lee, Yoon-jung. 2016. Cheese in the Trap (TV Series). TvN.
  • Muh, Lab. 2015. Pocket Boyfriend (Web Series). Naver TV.
  • Yoo, In-shik. 2022. Extraordinary Attorney Woo (TV Series). ENA & Netflix.

Images

  • Fig. 1Picture of an advertisement for the webtoon Marry my husband.
  • Fig. 2Screenshot from Naver Webtoon App, main page for the webtoon. Marry My Husband (LICO and SUNG Sojak, 2021- ).
  • Fig. 3@Endlesswebtoon. “im so used to kdrama product placement but gosh i did not expect webtoon PPC hahah” 13 January 2021, 1:20 AM. Tweet.
  • Fig. 4코스모닝. 10 October 2016. “SNP, 마음의 소리 콜라보 20 종” {Collaboration SNP and The Sound of Your Heart 20 models}. Accessed on Naver Post on 13 August 2022.
  • Fig. 5Hong, Se-young. 12 February 2020. “플레이리스트, 웹툰 ‘만찢남녀’ 드라마로 제작…6 월 방송 [공식]” {Playlist, webtoon “Pop Out Boy!” to be adapted into drama…June diffusion [official]}. Accessed on https://sports.donga.com/3/all/20200212/99655924/1 on 13 August 2022.
  • Fig. 6D_Angel7. 18 December 2015. “‘Cheese in the Trap’ gives a peak of the original webtoon with new teaser”. Accessed on https://akpopworld.wordpress.com/2015/12/18/cheese-in-the-trap-gives-a-peak-in-the-original-webtoon-with-new-teaser/ on 20 March 2023.
  • Fig. 7 VuTung. 13 November 2021. “Let’s know 8 characters in Itaewon Class Webtoon!”. Accessed on https://xenews.net/lets-know-8-characters-in-itaewon-class-webtoon/ on 13 August 2022.
  • Fig. 8Animation from the 22nd webtoon episode of Chiller: “Bongcheon-Dong Ghost” by Horang. Image retrieved from https://blog.naver.com/flower_vilot/90122603407 on 13 August 2022.

 

b

clustered | unclustered

Experiencing Drama. The Hybridisation of Theatre Script, Telecommunication Tools and Digital Technologies in Pauline Peyrade’s Ctrl-X

Élise Deschambre

Digital technologies and telecommunication tools are commonplace in our daily lives. We are constantly exposed to digital images, to multiple mediums coexisting and intersecting, and to synchronous information disseminated in a continuous stream, and from various sources. According to Silvestra Mariniello, this omnipresence of audiovisual and digital contents undeniably altered “the way we see things” and affected “our perception of space and time, the way we remember and learn” (Mariniello, 2007: 164). In other words, the way we think and perceive the world around us has changed. It has been shaped by synchronicity, stream, and hybridity.

Theatre has been informed by this technological and epistemic innovation. Several studies, such as those conducted by Béatrice Picon-Vallin (1998), by Steve Dixon and Barry Smith (2007), and by Isabelle Barbéris (2019), have pointed out a concrete and massive use of digital technologies on contemporary stages. Some researchers have also considered how performance aesthetics has been impacted, like Peter M. Boenisch (2006) or Robin Nelson (2008). But they have focused on performance practice rather than text. Very few studies have investigated the repercussions the technological innovation could have had on playwriting, as if playwriting was not affected by those mutations. When playwriting is discussed, it is often to consider the sole thematic presence of digital technologies in the play, with reference to an actual or potential staging. Isabelle Barbéris’ study distinguishes itself by investigating the use of digital technologies during the writing process. But what about playwriting aesthetics? Could there not also be some dramaturgical and structural impact of telecommunication tools and digital technologies on written plays?

In an essay focused on Simon Stephens’ play Pornography, Jonathan Châtel and Sandrine Le Pors (2015) actually examine how the Internet impacts the structures of the theatre script. However, as they admit, they only detect already known aesthetic features which appeared during the twentieth century (i.e. before the advent of digital technologies) and are exacerbated by the influence of the Internet (indetermination of character, fragmentation of action, juxtaposition of stories, multilingualism…) The aim of the present essay is to show how telecommunication tools and digital technologies can reshape contemporary written dramaturgies generating new narrative structures and new ways to build characters. The focus will be on French playwright Pauline Peyrade’s published play Ctrl-X (2016), written during the writer’s training in playwriting at the ENSATT. Its story implies telecommunication tools such as the computer, the mobile phone, and the Internet, but above all its originality lies in its specific construction shaped by these tools.

Expressing telecommunication tools and digital contents

The title of Peyrade’s play, Ctrl-X, refers to the keyboard shortcut that enables content cuttings. This directly associates the play with connected devices and, by extension, the Internet, and digital technologies. The latter are at the center of the story of the play. Ida, the main character, is alone in her flat after a date with her lover Laurent. She is listening to music and surfing on the Internet. She is also texting her sister Adèle, who brings her some forgotten medecine, and Laurent, who wants to keep the date going in digital form.

The play, whose progression of action is continuous (no flashbacks, no ellipses), is divided into numbered micro-sequences (two hundred and twenty in total). Each of them reports a short and unique action, with different typography styles depending on the action reported. When Ida’s physical actions are described, the micro-sequence take the form of a stage direction:

(p. 72)

The occasional oral conversations between Ida and Adèle or Laurent are presented like traditional dialogue, although they are always conducted via a device (mobile phone, landline phone, intercom) or carried out from a distance (on one occasion, Ida speaks to her sister through the window). At no point Ida is interacting face-to-face with Adèle or Laurent. The text messages Ida sends and receives are also transcribed. In such cases, the vibration of Ida’s mobile phone and Ida’s texting action or reaction are mentioned as stage directions, then the content of the messages is reproduced in a different font, as it appears on Ida’s phone. Sequences 3 and 4 offer a good example:

(p. 13)

The micro-sequences also reproduce the various web pages (tabs, pop-ups, YouTube videos…) appearing on Ida’s computer screen (some are authentic pages, others are invented by Peyrade). The title of the consulted page is always indicated in small capitals, in the same font as the one used for the text messages. The page content too is transcribed in this font, which is clearly reserved for the sections reproducing the content Ida is watching on her screens. In the case of video or recorded material, the title is followed by the timestamp, and the spoken words are transcribed in the main font of the script, as are the stage directions and dialogues. Here are some examples:

(p. 16)
(p. 43)
(p. 22)

Rather than describing the new technologies Ida is using, Peyrade thus expresses them. She distorts their visual and audiovisual properties with writing strategies that verbalise them and make them readable. She even renders Ida’s synchronous actions through the sequencing of the play. Indeed, she indicates Ida is listening to music while smoking and surfing by isolating and transcribing passages of the song, and by specifying the timing of the written excerpts to evoke the progression of the song despite the insertion of Ida’s other actions:

(p. 16)

This technique enables Peyrade to bypass the impossibility of expressing the sound progression and its synchronicity with Ida’s action through words. The sequencing strategy allows her to evoke the continuity and synchronicity through the linearity of writing. Both synchronicity and continuity are to be mentally recomposed during the reading, and to be performed on stage.

But the hybridisation between the play and telecommunications tools or digital technologies is not limited to this ‘wording’ of digital and telecommunication content, nor to a simple formalist approach—and this is where Peyrade’s innovation really lies. The writer also seized on the hypertextual logic of the Internet in order to construct her play.

A play driven by a hypertextual logic

In Ctrl-X, Peyrade in fact weaves two plots into one another. The first plot is basic and obvious. Ida, wanting to be left alone, is surfing on the Internet, and trying to fend off Laurent and Adèle who, for different reasons, want to join her. She keeps lighting and extinguishing cigarettes without smoking them, eating M&M’s and immediately spitting them out. She finally loses her temper and brutally pushes Adèle and Laurent away, before trying to interact with them again, as if forgetting what happened. The play ends when she starts dancing on her own in the middle of her apartment.

However, a second plot is gradually emerging as we go along with the reading. We can discover it not through the dialogue nor the stage directions, but via the seemingly disjointed succession of the transcribed web pages Ida is consulting, and the connections we can make between some of those pages. Among them is the website of a photographer named ‘Pierre K’. Ida is also watching news reports about the war in Damascus and about a photoreporter’s death in Syria, as well as interviews of ‘Pierre K.’ about war photography. She looks to pictures as well, including a series of ‘Pierre K.’ entitled ‘Ida’. She also checks her e-mails, and reads an e-mail received from a certain ‘Pierre’ with ‘Mon amour’ as a subject. By connecting the content of those various web pages, we can understand Ida lost the one she really loves, Pierre, who is a missing or dead war photographer.

This second storyline sheds light on the first. Ida’s increasingly erratic and troubled behaviour could be explained by her loss, and the pain the Internet is reviving. The Internet is depicted by Peyrade as a living archive of what is not there anymore: Ida tries to find on the web what she lost in real life. However, as Clotilde Leguil (2019) declares, the Internet is a trap. It seems to be the place where one can find what is missing, but what is found is never what is sought. The Internet does not bring Pierre back to Ida. It only gives her virtual and incomplete pieces of him, which emphasizes his absence. Therefore, Ida is once again confronted with her loss, and cannot bear it.

Inviting readers or spectators to (re)constitute the real drama that lies behind an evident story is a well-known strategy. Sub-conversations in Sarraute’s and Duras’ theatre, or symbolic detours in Maeterlinck’s plays, also incite the readers or spectators to detect a second layer of meaning, and to reinterpret what is said and shown to them. But in Ctrl-X, Peyrade uses a new writing method that borrows the hypertextual logic of the Internet. The way the second plot is constructed and the reading mode it induces are indeed reminiscent of the principle of hypertext. According to this principle, each web page is an independent entity which is connected to many others. Within this network, every Internet user is free to surf from one page to another. From this trajectory, one can generate a unique whole. In the same way, readers of Ctrl-X are surfing between the seemingly disparate and random transcriptions of Internet pages and are recomposing a coherent story by establishing meaningful connections. This story is not directly or linearly delivered but is expected to be constructed through the connections and references that can be established while reading. Here, the “hypertextual attention” to which Julie Sermon alludes in Théâtre du xxie siècle: commencements (Sermon, 2012: 177) when she discusses 21st-century spectatorship, is at work. The readers must unfold their attention in a way that is “not so much linear as reticular” (Sermon, 2012: 177; transl. ED), which implies thinking in networks, making connections in all directions.

This narrative structure fits in with what the Belgian playwright Paul Pourveur (2021) calls a ‘nomadic dramaturgy’, inspired by Gilles Deleuze and Félix Guatarri’s thoughts in Milles Plateaux (1980). The construction of the play “refers to the aimless journey we make on the Internet, travelling from one database to the next, gleaning bits of information which we assemble, constructing meanings as we go along”, as Pourveur puts it in an unpublished essay. However, Peyrade’s script remains a constructed, delimited play. We can only navigate and glean information through what she wrote.

Interestingly, even the characters of the play really take shape through the transcript of the connected devices. Ida’s past and mindset are suggested through the transcribed web pages, text messages and songs, rather than described or mentioned through stage directions or dialogues. In an unpublished interview she granted me, Peyrade indicates she had tried, by means of the specific form of the script, to make perceptible the emotional ‘spiral’ Ida is going through. Similarly, Adèle and Laurent only exist by way of the text messages or the snatches of phone conversation, and Pierre by way of traces on virtual networks we identify (which challenges the staging: should these secondary characters be represented, and if so, how?) Thus, digital technologies interfere with the play on several levels: the theme, the form, the narrative structure and the composition of the characters.

Experiencing the script

As a matter of fact, in Ctrl-X, Peyrade uses a precise intermedial process, which Irina Rajewsky defines as “intermedial reference” (2005: 52-53). A single materially present medium – the theatre script – “uses its own media-specific means” to refer, in the mode of ‘as if’, “to another medium qua system” – the Internet and, more broadly, digital technologies. An “intermedial reference” is not a simple allusion to one medium by another. It is an articulation, a hybridisation, of codes and logic of one medium with those of another. As they meet, these codes and logics affect each other. On the one hand, Peyrade distorts the semiotic properties of telecommunication tools and digital technologies, as she turns their non-verbal attributes into verbal ones. On the other hand, she innovates playwriting by combining its linear principle with the synchronous, unordered and multidirectional principle of the Internet.

This challenges a certain conception of playwriting, in which the latter is considered as the place par excellence of mimesis (i.e. representation, substitution of a thing by a sign which evokes this very same thing), and is opposed to the real experience the stage performance offers by directly presenting things. In Ctrl-X, the plot and characters only take shape through the reading experience, in the present of this experience. While reading, the readers, just as the spectators of the ‘presentative’ theatre conceptualised by Jean-Frédéric Chevallier, are discovering that ‘here and now’ there is an “interstice” where something can happen, where they can experience something more (Chevallier, 2021: 250f.). In this sense, Peyrade’s script is a performance in itself. This does not mean mimesis is excluded. Fiction as well as the dramatic categories coming from mimesis (story, action, conflict, characters…) remain. For all that, identification is not prevented. On the contrary, it may even be reinforced, because readers perceive the characters and their story through their own experience and sensibility, and can thereby attribute their own emotions to them.

Peyrade thus breaks with the idea that experience is a stage matter. She also breaks with the idea inherited from Hans Thies Lehmann’s ‘postdramatic’ theory that assumes an incompatibility between dramatic features (as fiction and characters) and the distortion of mimesis the contemporary theatre undergoes. Ctrl-X weakens mimesis, offers the readers a live experience through which the plot and characters are emerging, but is not, to quote Lehmann, a “‘no longer dramatic’ theatre text” (Lehmann, 2006: 17).

Bibliography

  • Barbéris, Isabelle. 2019. Du masque au profil. Théâtre, performance et usages 2.0. Lormont: Le Bord de l’eau.
  • Boenisch, Peter M. 2006. ‘Aesthetic Art to Aisthetic Act: Theatre, Media, Intermedial Performance’. Chapple, Freda & Kattenbelt, Chiel, dir., Intermediality in Theatre and Performance. Amsterdam/New York: Rodopi. 3rd ed. 103-116.
  • Châtel, Jonathan, Le Pors, Sandrine. 2015. ‘Le drame à l’épreuve du Net. Pornographie de Simon Stephens et autres textes’. Registres. Special issue n.4. 207-215.
  • Chevallier, Jean-Frédéric. 2021. Le Théâtre du présenter. Paris: Circé.
  • Deleuze, Gilles, Guatarri, Félix. 1980. Mille plateaux. Capitalisme et schizophrénie. Paris: Editions de Minuit.
  • Dixon, Steve, Smith, Barry, dir, 2007. Digital performance : a history of new media in theater, dance, performance art, and installation. Cambridge: MIT Press.
  • Leguil, Clotilde. 2019. ‘Je’ : une traversée des identités. Paris: Presses Universitaires de France.
  • Lehman, Hans-Thies. (2000) 2006. Postdramatic Theatre. Trad. Jürs-Munby, Karen. London: Routledge.
  • Mariniello, Silvestra. 2007. ‘La litéracie de la différence’. Deotte, Jean-Louis, et al., dir., Appareil et intermédialité. Paris: L’Harmattan.
  • Nelson, Robin. 2008. ‘After Brecht: the Impact (Effects, Affects) of Intermedial Theatre’. Intermédialité/Intermediality 12. 31-48.
  • Picon-Vallin, Béatrice. 1998. Les écrans sur la scène : tentations et résistances de la scène face aux images. Lausanne: L’âge d’homme.
  • Pourveur, Paul. 2021. ‘Mille répliques, mille possibles’. Textyles. n.60. Online: https://journals.openedition.org/textyles/3999, accessed on 12 August 2022.
  • Rajewsky, Irina. 2005. ‘Intermediality, Intertextuality, and Remediation; A Literary Perspective on Intermediality. Intermdialité/Intermediality 6. 43-64.
  • Sermon, Julie. 2012. ‘Le vivant et la technique’. Ryngaert, Jean-Pierre, Sermon, Julie., dir. Théâtre du xxie siècle: commencements. Paris: Armand Colin. 79-223.

 

c

clustered | unclustered

Immersion et interaction au sein de la forme opératique

Dominique Mesa

Depuis plusieurs décennies maintenant, bons nombres de secteurs comme le marketing, l’armée, la pédagogie ou la médecine s’inspirent du jeu vidéo pour optimiser leurs compétences, voire leurs performances, en s’appuyant tant sur son caractère immersif qu’interactif (Maheux 2014 : 15). Mais l’influence du modèle du jeu vidéo ne se limite pas à ces domaines. Depuis plusieurs années, cette influence a aussi pénétré les arts du spectacle, amenant avec elle de nouveaux enjeux initiant des renouvellements inédits dans la dramaturgie des spectacles. Cette collusion entre jeu vidéo et arts du spectacle ne relève pas d’une association de deux disciplines qui seraient totalement étrangères l’une à l’autre. En effet, le jeu vidéo et les arts du spectacle présentent chacun des mondes de représentation qui se fondent sur l’illusion, s’appuyant également l’un et l’autre sur une narration circonscrite par le cadre de l’écran d’une part et le cadre de scène d’autre part. Néanmoins, bien que la notion de « virtualité » soit souvent pensée comme l’apanage du jeu vidéo, la représentation scénique entretient bien plus de points communs avec lui que ne le suggé reraient les apparences, sans même soulever le paradoxe du caractère vivant et virtuel attribuables aux deux disciplines, comme le concèdent Gauvain Leconte et Rémy Sohier.1 Parmi ces points communs se trouve également le principe d’« immersion » qui est souvent associé au jeu vidéo comme une de ses caractéristiques inédites et qui y est indissociable de la notion d’« interactivité ».

Pourtant, la volonté de plonger le spectateur dans une représentation immersive est également propre à la représentation scénique, au point d’avoir été un impératif destiné à parfaire l’illusion du dispositif opératique, à la suite des théories scéniques développées par Richard Wagner au courant du XIXème. Dans L’œuvre d’art de l’avenir (1849) et Opéra et drame (1851), érigés en véritable programmatique, le compositeur exposera la nécessité de désormais viser un Gesamtkunstwerk dans la forme opératique. Désignant initialement l’inclinaison naturelle des arts à tendre vers une totalité, Richard Wagner se réappropriera le principe du Gesamtkunstwerk en le définissant comme une œuvre issue de la collaboration des différentes disciplines artistiques, sur base de leur origine commune dans la source unique de la création. Afin d’établir les tenants de cette collaboration, Richard Wagner trouvera son modèle dans la tragédie grecque capable d’opérer, selon lui, à une synthèse idéale sur le plan artistique en raison de sa nature musicale, mais aussi sur le plan social dans son aptitude à conférer par ce biais à sa représentation une dimension collective et sacrée. Plus loin, en s’associant à l’idée de la musique comme le sommet de la hiérarchie des arts et l’incarnation même de l’essence du monde,2 Richard Wagner redéfinira l’opéra comme un « drame musical » à même de restaurer l’unité primordiale des arts ainsi que celle de la société, respectivement perdues dans la distinction de ses différentes disciplines et la fragmentation de l’individualisme. Porté par la méthode de la musique continue et les répétitions du leitmotiv permettant de lier l’ensemble des composantes dramaturgiques et d’ainsi parfaire le caractère immersif du dispositif scénique, ce drame musical se voulant totalisant et d’une unicité absolue mènerait naturellement alors le spectateur, littéralement submergé par la musique, à un état d’osmose intégral avec l’œuvre en représentation. Envisagée ici comme un moyen d’atteindre une fusion à la fois esthétique, spirituelle et sociale au moyen de la représentation, la notion d’« immersion » est donc également propre au genre opératique dans ce statut précis qui y sera dès ce moment-là durablement conféré à la musique.

Paradoxalement, ce qui témoigne assez bien de l’importance que le principe immersif a pris au sein du genre opératique dès ce moment est précisément sa condamnation radicale, un siècle plus tard, pointant les possibles dérives socio-politiques de ce principe esthétique nourri de la passivité que le flot musical ininterrompu induit chez le spectateur en le gardant de toute forme de sens critique.3 Alors qu’ils sont étroitement imbriqués dans le jeu vidéo, c’est à ce titre que les principes d’immersion et d’interactivité ont fini par être perçus comme respectivement irréductibles, voire contradictoires dans le dispositif scénique opératique. Au point que la remise en cause de la forme opératique promue par les théories wagnériennes trouvera son mot d’ordre dans la prescription formulée en 1967 par le compositeur et chef d’orchestre Pierre Boulez de « faire sauter les maisons d’opéra » pour espérer voir surgir une véritable réforme et une modernisation du genre.4 En dépit de son caractère lapidaire ciblant nommément l’institution opératique, cette formule a balisé la voie à la multiplication d’expérimentations d’interactivités, appréhendées comme l’ultime moyen de tenir à distance toute possibilité d’immerger le spectateur dans la représentation, en substituant désormais par ce biais une approche surfaite du principe d’immersion à une approche obstinée de celui d’interaction. Parmi ces expérimentations menées au sein du genre opératique, on trouve par exemple les Europera de John Cage (1980-1990) où une interaction se joue entre les interprètes du triptyque et un programme informatique générant en direct la forme du spectacle dans toutes ses composantes ou encore Outis de Luciano Berio (1999) où une caméra réinjecte sur la scène de la représentation des images prises en direct le long de son déroulement grâce au support d’un outil informatique.

Cependant, des expérimentations interactives avaient précédemment été tentées en musique pure avec des pièces comme Klavierstü ck XI de Karlheinz Stockhausen (1955) dont la structure polyvalente permet à l’interprète de décider de différents parcours musicaux suivant des règles imposées par le compositeur, ou la Troisième sonate pour piano de Pierre Boulez (1957) basée sur une partition à exécution aléatoire, ou encore Archipel IV d’André Boucourechliev (1970) dont le pianiste décide dans le déroulement de son interprétation de l’association des schémas mélodiques et rythmiques parmi ceux proposés par sa partition. On peut d’emblée constater que, dans ces pièces musicales, le principe interactif opère dans le rapport de l’interprète et de son matériel musical sans passage par une interface. Il faudra en effet encore quelques années pour que l’outil informatique investisse la scène opératique et tienne lieu d’interface au sein d’un dispositif interactif. A cet égard, dans un contexte d’évolution lente de la création opératique en raison du poids de ses institutions, l’opéra présente quelque retard par rapport au théâtre, à la danse ou la performance où des dispositifs numériques interactifs sont de plus en plus visibles dans le processus créatif ou la représentation scénique. Dans cette influence croissante de l’outil informatique sur les productions scéniques depuis plusieurs décennies maintenant, cet article propose de voir comment un dispositif interactif numérique est susceptible d’influer sur la forme opératique et ses spécificités en termes de création et de réception. A ces fins, nous prendrons pour exemple deux opéras s’appuyant l’un et l’autre sur une interactivité passant par une interface numérique et dont les mécanismes sont empruntés au modèle du jeu vidéo. Ces deux opéras vont également nous permettre d’observer plus spécifiquement l’incidence du passage par cette interface numérique sur les notions d’ « émotions » et de « plaisir » qui sont inhérentes tant à la forme opératique qu’à la pratique du jeu vidéo.

La performativité de l’opéra Alma Sola

Afin d’examiner plus en profondeur l’exploitation du principe interactif au sein de la forme opératique au moyen d’une interface numérique et l’influence de celle-ci sur ses enjeux dramaturgiques, nous avons choisi d’illustrer en premier lieu cet article par l’opéra Alma Sola, conçu par le compositeur Alain Bonardi et qui se revendique en filiation directe avec les expérimentations interactives menées dans l’opéra dans la deuxième moitié du XXème siècle.5 Dans une mise en scène de Christine Zeppenfeld également à l’origine du livret de la pièce et une direction d’orchestre d’Ignazio Terrasi, Alma sola a été créé en 2005 au Cube d’Issy-les-Moulineaux (France). Présenté comme un « opéra numérique pour 2 sopranos, 1 cor, 1 guitare et 1 ordinateur », Alma Sola est une métaphore du mythe de Faust qui substitue son personnage à une femme. Cherchant à saisir les mystères du monde au moyen de l’outil informatique mettant au défi sa propre érudition, Faust(e) sera accompagnée dans sa quête par Méphistophélès, également incarné par une femme et représentant sa part d’ombre. Le pacte passé entre Faust(e) et son double, dès l’ouverture de l’opéra, mènera le personnage à faire son exploration du monde sensible à travers celui de 5 univers thématiques : l’amour, l’opulence, le pouvoir, le plaisir et la connaissance. Ces 5 univers composent le livret où ils sont organisés en 25 blocs, de manière à être articulés dans n’importe quel ordre. La partition suit le même découpage en étant également ordonnée en 5 univers constitués de 25 blocs, tandis que la scénographie se trouve éclatée en 5 modules au sein d’un espace circulaire où chacun de ces modules représente un lieu d’expérimentation pour Faust(e). Cette scénographie, abrogeant d’emblée de son agencement l’opposition scène/salle et dans laquelle le spectateur se trouve dès lors immergé, est également marquée par un espace central où se jouera le prologue de la pièce mettant en scène le pacte passé entre Faust(e) et son double. Cet espace central sera également le lieu qui accueillera les musiciens et le chef d’orchestre durant toute la représentation.

Dans cet espace immersif liant à la fois les interprètes vocaux, les interprètes instrumentaux et les spectateurs, le déroulement narratif de l’opéra sera assuré par la collaboration de la chanteuse incarnant Faust(e) et d’un dispositif informatique. Celui-ci lui proposera des enchaînements au récit (et donc au voyage de Faust(e)), en générant une combinaison possible à l’univers vers lequel la chanteuse aura préalablement choisi ou accepté de se diriger. La chanteuse sera, en effet, libre de suivre ou non les propositions spatiales et narratives soumises par le dispositif informatique. Muni d’un programme lui permettant de s’adapter en temps réel aux choix que l’interprète fera dans son parcours, le dispositif informatique prendra acte du choix de la chanteuse et y adaptera sa proposition suivante. A la sortie de chaque univers, le programme proposera ainsi à Faust(e) une suite possible à la narration et lui soumettra la prochaine étape de son parcours physique dans un des 5 univers, au moyen d’un signal lumineux rivé au sol du plateau. A nouveau, la chanteuse sera libre de suivre sa proposition ou non. Dans le cas où elle aura opté pour un autre univers que celui proposé par le programme informatique, ce dernier identifiera l’univers choisi grâce aux tapis sensibles et dalles de pression rivées au sol et activées par le déplacement de la chanteuse. Une fois le signal reçu par le programme, celui-ci génèrera une autre suite possible au parcours de Faust(e), et donc au récit, par une nouvelle proposition de combinaison des blocs induite par ce choix inattendu. Pour compléter ce dispositif scénique, sur base du même système combinatoire, différents types d’éclairages seront également associés à chaque zone de l’espace arpenté par Faust(e) et maintenant l’ensemble de la représentation dans une semi-pénombre. De la même manière, différents types d’images vidéo seront diffusées sur les deux écrans complétant la scénographie. Durant toute la représentation, ces deux écrans accueilleront des images qui se superposeront à des plans pris en direct par Méphistophélès accompagnant Faust(e) dans son parcours et qui seront traitées en temps réel par le programme informatique. Sur base du même système combinatoire, le matériel musical de la pièce a pareillement été pensé pour osciller en permanence entre les registres du déterminisme dans le matériel musical confié aux interprètes et de l’aléatoire dans celui généré en direct par l’ordinateur. C’est en effet à nouveau le dispositif informatique qui géné rera le paysage sonore de la pièce résultant de la transformation en temps réel de sons prédéfinis ou obtenus à partir des voix et de l’accompagnement musical des deux sopranos. Musicalement, l’opéra Alma Sola est donc issu de la confrontation d’une écriture musicale traditionnelle et d’une écriture aléatoire, dont il se revendique et produite par un calcul numérique.

Tous les éléments constitutifs de la mise en scène d’Alma Sola (musique, paysage sonore, livret et espace) peuvent de la sorte être combinés à l’infini à partir des modules qui les constituent. Chaque représentation devient ainsi l’occasion du déploiement d’une nouvelle pièce issue d’une interactivité qui opère dans un dialogue presque intime entre son interprète principale et son dispositif informatique. Spécialement conçu pour cet opéra, le programme informatique mis en dialogue avec l’interprète ne détermine pas uniquement le parcours musical de l’œuvre, mais aussi sa narration : c’est en pénétrant dans une des 5 zones constituant l’espace scénographique que l’interprète fait basculer l’opéra dans l’univers auquel il se réfère et avant qu’il ne subisse l’incidence de sa combinaison avec un nouveau module proposé par la chanteuse ou le programme. En fondant la représentation d’Alma Sola sur des combinatoires en partie générées par un programme informatique et son apprentissage en temps réel du type d’enchaînement susceptible d’être choisi par la chanteuse, Alain Bonardi avait pour première intention de ramener la pièce aux origines du mythe de Faust, où le destin du personnage est déterminé par son choix initial. Cette spécificité dramaturgique de la pièce renvoie Alma sola au champ de l’art génératif, que l’artiste-chercheur Yvan Tina définit comme usant de « logiciels autonomes capables de s’actualiser par eux-mêmes » dans leur appui sur l’intelligence artificielle. Dans ce caractère commun qu’ils entretiennent aux organismes biologiques, ces dispositifs peuvent dès lors être considérés comme des organismes vivants et comme produits du « théâtre de la vie artificielle » (Tina 2018 : 57-62). Mais en étant fondée sur l’hybridation du « vivant technologique » (ici, le dispositif informatique) et biologique (ici, la présence organique effective de l’interprète), la représentation d’Alma sola peut également être assimilée à un dispositif biotechnologique conférant à la représentation une dimension performative, en premier lieu, dans la performativité de son dispositif informatique. Ce caractère propre à toute œuvre associant vivant et technologie induit de ce fait deux modes de perception pour le spectateur, en ce que la forme de l’œuvre oscille entre représentation et présence ou entre théâtre et performance, la présence de l’œuvre ne se réalisant que dans la présence du spectateur (Tina 2018 : 63).

A la vue de l’incidence du programme informatique sur le parcours de Faust(e), le dispositif interactif d’Alma sola s’assimile à celui du jeu vidéo où le parcours du personnage est créé par l’intermédiaire de l’interface. Du point de vue du spectateur, dans la collaboration étroite du dispositif informatique et de Faust(e) au sein même de la représentation, la place de l’interprète s’en trouve partagée entre sa présence phénoménologique au sein de l’espace de jeu et sa présence médiatisée par le dispositif numérique – tant dans l’influence de ce dernier sur son parcours émotionnel au sein du récit que sur son parcours physique au sein de l’espace scénique. Ce dédoublement de l’interprète permet en conséquence d’également l’assimiler à un avatar, sa présence étant en partie le produit du dispositif informatique de la pièce. Dans son caractère immersif, ce circuit interactif se clôt en effet sur la perception du spectateur : au-delà d’être immergé au sein de l’espace scénographique de la pièce avec ses interprètes, le spectateur s’en trouve également immergé au sein de sa dramaturgie dans le lien étroit établi entre lui, le récit et la chanteuse exposée dans son « état intérieur permanent présenté » devant lui (Tina 2018 : 63). Comme le souligne Yvan Tina, dans un tel contexte où la « présentation » se substitue à la « représentation », il est question de « l’élaboration d’un espace psychique et mental se logeant dans le regard du spectateur » (Tina 2018 : 65).

Dans sa création en direct soumise à l’aléatoire de l’impulsion des générations de son programme informatique ou de l’inspiration de l’instant de la chanteuse incarnant Faust(e), Alma sola se présente comme un processus en permanence à l’œuvre, dont la dimension performative partagée entre l’interprète et le dispositif informatique fait de chacune de ses représentations une expérience insolite. En regard de la nature immersive et performative de la pièce, cette expérience opère tant du côté du spectateur que de son interprète, dont les statuts s’en trouvent modifiés pour l’un et l’autre. Comme le souligne Maaike Bleeker, en se caractérisant par sa coprésence complétant la présence de l’interprète au sein d’un dispositif immersif, le spectateur se voit muer en experiencer.6 Tandis que l’interprète de la pièce adopte le statut de performer dans la possibilité dont elle dispose, dans le cas présent, de générer l’œuvre en direct ainsi que dans l’adaptabilité nécessaire que requiert toute adhésion ou refus de sa part aux propositions du programme informatique. Cependant, l’expérience vécue par l’interprète ne se limite pas à sa capacité d’agir sur l’œuvre ou à sa capacité de la transformer : sa présence étant médiatisée par le dispositif numérique, elle est également « agie » en direct par l’œuvre la soumettant à une mutation continuelle, bien au-delà de pouvoir l’assimiler à un avatar ou à la désigner comme performeuse de la pièce.

Dans une expérimentation similaire à celle menée dans Alma sola et ciblant spécifiquement la somatique, la chorégraphe Isabelle Choinière propose une approche de la technologie qui ne repose pas sur son unique usage par les interprètes en vue de la production de sons ou d’images, mais comme un moyen de déstabilisation à même de provoquer une réorganisation sensorielle, perceptuelle et, plus loin, de pousser les interprètes à modifier leur propre approche corporelle. Par cette déstabilisation de l’environnement produite sous les impulsions du dispositif technologique, l’intériorité de l’interprète fait l’objet d’une transformation permanente en étant continuellement amené à réenvisager sa corporalité (Choinière 2013 : 11-12). Par ailleurs, Isabelle Choinière précise que l’opérationnalité de l’interaction au sein des dispositifs qu’elle créée repose sur l’appropriation et l’intégration nécessaires de l’outil technologique par ses interprètes et que c’est là tout l’enjeu de sa recherche. Dans le dispositif complexe d’Alma sola, le programme informatique tient précisément lieu de premier partenaire de jeu à l’interprète, au point qu’Alain Bonardi parle de son opéra comme d’une pièce où la forme s’éprouve dans la manipulation. C’est la raison pour laquelle les répétitions d’Alma sola auront avant tout servi à ce que son interprète se familiarise avec le programme informatique influant sur sa motricité ou sa perception auditive de la musique et des autres gestes musicaux de la pièce, comme celui du chef d’orchestre ou ceux des musiciens. Ce travail de familiarisation mené durant les répétitions avait pour première intention de permettre une interaction fluide entre l’interprète et le dispositif informatique durant la représentation.

Dans leurs recherches sur les implications somatiques dans la pratique du jeu vidéo, Nicolas Besombes, Antoine Lech et Luc Collard désignent le corps comme le support de l’expérience vidéoludique (Besombes et al. 2016 : 49) et relèvent en effet que le jeu vidéo repose sur une réelle mise en jeu corporelle qui ne concerne pas que les jeux dits « moteurs » dont usent les consoles à détection de mouvements et dont l’opéra Alma sola reprend le modèle dans son dispositif muni de tapis sensibles.7 Contrairement aux idées reçues, le jeu vidéo mobilise la totalité du corps dans l’action, en ce que le joueur y est impliqué « dans toute la complexité de ses dimensions biologique, psychologique et sociale lorsqu’il joue, engageant son corps tout entier dans la pratique du jeu vidéo. Il est stimulé au niveau de son attention, de ses perceptions, et de ses actions ainsi qu’au niveau de son investissement intellectuel, cognitif et émotionnel» (Besombes et al. 50). De la même manière, le dispositif d’Alma sola sollicite son interprète tant émotionnellement (dans la teneur imprévisible de la suite du récit ou de son parcours spatial qui lui auront été soumis par le programme informatique), qu’intellectuellement (dans son assimilation nécessaire de la proposition combinatoire du programme informatique dans le présent de l’action), que physiquement (dans son exécution de la proposition combinatoire du programme informatique dans l’« ici et maintenant » de la représentation). Exigeant dès lors autant concentration que réactivité, le dispositif interactif d’Alma sola en appelle à une certaine maîtrise corporelle de la part de son interprète. En d’autres termes, pour que la représentation soit opérante, son interprète doit y répondre d’une motricité aussi performante que celle du dispositif informatique qui lui fait face. Au point que, durant le travail précédant les représentations, la question de l’habile té du corps est devenue une condition à la faisabilité de la représentation, tout comme elle l’est dans le jeu vidéo pour permettre au gamer d’avancer dans le récit tout en étant maintenu dans l’immersion. Pour permettre la représentation du voyage de Faust(e), à l’image du jeu vidéo où le gamer est contraint d’assimiler le gameplay pour que son immersion dans le jeu soit efficiente, la pièce Alma sola amène son interprète à opérer dans une pleine présence face à son dispositif numérique, pour créer en pleine collaboration avec lui le récit de la pièce.

Opéra 3.0 ou créer l’œuvre avec les spectateurs

Bien que le dispositif dramaturgique de l’opéra Alma Sola propose un espace immersif qui inclut ses interprètes musicaux comme ses spectateurs et une interactivité qui ne porte pas exclusivement sur le médium musical, en raison de son système combinatoire reposant sur l’aléatoire, il reste proche des expérimentations menées en musique pure mentionnées en ouverture de cet article. Pourtant, des expérimentations d’interaction amenant le spectateur à la manipulation directe du matériau dramaturgique avaient également été tentées dans le courant de la réforme voulue pour la scène opératique au courant de la deuxième partie du XXème siècle, à l’exemple de l’opéra Votre Faust (1969), créé par le compositeur Henri Pousseur et l’auteur Michel Butor, et dont l’issue narrative était soumise au vote des spectateurs. Mais cette intervention directe du public sur le dénouement de la pièce déboucha sur un climat anarchique qui contraignit, chaque soir, d’arrêter ses représentations. Si bien que Votre Faust ne connut que deux reprises, qui se conclurent également par les vives contestations d’une partie de ses spectateurs se sentant tout aussi lésés par l’issue de l’opéra et arguant que le calcul du résultat de leur vote à main levée ne pouvait être qu’approximatif. Cependant, dans le contexte actuel de l’évolution rapide des nouvelles technologies et de leur pénétration dans la création scénique, ce type d’expérimentation a été retenté depuis et la pièce Opéra 3.0 va nous permettre d’illustrer, au sein de la création opératique récente, un modèle d’interaction mettant à contribution le public dans la dramaturgie de la pièce au moyen d’une interface numérique.

En effet, Opéra 3.0 est présenté comme « un opéra interactif pour 2 sopranos, 1 mezzo-soprano, 1 ténor, 1 baryton, 1 baryton-basse, 1 comédien et 1 piano ». Créé à la salle du Damier de Veigy-Foncenex (Suisse) en 2018, d’après une idée originale du chanteur lyrique Antoine Bernheim, dans une direction musicale de Juan Molano et une direction d’acteurs de Fabrice Talon, Opéra 3.0 propose une narration soumise au choix du public dans le déroulement de sa représentation. Pour permettre cette interaction directe des spectateurs sur le déroulement narratif de l’opéra, ces derniers sont régulièrement invités à voter entre deux morceaux pour déterminer la suite du récit dont l’« assistant virtuel », incarné par l’unique comédien de la pièce, aura sommairement brossé les implications dramaturgiques. Dès l’ouverture de l’opéra, après la présentation des différentes tessitures de ses interprètes vocaux par l’interprétation d’un air connu permettant de les identifier, le public sera amené à procéder à un premier vote qui déterminera en premier lieu le thème de la pièce. En choisissant par leurs votes le morceau qui suivra, les spectateurs décideront de la sorte, étape par étape, de l’évolution des personnages et du récit. Après avoir été annoncés par l’assistant virtuel à des moments précis de la représentation, ces votes s’effectueront grâce à une application que les spectateurs auront préalablement téléchargée sur leur smartphone. Dans ce dispositif assignant le public à déterminer le déroulement de l’opéra, tant dans l’évolution de ses intrigues que dans celle des rapports de ses personnages, Opéra 3.0 fait du spectateur un acteur de la pièce au même titre que ses interprètes. Toutefois, cette incidence directe du public sur la représentation, tout comme la lisibilité de celle-ci, ne s’avèrent tenables que grâce à l’encadrement du vote par l’assistant virtuel et l’interface numérique dont le calcul du résultat des suffrages ne peut précisément ni être orienté, ni être erroné. De la même manière, l’interaction du public ne fera pas entrave à la lisibilité de la pièce grâce à un dispositif scénique dépouillé, ainsi qu’une dramaturgie ayant renoncé à l’immersion des spectateurs au sein de l’espace de jeu par le maintien de l’opposition scène/salle.8 Dans sa mise en scène volontairement sobre, l’espace scénographique d’Opéra 3.0 est constitué d’à peine quelques cubes modulables et d’un simple écran en fond de scène qui affichera en grand format et en direct le résultat de chaque vote du public. Pour compléter la scénographie, cet écran diffusera également durant la représentation des dessins au graphisme de bande dessinée et en lien direct avec le vote des spectateurs, chaque dessin appuyant un des scénarii parmi les 256 préalablement imaginés sur base des combinaisons possibles des différents airs constituant le matériau musical de la pièce. En raison du nombre de ces probabilités, durant les répétitions d’Opéra 3.0, ses interprètes auront été amenés à préparer près de 7 heures de musique, ne sachant pas de manière précise quels airs ils interprèteraient durant la représentation. En conséquence, en s’appuyant sur un système de vote binaire, la représentation d’Opéra 3.0 a pu être en partie anticipée. Cependant, les 256 probabilités de scénarii ne pouvant pas être travaillées dans leurs moindres détails mais uniquement comme des canevas de situations de jeu, voire d’improvisations, chaque représentation d’Opéra 3.0 se voit muée en un évènement unique en raison de cette part d’imprévisibilité soumettant l’ensemble vocal à une pleine adaptabilité et à une réactivité accrue face au vote du public et ce, afin d’assurer le fil narratif de la pièce.

Dans cette nécessité de réactivité proche de celle du jeu vidéo qui amène progressivement le joueur à développer son attention dans le temps et l’espace,9 ce dispositif dramaturgique pousse ses chanteurs à être à même de rapidement retrouver leurs repères physiques et spatiaux, différents en fonction de chaque morceau musical déterminé par le vote du public et servant d’appui aux intentions de leur personnage. La représentation repose dès lors également sur la fiabilité technique de l’appareillage informatique. C’est la raison pour laquelle les répétitions, axées sur cette notion de réactivité, ont également permis aux interprètes de se préparer à d’éventuels problèmes techniques. Si bien que lorsqu’un bug est survenu lors d’une représentation, les chanteurs l’ont tout simplement intégré dans le récit, en faisant un bis repetita de l’ouverture de l’opéra, après que l’assistant virtuel ait resoumis le public au premier vote. Cependant, ce vote ayant débouché sur la deuxième proposition de thème, son résultat affiché sur l’écran générera immédiatement des rires dans la salle dans la perspective de la reprise de l’ouverture de l’opéra dans une forme et un récit totalement différents de celui auquel les spectateurs venaient d’assister. En réalité, lors de chaque représentation, chaque résultat de votes suscitera une réaction audible du public, se manifestant dans le rire ou l’expression d’une déception volontairement exagérée suivant son contenu. Ces résultats susciteront pareillement une réaction « hors-jeu » des interprètes vocaux, dans la perspective de l’exécution du choix du public. Mais en dépit de ses sorties du fil narratif, en regard de l’interaction des spectateurs sur les enjeux dramaturgiques de la pièce au moyen de l’interface numérique, la place des interprètes au sein du dispositif d’Opéra 3.0 peut également être assimilée à celle de l’avatar manipulé par le gamer au sein du jeu vidéo. Ce statut attribuable aux interprètes d’Opéra 3.0 se trouve renforcé par le recours au vote des spectateurs agissant sur leur parcours comme le ferait un gamer au sein d’un jeu vidéo, ainsi que par le dispositif frontal de la scène dont le cadre rappelle celui d’un écran. D’ailleurs, aucune communication ne s’établira entre la scène et la salle, hormis dans ces interventions « hors-jeu » des interprètes et ces réactions du public, qu’elles s’expriment dans l’enthousiasme, la déception ou la curiosité de voir les interprètes assurer la suite décidée au récit. Dans le dispositif d’Opéra 3.0, le regardant n’est donc pas uniquement « exposé » au récit et au parcours émotionnel de ses interprètes, il les manipule. Et c’est précisément en cela que, malgré le dispositif frontal, la sobriété de la scénographie, les interventions « hors-jeu » des chanteurs et la fragmentation musicale, la pièce comporte également une dimension immersive, précisément dans cette mise en alerte et cette attente des spectateurs face à la forme que prendra l’exécution de leur vote par les interprètes de la pièce.

En dépit de son caractère interactif interrompant régulièrement de manière sommaire le fil du récit, le dispositif d’Opéra 3.0 a en effet été pensé pour éviter toute mise en échec de la narration. Dans sa proximité avec le modèle du jeu vidéo, le dispositif d’Opéra 3.0 contraint en réalité également le spectateur à faire preuve de réactivité lors de la tenue du vote, que ce soit dans sa prise de décision que dans son exécution. Cette nécessité de réactivité est dès lors pareillement partagée par les spectateurs de la pièce, également en charge de la fluidité de la narration de l’opéra au même titre que ses interprètes. Le dispositif d’Opéra 3.0 n’en appelle donc pas à la performance de ses interprètes autorisés au « hors-jeu » durant la représentation, mais à la performativité de son public. Si bien qu’au cours de la représentation, comme en témoigneront leur affichage sur l’écran, les votes s’effectueront de plus en plus rapidement, exactement comme dans le jeu vidéo où le gamer est contraint de s’approprier la manipulation du périphérique qui lui permet d’interagir avec l’interface au point que ses actions physiques finissent par relever du réflexe.10 Même si durant la représentation les séquences consacrées au vote se dérouleront dans un temps extrêmement réduit, cette acquisition progressive de l’interface sera facilitée par la simplicité du système de vote fondé sur une formule binaire. Pour définir l’expérience du gamer au sein du jeu vidéo, Chiel Kattenbelt identifie trois composantes à l’expérience de jeu : la dimension émotionnelle des sensations, la dimension volontaire de l’action et la dimension cognitive de la réflexion (Kattenbelt 2003 : 421). Cette triade témoigne bien du fait que le jeu vidéo requiert tout autant la participation mentale, qu’émotionnelle et physique du gamer. Pareillement, le dispositif d’Opéra 3.0 n’exige pas uniquement d’assimiler le gameplay de la pièce (ici, le système de suffrage pour faire avancer le récit) mais aussi de l’incorporer, en faisant appel à un engagement haptique de la part des spectateurs, pour assurer la rapidité du vote garante de la continuité du récit. Besombes, Lech et Collard précisent également qu’au gré de la manipulation du périphérique au sein du jeu vidéo, cet engagement haptique estompe la sensation chez le gamer d’en passer par le périphérique, si bien qu’il est possible de parler d’une « incorporation de la dynamique des objets » : les doigts du joueur se prolongent dans son périphérique, au point que le joueur finit par faire corps avec l’objet, dans une extension de son schéma corporel qui s’étend jusqu’à la projection de son corps dans le corps de son avatar et une pleine identification à celui-ci (Besombes et al. 2016 : 51). Là où l’interprète d’Alma sola était dédoublée entre sa présence phénoménologique et sa présence médiatisée, dans le dispositif d’Opéra 3.0, une confusion s’opère entre le corps conscient du spectateur qui manipule l’interface et son corps ainsi projeté dans celui des interprètes. Opéra 3.0 repose dès lors sur deux engagements physiques : celui du votant et celui de l’exécutant, tous deux liés par cette identification et où l’absence de l’environnement virtuel est compensée par la présence effective des chanteurs sur scène.

Pour aller plus loin dans cette analogie entre le jeu vidéo et Opéra 3.0, en regard de sa composante simultanée et interactive associant l’ensemble de son public, le dispositif de la pièce pourrait plus précisément être assimilé aux MMORPG11 reposant soit sur l’association de joueurs contre l’environnement virtuel, soit sur l’association de joueurs contre d’autres joueurs. En effet, le dispositif d’Opéra 3.0 ouvre également ses spectateurs à une expérience collective, tout en leur permettant une expérience à la première personne. Le caractère à la fois individuel et collectif de cette expérience est perceptible dans les interactions spontanées entre les différents membres du public, s’associant dans leur vote ou réagissant collectivement lors de son affichage. Le recours au vote induisant également dans le cas présent de « gagner » contre des concurrents, l’enjeu dramaturgique de la pièce ne se repose dès lors pas exclusivement sur le défi lancé par le vote du public aux interprètes, mais aussi dans celui lancé sur le même mode ludique par une partie du public à celle dont le vote et, donc le projet narratif, serait divergent. Sur le modèle des MMORPG où la socialisation est un élément important au point de générer des communautés de joueurs dont les liens n’existent souvent qu’au travers de leurs interactions virtuelles, le dispositif interactif de votes d’Opéra 3.0 créera de la même manière, dans les associations ponctuelles entre les deux groupes de votant, ce que l’on pourrait qualifier de « communautés éphémères » au sein des spectateurs. De plus, en plaçant le spectateur en situation de jeu au même titre que les interprètes de la pièce, le recours au vote deviendra en soi un ressort dramaturgique, transformant la représentation en un grand jeu collectif où les codes opératiques seront naturellement appréhendés, tant du côté des interprètes que du public, sur le mode ludique. Cette volonté affichée de conférer une dimension amusante et légère à l’opéra sera appuyée par les dessins projetés sur l’écran et présentant chaque étape du récit décidée par les spectateurs dans un cliché, faisant ainsi de l’ensemble de la représentation un pastiche des ressorts dramatiques du genre opératique, tout en mettant en scène des interprètes aux qualités vocales indéniables. Ce climat délibérément drôle et plaisant se confirmera par la fin heureuse du récit où, porté par l’enthousiasme général, le comédien accompagnera les interprètes dans leur chant final.

L’amplification des enjeux dramaturgiques par le dispositif interactif

En raison de son sujet, de l’immersion totale de ses spectateurs et de la concentration qu’il requiert dans l’interaction de son interprète et du dispositif informatique, l’opéra Alma sola peut être associé au genre de l’opera seria dont il rappelle toutes les caractéristiques. Dépouillé de tout élément comique, l’opera seria a été initié au courant du XVIIIème siècle, en vue de préserver la nature tragique des récits mis en scène au sein du genre opératique. Originairement inspiré de la mythologie gréco-romaine ou des légendes médiévales et destiné aux sujets sérieux dont le dénouement devrait exalter la vertu, l’opera seria s’est progressivement codifié dans l’alternance de récitatifs et d’arias, distinguant l’action du fil musical. L’opera seria organisant ainsi son récit autour d’un personnage face à son destin, les arias y étaient initialement destinées à l’expression des sentiments des protagonistes aux prises avec leurs conflits intérieurs et exclusivement menées par des solistes plongés dans un climat intimiste. Pour rappel, dans Alma sola, ce n’est qu’à la suite de son déplacement vers l’univers choisi (par elle ou par le programme du dispositif informatique) que l’interprète exposera la suite de sa quête intérieure dans son chant, « dissociant » ainsi son action de son interprétation vocale. Faust(e) poursuivra cette quête de manière solitaire, au gré de son parcours, dans un espace immersif plongé dans une semi-pénombre, et dont les spectateurs ainsi que Méphistophélès seront les témoins privilégiés.

A l’inverse, la dimension vivace, plaisante et ludique d’Opéra 3.0 permet de l’associer de manière immédiate au genre de l’opera buffa.12 Créé pour attribuer un genre spécifique aux sujets comiques et légers exclus de la forme opératique originale par la création de l’opera seria, la structure de l’opera buffa s’en distingue également dans son alternance d’airs chantés et de récitatifs parlés. Cette approche du récitatif a donné à l’opera buffa une forme ouverte à un traitement libre de la langue pouvant aller jusqu’à l’usage d’un langage populaire. A l’inverse du caractère intimiste du genre qui l’a fait naître, l’opera buffa mettait en scène de nombreux personnages, dans des sujets quotidiens et un style animé proche de la commedia dell’arte dont il s’est inspiré. Soulignant le caractère dynamique du genre, ses arias s’exécutaient au sein de duos ou d’ensembles, tandis que son dénouement prenait la forme d’un final concertant comme apothéose de son récit. Dans son caractère collectif, ludique et interactif, le dispositif d’Opera 3.0 peut dès lors être associé au genre de l’opera buffa avec lequel il partage bon nombre de traits communs. Et effectivement, au sein de la création opératique récente, la dimension ludique portée par la manipulation d’interfaces numériques par le public est de plus en plus exploitée dans des pièces lyriques destinées aux enfants et où le plaisir de la représentation en passe par la manipulation d’interfaces digitales mises à leur disposition avant ou après la représentation.13

Qu’ils relèvent de l’opera seria ou de l’opera buffa, Alma sola et Opéra 3.0 ont pour point commun de s’appuyer sur une interactivité passant par une interface numérique qui amplifie formellement les mécanismes dramatiques propres aux genres seria et buffa. Cependant, dans sa tentative d’identifier les composantes de la poétique opératique et leur dynamique, Isabelle Moindrot désigne l’interactivité comme un principe inhérent à la forme opératique, indépendamment du modèle du jeu vidéo, et ayant trait à son caractère hybride. Par essence, l’opéra est une discipline intermédiale, en ce que sa forme scénique relève de la combinaison de différents médias : la musique et le texte qui en sont les référents principaux et qui, dans leur combinaison, donnent lieu à un autre média, l’opéra dans sa forme scénique. Au sein de la forme opératique, ces trois langages sont à l’origine de champs de perceptions distincts qui, de surcroît, sont également amenés à entrer en réson ance les uns avec les autres. Dans cette perspective, la dimension interactive inhérente à la forme opératique réside dès lors dans la perception du spectateur, partagée entre ces différents langages produisant différents champs de perceptions. Et dans la dynamique qui lie son référent textuel, son référent musical et son référent scénique, une interaction s’opère durant la représentation, face à laquelle l’activité perceptive du spectateur met en rapport les différents éléments proposés par ces différents langages et au point que celle-ci lui soit source de plaisir. D’autant que le spectateur « contrôle » la destination de son attention, à travers le réseau des différentes composantes proposées par les trois référents constitutifs de la représentation, de manière séparée dans l’interactivité du spectateur et de la composante isolée, mais aussi dans la convergence des trois qui sera garante de l’unité de la représentation (Moindrot 1993 : 74-75). Dans cette conception de la disposition naturelle de la forme opératique à l’interactivité, la composante numérique y est conçue comme une composante dramaturgique supplémentaire, ne relevant que de ce qu’Isabelle Moindrot nomme un « élément insolite », à savoir un élément étranger à la forme opératique dans son essence et ses référents que sont la musique, le texte et la scène ainsi que la dynamique qu’ils entretiennent dans la représentation opératique. Cependant, l’interactivité générée par l’utilisation d’une interface numérique enrichit la dimension interactive inhérente au genre opératique en élargissant ses mécanismes perceptifs qui s’appuient de manière privilégiée à la vue et l’ouïe.

La perspective corporelle des notions d’ « émotions » et de « plaisir »

Le premier point de cet article évoquait l’immersion comme un principe commun au jeu vidéo et au genre opératique. Comme nous venons de le voir, nous pouvons également considérer que l’interactivité est tout aussi propre à la forme opératique qu’au jeu vidéo, même en dehors de l’usage qui y serait fait d’un dispositif interactif numérique. Cependant, les notions d’« émotions » et de « plaisir » y sont, de part et d’autre, également fondamentales. Dans la représentation scénique, l’opéra est en effet souvent défini dans l’association de ces deux termes et cette collusion trouve sa source dans les origines tragiques de ce genre né au début du XVIIème, dans le contexte humaniste des cercles académiques florentins.14 A la suite de sa relecture de la Poétique d’Aristote redéfinissant la mimesis et son pouvoir représentatif, un de ces cercles d’intellectuels rassemblés sous le nom de Camerata fiorentina déterminera la représentation des actions humaines comme la fonction même de la musique et la purgation des passions comme sa vocation. Sous l’influence du platonisme et de l’aristotélisme, les passions y étaient conçues comme des émotions intenses issues d’une dysharmonie de l’âme. La Camerata fiorentina trouvera alors un argument à sa théorie musicale dans sa réfutation de la polyphonie, considérant son mélange des contraires comme incapable de répondre à l’exigence de représentation des sentiments humains au profit de la création de confusion dans l’âme de l’auditeur. Sur le modèle de la tragédie grecque que ces intellectuels se figuraient en partie chantée, ils définirent alors le drama per musica (ou « drame en musique ») comme le seul genre à même de rétablir toute la puissance émotive de la musique, ainsi que la pleine représentation de l’âme humaine et de ses affections. Réaffirmant sa filiation à Aristote pour qui l’animation de l’âme trouve sa matérialisation dans la voix, la Camerata fiorentina désignera la voix et sa parole comme premier outil de la représentation du drama per musica. Tandis que la rhétorique y sera confirmée comme son modèle oratoire, à la suite d’Aristote qui identifiait « plaire et émouvoir » comme son but.

Ce retour à l’interprétation aristotélicienne de la rhétorique permettra l’établissement d’une subdivision de la musique en genres distincts, dont le mode délibératif, relatif aux musiques de théâtre et qui donnera naissance à ce qui sera désormais désigné comme l’opéra. La dimension morale de la musique pourra y être rétablie dans sa pleine capacité par le biais de ses harmonies musicales, imitant chacune une des passions humaines par la représentation de son « image » et en la faisant ainsi croître dans l’âme de l’auditeur. Dans cette interprétation analogique des harmonies musicales et des passions, la passion représentée ne pourra dès lors qu’être identique à la passion ressentie. Cependant, les premiers théoriciens de l’opéra considéraient également ces passions comme pathologiques. Mais tout comme dans la tragédie où la purgation de ces passions s’effectue par les larmes, la purgation opérée dans la représentation opératique permettra leur mutation en plaisir par l’entremise de la musique. En reconnaissant la capacité de la musique de se débarrasser des passions tout en générant un plaisir, ce versant de l’école humaniste italienne entendait lui restituer de la sorte tout son pouvoir cathartique, en donnant par là-même ses fondements à l’opéra dans ce lien auquel il opère de manière intrinsèque entre « émotions » et « plaisir ». Ce qui lie si étroitement ces deux notions au sein du genre opératique trouve donc son fondement dans le projet qui lui a été attribué de représenter et de purger les passions, en muant en source de plaisir les larmes issues de cette purgation. Et au fil de l’évolution du genre opératique, ce plaisir sera mesuré à l’aune de la virtuosité de la voix, le portant à des degrés si intenses que le spectateur en portera les stigmates physiques, comme lorsqu’un chant l’aura ému jusqu’aux larmes.

En dépit de son origine antique, cette conception associant une réponse physique aux émotions musicales trouve également un écho dans le domaine des neurosciences qui propose, de surcroît, un éclairage parlant sur son mécanisme. En se basant sur des recherches neuroscientifiques récentes sur la musique et l’implication des émotions musicales sur le cerveau, l’ethnomusicologue Judith Becker avance que les émotions musicales suscitent des réponses physiques primitives dans l’incidence essentielle des neurones miroirs dans notre perception. Alors que l’implication corporelle dans l’expérience émotionnelle est admise depuis la seconde moitié du XXème siècle,15 dans sa conception classique, le rapport qui y est établi entre environnement, système nerveux et réponse physique a été supplémenté. Dans son modèle linéaire, les sens y sont perçus comme récepteurs d’informations perceptuelles (ou inputs) issues de l’environnement et traitées par le cerveau qui ordonnera au corps, dès leur réception, d’y répondre par une réaction adaptée (ou outputs moteurs).

Ce modèle se voit de plus en plus contesté au profit d’un modèle où le corps et le système nerveux opèrent en complémentarité et où la fonction neurale est autant affectée par l’input sensoriel que par ses propres outputs moteurs qui lui reviennent de manière rétroactive. Sachant que système nerveux, corps et environnement sont enchâssés successivement l’un dans l’autre, dans ce modèle rétroactif, l’environnement exerce autant qu’il subit une influence. Plus précisément, ce modèle se propose comme une boucle d’interconnections de dynamiques réciproques entre corps, système nerveux et environnement. Dans la cartographie cérébrale, le lobe frontal intervient dans la planification, la prise de décision, le raisonnement, le langage et le mouvement volontaire.16 Ses parties sous-corticales (comprenant entre autres les lobes pariétal, occipital et temporal) sont activées dans le traitement de l’émotion, en affectant le corps « à travers deux mécanismes de base : la libération de molécules chimiques dans le sang, qui agissent sur différentes parties du corps, et la diffusion de l’activation neurale vers divers centres et muscles du cerveau» (Becker 2010 : 36). Par ces mécanismes, l’expérience d’une émotion est connectée à diverses réponses physiologiques, qu’elles soient musculaires, cardiaques, respiratoires, circulatoires ou autres. Etant admis que le lobe frontal intervient dans l’écoute de la musique, Judith Becker y résume son implication comme suit :

« L’implication du lobe frontal du système cortical pendant l’écoute musicale inclut le fait de penser sur la musique, d’en reconnaître les structures, l’instrumentation, les interprètes et l’ambiance musicale, mais aussi notre propre disposition ou encore les souvenirs que nous associons à notre écoute. Les réponses de l’aire corticale frontale concernent les aspects conscients de nos expériences d’écoute, les choses auxquelles nous pensons ou dont nous parlons» (Becker 2010 : 36).

Cependant, sur base d’expériences menées de manière empirique en laboratoire, Judith Becker démontre que les émotions musicales activées dans les parties inférieures du cerveau sont influencées par le contexte, l’environnement et l’expérience d’écoute de l’auditeur, en ce que ces émotions exposent des pics quand la musique est écoutée dans le contexte qui lui est propre.17 Mais Judith Becker va plus loin en invoquant le fait que le sens du mouvement musical (à savoir la musique dans la subtilité de ses variations internes et précisément à la source des émotions qu’elle génère) est probablement perçu et ressenti par le corps au moyen des systèmes par lesquels nous percevons le mouvement, autrement dit, par notre sens de la motricité impliquant les neurones miroirs. Situés dans le cortex prémoteur localisé dans le lobe frontal, les neurones miroirs s’activent dans le cerveau d’un être humain exposé à un autre être humain agissant et ce, que l’observateur imite ou non l’action observée. En d’autres termes, par l’entremise des neurones miroirs, le cerveau reflète l’activité observée avant d’inviter le corps à l’acter. On suppose d’ailleurs que les neurones miroirs sont le siège de l’empathie chez l’être humain. Mais pour ce qui concerne plus précisément la question des émotions musicales, lorsque nous voyons quelqu’un jouer d’un instrument, sous l’effet des neurones miroirs, notre cerveau se met lui aussi à « jouer » de cet instrument. Cependant, le soutien de la vue n’est pas l’élément moteur de cette réaction, puisqu’il a également été démontré que les neurones miroirs s’activent de la même manière à l’unique écoute du son. Tout ceci suggère qu’il y aurait en effet une dimension physiologique dans l’émotion que nous ressentons à l’écoute de la musique, même si cette musique n’est pas accompagnée de la vue de ses interprètes en train de la jouer. Par l’activation des neurones miroirs, dès la simple écoute du son, le système neural stimule la planification d’une réponse physique réactive. A l’écoute d’une musique, notre corps prépare une « réponse motrice appropriée » (Becker 2010 : 44), indépendamment du fait que cette réponse physique soit actée ou non.

En formalisant les thèses philosophiques de l’Antiquité sur base de recherches neuroscientifiques, la démonstration de Judith Becker permet de mieux comprendre le chemin des émotions dans le cerveau (au sens strict ou dans leur association avec la musique) ainsi que le lien qu’elles entretiennent au corps et, plus loin, à l’action. De la même manière, dans ses recherches sur la pratique vidéoludique, Bernard Perron reconnaît que la majorité des jeux vidéo touchent à nos émotions les plus simples mais que le plaisir est l’expérience propre au jeu, quel que soit le résultat des actions effectuées par le gamer dans le jeu, en ce que ce sont ces émotions qui en appellent de la manière la plus immédiate à l’action (Perron 2016 : 347). Cependant, Bernard Perron identifie également trois types d’émotions dans la pratique vidéoludique : les émotions fictionnelles, les émotions artistiques et les émotions vidéoludiques. Les premières sont des émotions empathiques portées par la fiction du jeu et le récit qui s’y déroule. Les personnages portent des caractéristiques humaines dans leurs objectifs qui sont similaires à ceux que pourrait avoir le gamer dans sa réalité, ce qui le pousse à éprouver des émotions réelles en lieu et place de son avatar. Les émotions artistiques sont issues des particularités formelles du jeu et s’assimilent à un plaisir esthétique. Elles replacent le jeu comme le résultat d’une production artistique que le gamer peut apprécier dans sa structure narrative et ses dispositifs techniques. Quant aux émotions vidéoludiques, elles sont propres au jeu vidéo et touchent à son gameplay qui pourrait se résumer par les actions du gamer dans le jeu et les réactions du monde virtuel. Mais selon Bernard Perron, ce qui singularise précisément la pratique vidéoludique en regard d’autres productions artistiques s’appuyant sur la représentation est précisément sa mise à la disposition du gamer d’un répertoire d’actions conférant au plaisir du jeu une dimension corporelle. Ce plaisir du jeu vidéo est dès lors indissociable de la découverte et de l’appropriation progressive de son gameplay, autrement dit de sa prise en main.18 La notion d’action est donc au cœur de l’expérience vidéoludique et des émotions qu’elle procure, dont la première est le plaisir du jeu. Tout comme dans la représentation opératique, dans le jeu vidéo, les notions de « plaisir » et « émotion » sont donc étroitement liées, mais leur collusion est actée dans la réponse concrète de l’action réalisée par le corps du gamer.

Dès lors, même si le principe interactif peut être considéré comme inhérent à la forme opératique dans la mobilité perceptuelle que la dimension pluridisciplinaire du genre induit chez le spectateur, son passage par une interface numérique ouvre la représentation opératique à d’autres perspectives sur le plan dramaturgique. En plaçant une interface numérique au sein de leur dispositif interactif, Alma sola et Opéra 3.0 attribuent une nouvelle signification au binôme « émotions et plaisir » propre au genre opératique, en invitant à ce que la réponse corporelle aux émotions trouve une réalisation concrète dans l’action. En ouvrant ainsi l’interprète d’une part et les spectateurs d’autre part à s’appuyer sur leur propre corporalité, le passage par une interface numérique comme soutien au dispositif interactif des deux pièces élargit leurs champs de perceptions. Dans leur emprunt au jeu vidéo, tant dans le modèle d’interactivité proposé par Alma Sola que dans celui proposé par Opéra 3.0, le sujet est amené à développer des compétences pour interagir avec l’interface, que ce soit dans la réactivité de la chanteuse aux propositions du programme informatique que dans celle des spectateurs pour procéder rapidement au vote.

Qu’elles concernent l’interprète ou les spectateurs, tout comme dans le jeu vidéo, la faisabilité de la représentation reposant sur le maintien de son immersion en passe, dans les deux cas présentés, par un engagement du corps garant de l’opérationnalité de la représentation et de la continuité du récit. Dans cette attention essentielle conférée au corps, la notion de plaisir indissociable du genre opératique s’en trouve déplacée. Dépassant le champ de l’interprétation vocale d’une part et de l’organisation perceptuelle d’autre part, le plaisir en passe par l’affinement de l’interaction avec l’interface numérique qui amène l’interprète et le public à créer le récit dans le présent de la représentation, en lui conférant par là même une dimension performative. Cette immersion totale de l’interprète au sein de la représentation d’Alma sola était bien ce qui était visé dans les théories scéniques développées par Richard Wagner, dans leur intention de donner un nouveau souffle à la représentation opératique. Cependant, la dimension performative de la pièce en distingue son approche de l’immersion de celle qui aura déterminé la forme opératique durant plus d’un siècle en reléguant l’interaction avec le regardant à la périphérie de la représentation. Grâce à son dispositif numérique, Alma sola propose de manière très concrète une expérience totale, touchant tant le spectateur que l’interprète, en ce qu’ils sont l’un et l’autre sollicités sur le plan sensoriel, au-delà de la vue et de l’ouïe, par leur immersion au sein d’un même et unique espace/temps. De la même manière, dans son recours à une interface numérique conférant une dimension collective à la représentation, le dispositif d’Opéra 3.0 répond également au projet wagnérien de voir le spectateur pleinement engagé dans la représentation au même titre que ses interprètes et de la voir renouer avec sa fonction sociale originaire. Enrichi d’une dimension pédagogique portée par la découverte sur le mode ludique du genre opératique dans ses ressorts dramatiques et ses airs les plus connus, Opéra 3.0 contribue ainsi à défaire l’opéra de son étiquette de genre élitiste, comme l’ambitionnait le projet de réforme initié dans la seconde moitié du XXème siècle. Et pour finir, en dépit du caractère fragmentaire de leur matériau musical qui aurait pu laisser penser à l’infaisabilité de quelque forme d’immersion, ces deux pièces témoignent de la conciliation possible entre les principes immersifs et interactifs au sein de la forme opératique.

Bibliographie

  • Becker, Judith. 2010. L’action-dans-le monde. Emotions musicales, mouvement musical et neurones miroirs. Cahiers d’ethnomusicologie 23 : 29-52.
  • Besombes, Nicolas, Antoine Lech et Luc Collard. 2016. Corps et motricité dans la pratique du jeu vidéo. Corps 14 : 49-57.
  • Bonardi, Alain. 2003. « Geste lyrique versus geste interactif. Exemple de l’opéra interactif Alma Sola ». Journées d’Informatique Musicale. Montbéliard, France. Online : https://hal.science/hal-02994147v1/file/bonardi.pdf.
  • Bonardi, Alain, Francis Rousseaux. 2000. Creating Graphical Metaphors of Music with the Alma Environement, Online : https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.9356&rep=rep1&type=pdf
  • Choinière, Isabelle. 2013. For a methodology of transformation: at the crossing of the somatic and the technology, to become other…. Intellect Journals 5 (1) : 95-112.
  • Kattenbelt, Chiel, 2003. Computer Games and the Complexity of Experience. Actes de la conférence Digital Games Research Conference 2003, Université d’Utrecht, Pays-Bas : 419-425.
  • Lacoue-Labarthe, Philippe. 1991. Musica ficta (Figures de Wagner), Christian Bourgois éditeur, France.
  • Leconte, Gauvain. 2012. Virtualité et interactivité du jeu vidéo. Espaces et temps des jeux vidéo, sous la direction de Hovig Ter Minassian, Samuel Rufat et Samuel Coavoux, Questions théoriques : 1-12.
  • Maheux, Frédérick et Andréanne Morin-Simard. 2014. Les jeux vidéo au cœur de l’art, de la culture et de la société. Objets et savoirs 1. Online : https://papyrus.bib.umontreal.ca/xmlui/bitstream/handle/1866/13366/2014_Les_jeux_video_au_coeur_de_lart_de.pdf?sequence=1&isAllowed=y
  • Merlin, Christian. 2019. Pierre Boulez, éditions Fayard, Paris.
  • Moindrot, Isabelle, 1993. La représentation d’opéra. Poétique et dramaturgie, Puf, Paris.
  • Nelson, Robin, Bruce Barton, Russel Fewster, Kurt Vanhoutte et Nelle Wynants. 2010. Node: Modes of experience. Mapping intermediality in performance, ouvrage collectif édité par Sarah Bay-Cheng, Chiel Kattenbelt, Andy Lavender et Robin Nelson, Amsterdam University Press, Amsterdam : 45-47.
  • Perron, Bernard, 2016. Jeu vidéo et émotions, Université de Montréal.
  • Sohier, Rém. 2016. L’expérience immersive du jeu vidéo. Implications philosophiques, 15 pages. Online : http://www.implications-philosophiques.org/lexperience-emersive-du-jeu-video/
  • Tina, Yvan. 2018. Illimiter les langages. Théâtralité et vie artificielle. Revista Cena (Revue scène) 25 : 56-66.
  • Wagner, Richard. 1913. L’œuvre d’art de l’avenir. Œuvres en prose de Richard Wagner vol III. Traduit de l’allemand par J.-G. Prod’homme. C. Delagrave, Paris : 59-254.
  • Wagner, Richard. 1913. Opéra et drame. Œuvres en prose de Richard Wagner vol IV. Traduit de l’allemand par J.-G. Prod’homme. C. Delagrave, Paris : 41-245.

Sites web

Notes

  • 1 « Il est simple de le prouver empiriquement : le théâtre, les exercices militaires, les jeux d’enfants, les jeux de rôle plus ou moins complexes, font intervenir une dose de virtualité. » (Leconte 2012 : 3); «  Comme le rappellent les directeurs du Traité de la réalité virtuelle, l’expression virtual reality a été apportée dans les années 1980 par Jaron Lanier. L’expression a été traduite directement sans accorder une grande importance aux subtilités de signification du mot virtual, qui « comme le rappelle Papin, en anglais virtual signifie « de fait », « pratiquement ». Ainsi Flush, Berthoz et Vercher suggèrent qu’une traduction juste aurait dû être « tenant lieu de réalité ou de réalité vicariante ou mieux encore d’environnement vicariant. Le mot vicariant est utilisé en psychologie et en physiologie, où il désigne respectivement un processus, une fonction ou un organe qui se supplée à un autre. » (Sohier 2016 : 4-5).
  • 2 Ces prérogatives sont celles que le philosophe Arthur Schopenhauer confèrera à la musique sur base de son caractère non-imitatif, dans Le monde comme volonté et comme représentation paru en 1819 et dont l’influence sur le concept de la mimesis commencera à se faire sentir plus de trente ans plus tard.
  • 3 Dans son essai Musica ficta, Philippe Lacoue-Labarthe reprend et étaye cette critique en rappelant les incriminations que Nietzsche et, après cela, Heidegger attribuaient à la musique continue en rappelant comme suit les propos de ce dernier : « Mais c’était aussi, du même mouvement, sa « théâtralisation » que renforce, en diluant la scène elle-même, la musique, interdisant par là toute présentation, tout Darstellung véritable, et ruinant à l’avance toute possibilité d’apparition d’une authentique Gestalt (forme). Heidegger citait du reste un passage de L’œuvre d’art de l’avenir, où il est dit en effet que « l’orchestre dissout en quelque sorte le plateau inerte, inanimé de la scène réelle en une étendue liquéfiée, sans résistance, réceptive, impressionnable, éthérée, et dont l’incommensurable fond est la mer du sentiment même. » » (Lacoue-Labarthe 1991 : 194-195)
  • 4 Nouvellement engagé pour diriger Parsifal au Festival de Bayreuth, le compositeur et chef d’orchestre Pierre Boulez exprimera, lors d’une interview donnée le 25 septembre 1967 au magazine allemand Der Spiegel, la nécessité d’une modernisation radicale du genre lyrique qui dépasse la simple programmation de compositions récentes trop souvent inspirées des pièces du siècle précédent, tout en remettant en question les maisons d’opéra comme des lieux à même d’initier de nouvelles formes du genre lyrique : « Les nouvelles maisons d’opéra allemandes ont certes une apparence très moderne, de l’extérieur ; à l’intérieur, elles sont restées très démodées. Dans un théâtre où l’on joue principalement du répertoire, ce n’est qu’avec les plus grandes difficultés que l’on peut donner des opéras contemporains, ce n’est pas crédible. La solution la plus chère serait de faire sauter les maisons d’opéra. Mais ne croyez-vous pas que ce serait aussi la plus élégante ? », Propos repris par Merlin 019 : 261
  • 5 Alain Bonardi est compositeur et chercheur en informatique musicale. Dans le cadre de ses recherches, il est également Maître de conférences à l’Université Paris 8 et chercheur associé à l’IRCAM.
  • 6 Russel Fewster souligne combien le terme de « spectateur » devient inadéquat pour les formes performatives en ce que, dans leur dispositif immersif, elles génèrent un engagement viscéral qui ne se limite pas à la vue ou l’ouïe. Elle définit également comme suit le terme « présence », qui permet également de situer celui de « coprésence » qu’il induit nécessairement dans la forme performative en regard de la place du spectateur au sein du dispositif immersif : « In the simplest sense, presence within live performance describes the temporal and the spatial proximity between the performer and audience, a condition also defined as co-presence. » (Fewester 2018 : 46)
  • 7 Nicolas Besombes, Antoine Lech et Luc Collard désignent les jeux dit « moteurs » ceux dont les consoles sont munies du logiciel Kinect (contraction des mots « kinetic » et « connection ») ou tout logiciel similaire. Ces consoles sont capables de réagir aux mouvements du joueur dans l’espace et servent de support à des jeux comme, par exemple, Super Smash Bros. Brawl pour console Wii (Nintendo), Just dance pour console Xbox 360 (Microsoft) ou Datura pour console Play Station 3 (Sony) qui s’appuient tous sur le système Kinect.

d

clustered | unclustered

Into the Wild. Imagineering the Far West

Karel Vanhaesebrouck

For those who haven’t finished Red Dead Redemption 2: this article contains spoilers!

I spent hours on my horse. I saw beautiful landscapes: snow-capped mountains, deserts, swamps, vast plains. I saw vaudeville shows in Saint Denis, went to a travelling magic lantern show. I cleaned my rifle and killed a grizzly bear. I drank whiskey, lots of whiskey, in saloons and bars until everything around me started spinning. I danced to the music of a bluegrass band and got drunk again. I bumped into a meeting of the Ku Klux Klan, robbed trains and blew up a bridge. And I helped the Wapiti Indians in their revolution.

My name is Arthur Morgan, and I am an outlaw. And so I belong to a dying race. The world around me is changing at breakneck speed, and my gang leader, Dutch Vanderlinde, is stubbornly trying to ignore this new reality. Is it obstinacy, nostalgia, or death wish? I am white, have a rough beard, and a set of sturdy fists. And a painful past. I’m a rough diamond.

Arthur Morgan is the main character in Red Dead Redemption 2, an epic video game from Rock Star Entertainment. For more than 80 hours, I was Arthur Morgan. Halfway through the game, I started coughing. Riding too much in the rain, wearing a soaked leather jacket? Lived too hard? At the doctor’s in Saint Denis, I get my verdict: tuberculosis. As those words fall, so does resignation: not just my life, but also my world is coming to an end. When Arthur, my other self, dies, I feel slightly uprooted.

Red Dead Redemption 2 is a layered reading of the underlying mythological structures of North-American historiography. A mythology, says Roland Barthes in Mythologies, is an underlying semiotic structure, which organises and structures our perception of reality. Through perpetual repetition of those structures, that perception becomes ‘naturalised’: it acquires a natural and therefore evident status. The Far West, with its outlaws, its immensity, its heroism, its loneliness, is thus a mythological structure. Red Dead Redemption 2 very explicitly exploits those same mythologies, in a complex and ramified way.

Red Dead Redemption 2 is the prequel to Red Dead Redemption 1 (2010). In that first game, you play John Marston, a fellow gang member of Morgan’s. Both are archetypal tormented white heroes. In RDR1, Marston is happily together with wife and child in his farmhouse (on that idyl RDR2 also ends). And as is often the case with idyls, the past comes haunting. Wife and child are kidnapped by the Bureau of Investigation (BOI). This shadowy government agency wants to give Marston amnesty for his gang past if he rounds up or kills the remaining gang members. In RDR2, you return to that gang past as Arthur Morgan, where we also find Marston as Arthur’s friend. RDR2 ends on Marston’s ranch, after Arthur’s death and the demise of the gang. In the final scene, agent Edgar Ross, appointed director of the BOI, observes Marston’s ranch and so we have arrived at the start of RDR1.

Performing history

Red Dead Redemption is a so-called sandbox game, allowing you to explore a world with a large degree of freedom. You can play the game in one of two ways. You can take on the role of Arthur Morgan and then follow the narrative scenario devised by the developers. Or you can play the “free roam”. In that case, you create your own avatar and navigate freely through the same environment, along with other players, in real time. In both cases, exploring the environment is a crucial part of the game experience. You roam the immense plains and mountains in search of new worlds and new experiences. Even in “narrative mode”, space takes precedence over narrative (Krichane, 2018: 350, 352).

Fig. 1: Assassin’s Creed Unity © Ubisoft

A lot of video games exploit history as a narrative reservoir. Very often, studios hire historians for the purpose of historical accuracy. The best-known example is the Assassin’s Creed series, which is, for example, set in the French Revolution (Unity) or the Industrial Revolution in London (Syndicate). In The Oregon Trail, you step into the shoes of nineteenth-century pioneers. Most of these games use a specific historical context as a setting, but barely integrate that same context into the gameplay. Red Dead Redemption goes a lot further, integrally merging historical context, content and gameplay. Indeed, the historical exploration of the American mainland is the central game element. At the same time, that historical experience also generates the choices the player has to make.

Red Dead Redemption 2 (henceforth RDR2) is set at a specific time, namely the year 1899. The game mixes a precise historical framework with fictional elements. This porosity between fiction and historical reality is perfectly in line with the historiography of the United States, which in turn is based on a founding myth that was repeatedly reproduced throughout the 20th century. Not only does this mythological structure permeate the wider cultural production to this day, it also underpins the geopolitical position of the United States. Throughout its history, an important part of Northern American cultural production celebrates the myth of white man exploring and subsequently conquering the continent from East to West, at the detriment of the native population, which, from the very start of the Frontiers’ presence, was systematically invisibilized, to keep the landscape empty and ‘wide open’. Hence, Red Dead Redemption 2 is underlyingly structured by the same dramaturgy of exploration and exploitation: the historical reality of the late nineteenth century becomes a kind of jungle to be explored, conquered and tamed, and then financially exploited.

Fig. 2: the map of Red Dead Redemption 2 © Rockstar Games

As Arthur Morgan, you navigate through five fictional American states. Each of those provinces represents a version of the mythical American universe. Central to RDR2’s fictional map is New Hannover, which includes the mining town of Annesburg and Valentine, where mainly cattle are traded.

Fig. 3: Ambarino, Red Dead Redemption 2 © Rockstar Games

In the North lies Ambarino, land of mountains and grizzlies, with the “Wapiti Indian Reservation” all the way north. In RDR2, too, native Americans are pushed to the geographical periphery of the colonised mainland. West is West Elizabeth, with forests, vast plains (the Great plains) and the city of Blackwater. New Austin is the southernmost state, consisting mainly of inhospitable desert and separated from Mexico by the San Luis River.

Fig. 4: Lemoyne, Red Dead Redemption 2 © Rockstar Games
Fig. 5: Saint Denis, Red Dead Redemption 2 © Rockstar Games

On the eastern side of the fictional map is the province of Lemoyne, land of bayous, plantations and moonshiners. That area is based on the southern state of Louisiana. There you will find, among other things, the city of Saint Denis, which, like New Orleans, is a former French colony (New Orleans was founded in 1718 as a French trading post, then fell into Spanish hands and was sold to Napoleon in 1803) (Gitlin, 2010). Lemoyne, especially the region around Rhodes, is, like Louisiana, the historic backyard of slavery.

As Arthur Morgan you end up in 1899, after the American Civil War – that’s what the game’s storyline tells you. But actually, the game’s world is more like that of the 1870s aka the Reconstruction Era (1865-1870). The beginning of that period, just after the Civil War, marks the end of the confederation of the southern states and also the abolition of slavery. However, slavery is factually replaced by structural segregation. The Jim Crow Laws, which regulate that segregation, are voted in 1880 and will be in force until 1960. The Reconstruction Era is characterised by three main dynamics that often oppose each other: the desire for reconciliation after the Civil Wars (pacification), an emancipatory dynamic that seeks constitutional equality for all citizens of the United States (with voting rights for the so-called ‘freedman’, African-American citizens freed from slavery), but also the pervasiveness of white-supremacist ideology that seeks to protect white dominance in the South. To that end, the KKK will be founded in 1865 in Pulaski, Tennessee. RDR2 certainly does not shove that history under the carpet: it comes up several times in Arthur’s encounters, for instance when a black fellow gang member explains to him the concrete impact of racism on his life and well-being. And Saint Denis is in fact a segregated city, with socially and ethnically segregated neighbourhoods. However, the makers of RDR2 do not pursue that historical reality, choosing an exclusively white perspective on that same history: they seem to hesitate between not showing and explicitly showing. That white perspective leads, for instance, to a stereotyping of the native Americans who appear in the game: RDR2 reduces the wide variety of tribes, customs, worldviews to one stereotypical variant. In 1899, the year in which the game claims to be set, white settlers have largely wiped out the continent’s original inhabitants, and their former habitat has become a resource, for timber and coal. After all, the landscape turned out not to be empty.

The atmosphere of RDR2 is very similar to the Reconstruction Era, but also contains quite a few elements of what is commonly referred to as the Gilded Age (1870-1900): a period of industrialisation and economic prosperity, especially in the North and West, thanks in part to the development of the railway network. In addition, the basic scenario also seems to refer to elements from the Progressive Era (1890-1920), including Roosevelt’s presidency (1901-1909): again, industrialisation, immigration, but also corruption, with the old, rich families trying to protect themselves from reform. The acceleration of industrialisation also marks the definitive end of the survival ideology of the previous period, in which social life was organised in small communities and the outlaw could freely navigate between them.

RDR2 is thus in no way a historically accurate game, nor does it claim to be (unlike, say, the Assassin’s Creed series). In this case it is a matter of historical authenticity rather than of historical exactness (where the representation is based on a historical reality as documented in sources): the representation is based on a shared collective and mythical memory of that same past. A game like RDR2 exploits shared perceptions of what the past has been (and what it has not been) and draws on the different ways in which that past takes shape in a community’s cultural memory (Donald & Reid, 2020).

In RDR2, a number of historical topoi are given a central role. These include the omnipresence of nature, in all its inhospitality, but equally, the steadily advancing industrialisation. With Arthur Morgan, you step into the shoes of one of the ultimate North- American archetypes: the outlaw. In Americana, Joost Zwagerman writes: “The outlaw is at the heart of American culture. His self-appointed rebellion captures the imagination of a mass audience, which marvels at his wild and often self-destructive lifestyle” (Zwagerman, 2013: 43). The outlaw is passionately searching for ultimate freedom and is willing to renounce any form of bourgeois happiness (family, security, peace) to do so. And that is Arthur Morgan all over again: on the run, for his past, for reality (in which there is less and less room for freebooters like him), but above all for himself.

Fig. 6: Ku Klux Klan, Red Dead Redemption 2 © Rockstar Games

In the land of RDR2, there are moonshiners, saloons (but no juke joints!), plantation farms, there is racism and segregation. In one mission, for example, you run into Norris Forsyth, who hands out racist pamphlets entitled Eugenics for beginners. In the streets he shouts, “I’m trying to save the white race from the horrors of equality”, “I’m not a hater, I’m a racist. And I want you to be the same”. At the same time, RDR2 has often been criticised for its lack of narrative diversity (Monterose, 2020), and non-white players complain about the endemic racism in the online environment (Hernandez, 2019). Indeed, the perspective on history is that of the white explorer. The narrative backbone is built on the ideology of the Protestant pioneer, and that ideology also structures the gameplay: whoever is best able to exploit the environment and the others has the best chance of survival. In RDR2, in other words, you are invited or tempted to interiorise the logic of early capitalism, focused on expansion and exploitation.

RDR2 brings together different perspectives on the mythological history of the Wild West, exploiting the shared cultural memory that was partly shaped by Western movies. Changes in the game universe result from ideological, economic and social changes introduced in the course of the game (new form of trade, infrastructure works, railway construction, deforestation). At the same time, the number of perspectives on that same reality is limited: one experiences history through a white, heterosexual male’s point of view, also as a female, non-white or non-heterosexual player (see also Derfoufi, 2021). In her essay published in the magazine Immersion, Elisa Sanchez aptly describes that partial perspective (Sanchez, 2020: 81).

Deux cent ans après les premières peintures de l’Hudson River School, l’univers de RDR2, bien que fictive, reste une nation où les femmes ne sont ni autorisées à voter ni à être le personnage principal, où le racisme est profondément ancré et où les autochtones, enfermés dans des réserves, sont réduits à un arc narratif secondaire, dont l’objectif est moins de raconter leur histoire que de permettre au personnage principal blanc de se racheter, à ses yeux aux moins. (Sanchez, 2020: 78)

From cultural literacy to environmental literacy

However, RDR2 is also an extremely multi-layered game, not only drawing from North-American history, but above all incorporating and exploiting the cultural ramifications around that history. In their now classic study Remediation. Understanding New Media, Jay David Bolter and Richard Grusin describe how each new medium ‘remedies’ old media. In other words, new media do not make the ‘old’ ones disappear, but integrate them into their own mode of representation: “the representation of one media in the other” (Bolter & Grusin, 1999: 45), is how Bolter & Grusin describe it. For example, the early inema d’art remediates the theatre, the first television shows do the same with the vaudeville theatre, Wikipedia incorporates the organisational principle of the encyclopaedia, the computer is a remediated version of the typewriter, and so on. Remediation can also occur in the opposite direction, with the ‘old’ media incorporating features of the ‘new media’: CNN incorporates a homepage with all its text bands.

Remediation, Bolter & Grusin argue, can articulate itself in two ways. A first form is hypermediality: the viewer is aware of the presence of the medium and is invited to reflect on the ways in which such a medium can evoke a reality. Hypermediality (hypermediacy) makes the medium ‘self-aware’, as it were, and thus makes its own specificity visible or legible. A split screen in a video game, a medieval illuminated manuscript, the paintings of Samuel Hoogstraten, all show themselves and invite the viewer to draw pleasure and wonder from the act of remediation itself.

Fig. 7: Samuel Van Hoogstraten, Letter Board London January 20th 1664.

The reverse mechanism Bolter and Grusin describe as “transparent immediacy”: the medium itself is invisible, because, as a viewer, you are pulled into the represented reality, as it were – the viewer is in the same space as the object he sees. When you stand in front of Pieter Jansz. Saenredam’s Interior of Saint Bavo, Haarlem (1631), the painter places you inside the church. Equally, first-person shooters or 3D cinema want you to experience the representation from the inside. In many video games, you get both mechanisms together: they aim for an immersive experience and at the same time, as a player, you have to monitor and adjust the parameters of that experience yourself via the interface (by managing your weapon arsenal or life bar, for instance).

Fig. 8: Pieter Jansz. Saenredam, Interior of Saint Bavo, Haarlem, 1631.

In their study, Bolter & Grusin cite the video game Myst as an example. A book gives the player access to a mysterious island. There, you have to solve puzzles that can then take you to four other worlds. There, little by little, you gain insight into the background story. Myst is a complex remediation of different cultural practices, both authors explain. The game’s interface is a book and you need to ‘read’ that book to access the game world. But Myst is also a remediation of film (you navigate through a film noir, as it were, and the game also contains filmed intermezzi with actors) and the diaporama, where two images merge. Myst, like many other video games, permanently oscillates between hypermediacy and transparent immediacy: “its sense of immediacy comes only through an awareness of mediation” (Bolter & Grusin, 1999: 26). The gameplay teaches you to better understand and handle the representation system itself – you learn to read better, as it were. It is precisely this heightened self-awareness that enhances the immersive enjoyment.

RDR2 employs exactly the same dual mechanism. Precisely because you learn to ‘read’ the environment and your presence in it better (aided by the use of the map, your own life bar and that of your horse, the compass, your weapons, etc.), the experience becomes more immersive. To enable this growing ‘environmental literacy’, you, as the viewer, mobilise your cultural literacy. RDR2 actively uses different media in an extremely layered way and incorporates them into the gameplay itself. The greater your literacy (though this is not necessarily a conscious process), the more efficient the immersive experience. The Wild West universe is a very consistent system of meaning in which both humans and nature have a specific place. For instance, RDR2 consistently makes use of the panoramic view, which allows one to view the landscape as an ‘explorer’. The game also (but mostly indirectly) references elements from literature, from Karl May’s Winnetou books to William Faulkner’s As I Lay Dying. But above all, RDR2 simultaneously remedies three mediums: painting, cinema and music.

Remediating the Far West

Fig. 9: Arbert Bierstadt, Among the Sierra Nevada, California. 1868.

Painters like Albert Bierstadt and Thomas Moran depict vast landscapes from the Far West: forests, rocks, waterfalls, impressive vistas – nature to be discovered (and conquered), untouched by Western modernity. “C’est de la nature crue, sauvage, en blocs colorés disposés par la main de Dieu, paysages intouchés depuis la creation”, writes Arnaud de la Croix in his book on the comic book series Blueberry, which subscribes to this same ‘wild’ imagination (de la Croix, 2007: 8). Bierstadt’s and Moran’s paintings are reminiscent of the romantic landscape painter Caspar David Friedrich. In each of these depictions, nature is sublime: awe-inspiringly grand, a source of fear and wonder, for a grandeur beyond comprehension, for infinity, for vastness. The European moves to the Alps to behold the sublime, the American pioneer moves west (“Go West!”, Senator Thomas Benton exhorted in 1820) to survive in sublime nature.

If people can be seen in Friedrich’s landscapes at all, they are contemplating the landscape (as in The Wanderer above the Sea in Fog, 1818). In American paintings, the human being is impossibly small, disappearing into the landscape: “Chez les premiers peintres américains de l’Ouest, les personnages humains ne sont pas spectateurs, mais, perdus dans le paysage, ils en donnent seulement la mesure.” (de la Croix, 2007: 9) The original inhabitants of those landscapes are also absent: the landscapes are empty and invite to be explored and then colonised, a promised land, within reach. Those empty landscapes are thoroughly ideological: they visually support the manifest destiny doctrine. According to that Calvinist-puritan ideology, developed by the journalist John O’Sullivan in the 1840s, the United States have the God-given task of extending their own godly civilisation to the West (see also Frederick Jackson Turner’s Frontier Theory, 1893) and, from the 20th century onwards, all over the world. O’Sullivan’s ideology thus legitimised the historical and contemporary expansionism of the United States.

A second generation of artists, including painters Charles M. Russel, Frederic S. Remington and photographer Edward S. Curtis, draw a different picture of that same landscape. They depict a world that is disappearing, due to the modernisation of that same landscape (cities, railways), « un monde où les comptes se règlent à coup de pistolet dans la rue, aux portes du saloon, à coups de carabine » (de la Croix, 2007: 12). The paradise landscape has become a different mythical landscape, of ghost towns, outlaws and renegades, of gold rush, rotten teeth, squeaky windmills, and cruel natives. And that specific mythological universe will be perpetuated relentlessly, primarily by the western. RDR2 lets you navigate that mythical landscape, like a nineteenth-century flâneur, but on horseback. The exploration of that landscape fits into a long tradition, leading us from the nineteenth century to Easy Rider and Thelma & Louise. The American space thus becomes a symbol of the journey itself (see also Jean Baudrillard’s Amérique (1986)). Perhaps therein lies the core of the success of sandbox games like RDR2: the more we think we know and understand the world, the greater our desire for digital exploration. The explorative dramaturgy of the sandbox game becomes thus the perfect equivalent of this journey through American mythological history. And this journey is permanently reiterated through cinematic representation. We know the West, because we have seen it, not in real life (Sergio Leone’s movies were mostly shot in Spain, not in the States) but through the eye of the camera. Indeed, the camera, notes Alain Boillat, is a crucial element of spatial exploration, not only in the tradition of western movies but also in RDR2. It allows the player to explore the space and create an illusion of unlimitedness. That immensity of diegetic space, the Far West, functions as the perfect allegory for digital space, equally immeasurable (Boillat, 2018: 87).

Fig. 10: Clint Eastwood in A Fistful of Dollars, 1964.

In RDR2, you literally navigate the mythical landscapes of the Western films, only to also meet all the archetypes – men and women – from that cinematic universe. Arthur Morgan literally looks like Clint Eastwood in A Fistful of Dollars (1964), among others. (For a few dollars, you can even buy a digital poncho, the same one Eastwood wears in the film and on the poster). You imagine yourself in Butch Cassidy and the Sundance Kid (1969), but also Quentin Tarantino’s The Hateful Eight (2015), a film that in its turn refers directly to the spaghetti western, passes by. The Western got institutionalised between 1910 and 1920 and became the main film genre in Hollywood in the 1930s. In the 1960s, the Western became less and less popular because it was increasingly out of tune with the demands of the time and of the political struggles of the time. Nevertheless, the Western has continued to have a dormant presence, even in Europe, thanks in part to the comic strip, for example Blueberry by Jean-Michel Charlier and Jean Giraud (Arthur Morgan, like Blueberry, is a fainthearted brute, behind whose violence there is still a moral compass).

Arthur Morgan, with his poker face or deadpan, is the epitome of the nineteenth-century interpretation of coolness, later refined by Eastwood, as well as by James Dean in Rebel Without a Cause (1955). All navigate their surroundings without that same environment seeming to have any impact on them. In his immobility, the hero of the spaghetti western is the ideal model for Morgan:

Cette sorte de “présence-absence” depourvue de toute consistence psychologique (et à priori de sens moral) se prête idéalement à une transposition en un avatar vidéoludique dont les propriétés sont, mutatis mutandis, similaires à celle du protagonist filmique, dans la mesure où tous deux se définissent à travers leurs seules actions. (Boillat, 2018: 67)

However, when Arthur Morgan is told that he has tuberculosis, that coolness seems to turn into compassion, although he will also try to hide it most of the time. The journey through the vast space of the Far West thus also becomes an inner journey, “un voyage au centre de soi-même autant que dans ces vastes paysages” (François, 2021: 29). Morgan is a melancholic, coming from a world on its last legs. He is the externalisation of the white man’s melancholy, no longer master of himself and his surroundings. In this sense, RDR2 is an extremely contemporary game.

Fig. 11: Dancing the bluegrass in Red Dead Redemption 2.

Finally, RDR2 is also a remediation of a musical universe: it evokes the world of Stagger Lee, for example, and of other obscure heroes sung in songs of pain, murder and grief, brought together by Harry Smith on the Anthology of American folk music (1952). That universe is colloquially described as “old, weird America” and was brought to life by Bob Dylan on his Basement Tapes (1975) – a world of spongers, windbags, comical-tragical murderers, untrustworthy ladies of light morals. Greil Marcus aptly describes that America as the “invisible republic”, a universe of weirdos in which survival is the measure of life and which imperceptibly (invisibly) formed the foundations for a national identity based on the white ideology of the loner, trigger-happy and insecure.

Imagineering, or the ideology of explorative capitalism

The “invisible republic” is, Greil Marcus writes, not so much a place as a mythical time, “the time when America was wide open”. The American founding myth of the white pioneer is based on the idea of an eternal beginning.

Future is open, when one can believe that the country remains unfinished, even unmade, when the future is foreclosed, the past is dead. How the future depends on the past is more mysterious. (Marcus, 1997: 50)

That eternal beginning, of ever new opportunities, is the basis of exploratory capitalism, which structures not only the WASP reading of American history, but also the gameplay of RDR2. The living environment becomes a potential resource waiting to be discovered and then explored, including the original inhabitants. And so, the exploratory capitalism of the pioneers also becomes effectively expansive. The pioneer thus becomes an entrepreneur. RDR2 deploys that expansionism as a narrative strategy. Through immersion (or transparent immediacy, in Bolter and Grusin’s terms), the player is encouraged to interiorise that explorative and subsequently expansive logic, while preserving his own individual freedom and chances of survival. At the same time, through its playful elements, RDR2 also stimulates metareflection (hypermediacy), because through its game choices you are invited to reflect on that same historiographical myth. RDR2 eagerly exploits the reservoir of the Northern American mythological landscape, through an intricate mechanism of remediation and citation, and also lures us into its economic logic of exploitation, but, at the same time, we are given the opportunity, through gameplay choice, to position ourselves ethically within this historiographic fiction.

Imagineering is perhaps still the most apt term to capture this double consciousness (Korsten et al., 2021). Imagineering, a contraction of ‘imagination’ and ‘engineering’, is the trademarked name of Walt Disney’s department dealing with its theme parks. The department has to ensure that every visit to one of the parks is an immersive experience, where you are submerged in Walt Disney’s universe (to this end, they apply a set of rules that can be found online as ‘Mickey’s Rules’ – the Mickey refers to the first name of the department head, not Mickey Mouse). Once you leave the park, the reality around you, the ‘real world’, should be more Walt Disney. If imagination is our capacity to imagine other possible worlds, then engineering refers to the techniques developed and deployed to make that imagination representable, and then to be able to use those other worlds as reading frames for reality itself. Imagineering not only enables those representations, but also their performative effect. So, it is not so much about representing reality itself, but about making other, new realities ‘present’.

In RDR2, the expansionist ideology of the “Frontiers” is both condition humaine and narrative strategy. Arthur Morgan does not roam a landscape but a mythological space, a new, uncharted land waiting to be discovered, a mental landscape where no one trusts anyone and, more importantly, where you cannot trust yourself. RDR2 uses the exploration and expansion drive of the white frontiers as a narrative strategy. This is exactly why Elisa Sanchez makes the following appeal in her article on RDR2:

Je veux Tilly Jackson ou Charles Smith pour personnage principal. Je veux des jeux triple qui ne souscrivent plus au récit hégémonique du progrès écrit par des colons blancs. Je veux des jeux triple scénarisés par des femmes noires dans lesquels Arthur Morgan et Albert Manson sont amoureux. Car si les héros sont toujours des cowboys et jamais les vaches, comment espérer changer le monde. (Sanchez, 2020: 82)

Moreover, the player is invited – or rather seduced – to interiorise the logic of early, exploratory capitalism, only to re-enter the world as an entrepreneur of his own life. Bolter’s new book is therefore called Reality Media: the media, which layer between us and our perception of reality, do not replace reality, but re-imagine it, model it, tailor it to representations. Reality media, Bolter argues, offer us new representations that we implicitly compare with our experience of the world itself, but especially with other media.

And yet RDR2 is more than an exclusively manipulative form of immersion. Not only is immersion too imperfect for that (this is true of all video games to this day, by the way), as a player you also have to constantly deal consciously with the game’s interface. By means of that interface, you not only manage your gaming experience, but also develop a personal ethical framework, through your in-game choices but also through a permanent reflection on the way history is told and constructed. Immersion therefore always goes hand in hand with metareflection: not forgetting the construction underpins the game experience, but it is the manipulating of that same construction which fuels that same experience. After all, when the illusion is too strong, only the effect remains.

Bibliography

  • Baudrillard, Jean (2016). Amérique. Grasset. Livre de Poche.
  • Boillat, Alain (2018). Les codes du western à l’ère du codage informatique: le jeu video sur la piste du gunfighter cinématographique. Décadrages [En ligne] 39, 2018. Online: http://journals.openedition.org/decadrages/1340
  • Bolter, Jay David, and Richard Grusin (1999). Remediation. Understanding New Media. MIT Press.
  • Croix, Arnaud de la (2007). Blueberry. Une légende de l’Ouest. Éditions Point image.
  • Derfoufi, Mehdi (2021). Racisme et jeu video. Éditions de la maison des sciences humaines.
  • Donald, Iain, and Andrew Reid (2020). “The Wild West: Accuracy, Authenticity and Gameplay in Red Dead Redemption 2”. Media Education Journal 66, 15-23.
  • François, Yann (2021). “États-unis, monde ouvert et terre d’errance.” JV Le Mag 87, 24-29.
  • Gitlin, Jay (2009). The Bourgeois Frontier. French Towns, French Traders and American Expansion. Yale University Press.
  • Hernandez, Patricia (2019). “Playing Red Dead Online as a black character means enduring racist garbage.” The Verge. Online: https://www.theverge.com/2019/1/15/18183843/red-dead-online-black-character-racism
  • Korsten, Frans-Willem, Cornelis van der Haven, Inger Leemans, Karel Vanhaesebrouck, Michel van Duijnen, and Yannice De Bruyn (2021). “Imagineering, or what Images Do to People: Violence and the Spectacular in the Seventeenth-Century Dutch Republic.” Cultural History 10.1, 1-30.
  • Krichane, Selim (2018). La caméra imaginaire. Collection “Emprise de vue”. Georg Editeur.
  • Marcus, Greil (1997). Invisible Republic. Bob Dylan’s Basement Tapes. Henry Holt and Company.
  • Monterose, Isaac (2020). “Red Dead Redemption 2’s Depiction of Jim Crow Racism Doesn’t Add Up. Kotaku.” Online: https://kotaku.com/red-dead-redemption-2s-depiction-of-jim-crow-racism-doe-1844569204
  • Sanchez, Elise (2021). “L’insupportable nostalgie du soleil couchant.” Immersion 6, 76-85.
  • Vries, Joost de (2022). “Elke nacht te paard.” Extra Levens. Schrijvers over videogames. Ed. Arnaud Van Adrichem. Atlas Contact, 184-198.
  • Zwagerman, Joost (2013). “Rebellie als burgerlijk ideaal. De verwording van de outlaw.” Americana 1. Arbeiderspers, 43-50.