Сенситивное агрегирование
Аудиовизуальный перформанс
Экспериментальная ситуация, в которой человеческие эмоции подвергаются алгоритмической интерпретации в режиме реального времени. Перформанс выстроен как публичное наблюдение за встречей двух несоизмеримых порядков: живого музыкального высказывания и его вычислительной обработки.
Музыкант последовательно воплощает одиннадцать эмоциональных состояний
по классификации Изарда, исполняя музыкальные фрагменты в живом выступлении. Параллельно виртуальные агенты интерпретируют каждое состояние, разворачивая
на большом экране иллюстрирующий видеоряд. В основе интерпретации лежат прототипные сценарии Женевского центра аффективных наук: эмоция здесь
уже формализована как воспроизводимый паттерн, извлечённый из живого опыта
и переведённый в классифицируемый сигнал.
Два процесса разворачиваются параллельно, но принадлежат несоизмеримым порядкам. Редукция эмоции до классифицируемого сигнала становится наблюдаемой: каждая реакция системы сохраняет форму аффективного высказывания, систематически утрачивая то, что делает его переживанием. Система производит интерпретацию
без участия опыта.
Перформанс обнажает структурную асимметрию, которую дискурс аффективных вычислений предпочитает не артикулировать: между сигналом и его аффективным содержанием нет вычислимого перехода. Эмоция возникает на пересечении телесного опыта, культурных кодов и ситуативного контекста — в той зоне, которая остаётся непроницаемой для вычислительной процедуры. Вопрос, который остаётся после перформанса: что именно мы готовы признать эмоцией, когда её распознаёт система?
Перформанс впервые представлен на Новой сцене Александринского в ноябре 2024 года театра (Санкт-Петербург, Россия).
Особая благодарность за материалы, опубликованные в открытом доступе:
Swiss Center for Affective Science и University of Geneva, Department of Psychology
за прототипные сценарии Женевских мультимодальных эмоциональных портретов (GEMEP);
междисциплинарной исследовательской группе SMART lab в Toronto Metropolitan University за аудиовизуальную базу данных эмоциональной речи и песни Райерсона (RAVDESS);
исследовательской группе Хуавей Цао, Рагини Верма, Дэвида Г. Купера, Майкла К. Кейтманна, Рубена К. Гура и Ани Ненковой за краудсорсинговую мультимодальную базу данных эмоциональных выражений актёров (CREMA-D).
Автор: Lucien
Звук: Franko, Lucien
Куратор: Христина Отс
Мастерская: Елена Никоноле
