sensitive_aggregation
Медиаинсталляция

Работа переводит исследование аффективных вычислений в форму устойчивой операционной среды. Шесть экранов образуют пространство,
в котором каждый экран соответствует одной из шести базовых эмоций
по классификации Экмана: радости, грусти, страху, удивлению, гневу
и отвращению. Авторские персонажи озвучивают текстовое повествование, выстроенное на основе прототипных сценариев GEMEP, и сопровождают аудиовизуальные структуры, агрегированные из баз данных RAVDESS
и CREMA-D: согласованные,
но редуцированные представления эмоций.

Зритель свободно перемещается внутри среды, выбирая, какой из экранов наблюдать. Шесть пар наушников позволяют погрузиться в звуковой слой каждого из каналов: музыкальную композицию и повествование, разворачивающееся вокруг конкретного эмоционального состояния. Контент воспроизводится в непрерывной петле вне зависимости от присутствия зрителя: среда существует как самодостаточный процесс, не нуждающийся во внешнем участии.

Инсталляция делает наблюдаемым
сам механизм редукции: вычислительная модель выстраивает целостную картину там, где аффективный опыт остаётся принципиально неоднородным, ситуативным и телесно обусловленным. Разрыв между сложностью переживания и его алгоритмической обработкой здесь не событие, а постоянно действующее условие среды.

Из этого разрыва проступает этическое измерение аффективных вычислений. Технологии распознавания эмоций оперируют маркерами, которые варьируются между культурами, телами
и ситуациями. Возможность агрегировать и классифицировать эмоциональные данные открывает пространство
для контроля и манипуляции: территорию, на которой вычислительная точность
и этическая допустимость перестают совпадать.

Проект впервые представлен на выставке «Реализм невидимого» в галерее
Air Центра Art & Science Университета ИТМО в июле 2024 (Санкт-Петербург, Россия).

Особая благодарность за материалы, опубликованные в открытом доступе:

Swiss Center for Affective Science
и University of Geneva, Department
of Psychology за прототипные сценарии Женевских мультимодальных эмоциональных портретов (GEMEP);

междисциплинарной исследовательской группе SMART lab в Toronto Metropolitan University за аудиовизуальную базу данных эмоциональной речи и песни Райерсона (RAVDESS);

исследовательскую группу: Хуавей Цао
и Рагини Верма, Radiology Department
at the University of Pennsylvania, Дэвид Г. Купер, Math and Computer Science Department at Ursinus College, Майкл К. Кейтманн, Department of Psychology
at the University of Illinois at Chicago, Рубен К. Гур, Neuropsychiatry section
of the Psychiatry Department
of the University of Pennsylvania
and Philadelphia Veterans Administration Medical Center, Ани Ненкова, Department
of Computer and Information Science, University of Pennsylvania
за краудсорсинговую мультимодальную базу данных эмоциональных выражений актёров (CREMA-D).

Автор: Lucien
Звук: Franko, Lucien

Куратор: Христина Отс
Мастерская: Елена Никоноле