No Vemos lo Mismo

Y me pregunto por qué, frente a esa misma imagen, yo quiero llorar y vos simplemente seguís caminando.

Entro al MALBA y me encuentro con una obra del estadounidense Flavin: tubos de luz que transforman el espacio. Sigo. Llego hasta la cubana Belkis Ayón. Me detengo frente a su obra sobre la Sociedad Secreta Abakuá. La miro y algo me pasa: quiero llorar. Mi amigo extranjero la observa unos segundos y sigue caminando.

En mi cabeza tengo una conversación ininterrumpida con el mundo que me rodea. Los que dedicamos la vida profesional y personal al arte vamos por la vida en modo observación. Es un estado permanente. Los sentidos en “on”. Al final del día, como si hubieras formado parte de cada obra que viste, no estás seguro de si tu cuerpo es piel, píxel, barro u óleo. Las emociones se acumulan como en capas.

¿Qué sentimos cuando miramos una obra? ¿La tristeza, la belleza, el miedo o la calma que reconocemos en una imagen son universales? ¿O también aprendemos a sentir a través de nuestra cultura, nuestra historia y las imágenes que nos rodean?

Una investigación recién publicada acaba de llevar estas preguntas al territorio de la inteligencia artificial.

El experimento acaba de publicarse como preprint y todavía no puede considerarse una investigación consolidada. Pero la pregunta que plantea me resulta demasiado interesante como para pasarla por alto.

Se llama ArtECulture: Benchmarking Culture-Conditioned Visual Emotion Understanding in Multimodal Large Language Models y fue presentada en agosto por un equipo de investigadores vinculados principalmente con la National University of Singapore (NUS). Un equipo especializado en tecnología decidió hacer una pregunta que toca directamente al territorio de la cultura.

El experimento

ArtECulture reúne 6.792 obras de arte y 92.062 anotaciones emocionales, construidas desde tres contextos culturales: chino, árabe y anglófono. El conjunto busca incluir de manera equilibrada contenidos occidentales y no occidentales, justamente para evitar uno de los problemas que arrastran muchos sistemas de IA: haber aprendido el mundo principalmente a través de datos producidos desde una mirada occidental.

Los investigadores enfrentaron 16 modelos multimodales de lenguaje, tanto abiertos como propietarios, en una modalidad zero-shot: es decir, sin proporcionarles un entrenamiento específico para resolver previamente la prueba. La consigna iba mucho más allá de reconocer objetos o describir una imagen. La IA tenía que intentar predecir qué emoción podría provocar una obra en personas pertenecientes a una determinada cultura y explicar las razones de esa interpretación.

En otras palabras, tenía que cambiar de perspectiva. No bastaba con decir: “hay una persona llorando”. La pregunta era más parecida a: “¿cómo podría interpretar emocionalmente esta escena alguien que pertenece a este contexto cultural?”. Y entonces comenzaron los problemas.

El mejor modelo obtuvo menos del 50 % de precisión. El estudio también encontró que los sistemas tenían más dificultades cuando debían alejarse de los marcos culturales más familiares para sus datos de entrenamiento. Los autores describen este fenómeno como una forma de sesgo afectivo anglocéntrico. La máquina puede reconocer una imagen. Lo que todavía le cuesta es comprender el mundo que existe alrededor de esa imagen.

Una obra nunca viene sola

La investigación hace pensar en una idea desarrollada hace casi un siglo por el historiador del arte Erwin Panofsky. Para Panofsky, mirar una obra no consiste solamente en identificar formas. Una primera mirada reconoce objetos y gestos, una segunda identifica temas y símbolos, y una interpretación más profunda busca reconstruir el contexto cultural que les da significado.

La diferencia parece pequeña, pero es enorme. Una figura con los brazos levantados puede estar celebrando. Puede estar rezando. Puede estar protestando. Puede estar despidiéndose. El cuerpo es el mismo, el significado cambia.

Una IA puede reconocer el gesto. Comprender por qué ese gesto significa algo diferente según quién lo mira es otra historia. La cultura también está dentro de la imagen, aunque no podamos verla.

Una guía de museo para máquinas

Los autores de ArtECulture exploran el problema, pero además prueban una posible solución: construyen una base de conocimiento con conceptos y asociaciones emocionales vinculados a diferentes culturas y permiten que los modelos consulten esa información antes de formular sus respuestas.

Este procedimiento, conocido como retrieval-augmented generation, mejora tanto la predicción emocional como la explicación que ofrece la IA. Es casi como entregarle una guía de museo. Pero una guía particular. No le explica solamente qué representa una obra. Le dice que una misma imagen puede activar asociaciones distintas en diferentes comunidades.

¿Qué parte de lo que sentimos aprendemos?

Hace algunos años, investigaciones como ArtEmis comenzaron a explorar la relación entre imágenes artísticas y emociones humanas. Ese proyecto reunió decenas de miles de obras de WikiArt y cientos de miles de respuestas humanas para estudiar no solo qué emoción producía una imagen, sino también cómo las personas explicaban esa reacción. ArtECulture agrega una variable decisiva: la cultura.

Durante mucho tiempo hablamos de inteligencia artificial como si pudiera aprender una especie de idioma universal de las imágenes. Como si, después de observar millones de fotografías, pinturas y videos, pudiera descubrir qué significa cada cosa. Ese diccionario universal no existe. Un rojo puede ser peligro, pasión, celebración o duelo. Una máscara puede ser carnaval, ritual, protección o amenaza. Un paisaje puede representar naturaleza, territorio, memoria o identidad. Depende de quién mira.

El próximo desafío es comprender

La conversación sobre IA y arte se concentró durante los últimos años en una pregunta: ¿puede una máquina crear? Ya sabemos que puede producir imágenes sorprendentes. También música, textos, videos y experiencias visuales. Pero ArtECulture propone desplazar la discusión y comprender por qué esa obra importa. Mientras intentamos enseñarle a una máquina a interpretar nuestras emociones, descubrimos algo sobre nosotros mismos: mirar nunca es una operación puramente visual.

Miramos con nuestra memoria individual y colectiva. Con nuestro idioma. Con nuestra educación. Con las imágenes de nuestra infancia. Con los símbolos que aprendimos a reconocer. Con las historias de nuestro lugar de origen. Con nuestras capas.

Miramos desde algún lugar. La IA todavía está aprendiendo cuál es ese lugar. Ya puede reconocer una lágrima. Ahora tiene que aprender que no todas las lágrimas significan lo mismo.

Una obra de arte nunca termina en lo que vemos. Empieza allí.