Negocios

Diseñar Para Quien Mira

Cuando el usuario principal de una interfaz es un agente, ¿a la persona le queda mirar? La historia de la automatización sugiere que mirar es mucho más difícil de lo que parece.

Maria Scarano Semana 27 Read in English
Compartir Compartir en LinkedIn Compartir en X Compartir en Facebook Compartir por email
abstracto hombre contemplando estructura moderna de concreto
AI assisted/generated image

En 1835, Andrew Ure publicó The Philosophy of Manufactures, un libro que defendía con entusiasmo el sistema fabril. En uno de sus pasajes describe con bastante claridad hacia dónde iba la industria: el objetivo era reducir la tarea de los trabajadores a estar atentos y ser diestros (vigilance and dexterity, en sus palabras), y reemplazar la mano de obra calificada por simples supervisores de máquinas. Ure no lo presentaba como una pérdida. Lo presentaba como un progreso: la máquina haría el trabajo, y la persona se ocuparía de mirarla.

Casi ciento cincuenta años después, en 1983, la psicóloga Lisanne Bainbridge publicó un artículo breve que se volvió un clásico de la ingeniería de sistemas, Ironies of Automation. Una de sus frases dice: al monitor humano se le dio una tarea imposible.

Entre esas dos frases está, creo, una de las preguntas más importantes que tenemos por delante. Estamos empezando a diseñar interfaces cuyo usuario principal no es una persona sino un agente. A la persona le queda una capa para leer lo que el agente hizo, aprobarlo o detenerlo. Le queda, otra vez, mirar. Esta pieza no intenta resolver cómo diseñar esa capa. Intenta ordenar las preguntas que tendríamos que hacernos antes.

El primer formato escrito para una máquina

Hay un antecedente que me ayuda a pensar qué cambia cuando una interfaz se escribe para que la lea una máquina.

En los telares de tiro que se usaban para tejer seda con dibujos, el tejedor manejaba la lanzadera y el ritmo, y un asistente, generalmente un chico, levantaba a mano los hilos indicados en el momento justo para que el dibujo apareciera. Se lo llamaba draw boy. Era un trabajo físico, incómodo y muy preciso. A comienzos del siglo diecinueve, Joseph Marie Jacquard lo reemplazó con tarjetas perforadas: cada tarjeta codificaba qué hilos levantar en una hilera, y una cadena de tarjetas codificaba el dibujo entero. Bill de hÓra, que escribió sobre esto como alegoría de la IA, lo resume así: la habilidad salió del cuerpo del asistente y entró en la tarjeta.

Lo que me interesa de esa historia no es el reemplazo, que es conocido, sino el formato. La tarjeta perforada es quizás el primer documento escrito para ser leído antes por una máquina que por una persona. El dibujo seguía existiendo, pero ya no estaba a la vista en el gesto de nadie: vivía en un código que leía el telar y que entendía quien perforaba las tarjetas. El resto miraba la tela aparecer.

Hoy estamos escribiendo de nuevo ese tipo de documentos: instrucciones, reglas, habilidades y contextos pensados para que los lea un agente. Y la pregunta que dejó Jacquard sigue abierta: cuando el formato se escribe para la máquina, ¿qué le queda visible a la persona, y en qué lenguaje?

Lo que le pasó a quien quedó mirando

Ure tenía una predicción concreta. La hiladora automática, que Richard Roberts había perfeccionado en 1825, iba a dejar sin trabajo a la mayoría de los hiladores. No fue exactamente así. Según historiadores económicos como William Lazonick, los hiladores siguieron en las fábricas durante décadas, entre otras razones porque su valor como supervisores del proceso y de los ayudantes resultó difícil de reemplazar, y porque sus sindicatos tenían fuerza. El oficio no desapareció. Se transformó en supervisión.

Ese es el patrón que Bainbridge estudió un siglo y medio después en el control de procesos industriales y que describió con una lucidez que todavía sorprende. Su argumento tiene varias capas. La primera es que las habilidades se pierden cuando no se usan. El operador que durante años solo miró un proceso automatizado ya no es el experto que era, y sin embargo es a él a quien se llama cuando algo falla, justamente en el momento que exige más habilidad. La segunda es que el conocimiento que se necesita para entender una situación anómala se forma usando el sistema y recibiendo retroalimentación, y eso es lo que el operador ya no hace. La tercera es que nadie puede sostener la atención durante horas sobre algo que casi nunca cambia. Y la cuarta, quizás la más irónica, es que entrenamos a las personas para seguir instrucciones y después las ponemos en el sistema para que aporten inteligencia.

Bainbridge dejó también una recomendación que vale la pena retener: los sistemas automáticos deberían fallar de manera evidente. Un sistema que se degrada con suavidad esconde la falla hasta que ya no se puede controlar.

Mirar no es ver

Hay un hallazgo experimental que lleva el problema un paso más allá. Investigadores de la Universidad Técnica de Berlín, que estudian la complacencia frente a la automatización, observaron a personas que trabajaban con un sistema de apoyo muy confiable, aunque no perfecto. Lo esperable era que los errores vinieran de quienes dejaban de revisar la información. Y una parte vino de ahí. Pero cerca de la mitad de los errores los cometieron personas que sí habían revisado todo. Miraron la información y no la procesaron, y varias no recordaban después qué habían visto.

Ese mismo trabajo encontró algo que me parece todavía más interesante. Lo que más protegía contra el error era haber visto fallar al sistema antes. Entre quienes ya habían vivido una falla, se equivocó cerca del cinco por ciento; entre quienes no, alrededor del veinte. Los autores estimaron que hacían falta unas veinte experiencias positivas para borrar el efecto de una sola falla temprana.

Dicho de otra manera: la visibilidad no garantiza la atención, y la confianza que construye un sistema que funciona bien es justamente lo que vuelve más peligrosa su falla. Lo que mantiene alerta a la persona no es ver más, sino haber visto que la máquina se puede equivocar.

La capa que hoy estamos diseñando

Estas ideas vienen de fábricas, centrales eléctricas y cabinas. Pero describen con bastante precisión lo que empieza a pasar con los agentes.

Obvious, una empresa que construye plataformas de agentes, describe su propuesta así: el juicio y los estándares de un equipo se vuelven las reglas que siguen los agentes. Las personas definen los pasos, los criterios de calidad y los puntos de control, aprueban un plan, y reciben el trabajo terminado junto con la evidencia que lo respalda para revisarlo antes de aceptarlo. Es un diseño cuidadoso. Y es también, con otro vocabulario, el sistema de Ure: la persona define al principio, supervisa al final, y en el medio la máquina trabaja.

Un estudio reciente analizó veintidós sistemas de agentes disponibles públicamente y encontró seis patrones de interfaz que se repiten: trazas visibles de lo que el agente piensa, planea y hace; mecanismos para interrumpirlo o tomar el control; un modo de supervisión para actividades sensibles; reglas definidas por el usuario; memoria que se puede inspeccionar y editar; y entornos aislados que muestran su estado. Dos observaciones de los autores me quedaron dando vueltas. Una, que las trazas solo sirven si reflejan fielmente lo que el agente hizo. Otra, que en el modo de supervisión mirar no garantiza atención. Bainbridge podría haber escrito las dos.

Las preguntas que quedan abiertas

No tengo una respuesta sobre cómo diseñar esta capa, y desconfío de quien la tenga. Pero creo que se pueden ordenar las preguntas.

La primera es cómo sucede la visibilidad, y para quién. Si la información se organiza para que la lea un agente, a la persona le llega una traducción. ¿Quién escribe esa traducción? ¿En qué lenguaje? ¿Qué se pierde en el camino? Jorge Arango definió el propósito de la arquitectura de información como aumentar la agencia haciendo los sistemas más legibles. En una arquitectura pensada primero para agentes, la pregunta es legible para quién.

La segunda es qué le dejamos a la máquina y qué a la persona. Takuma Kakehi observó que la automatización reparte el trabajo según lo que la máquina puede hacer, nunca según lo que le conviene a una persona hacer. Nadie decidió que mirar fuera un buen uso del tiempo humano: es lo que quedó. ¿Podemos repartirlo de otra manera, por ejemplo, según qué necesita hacer una persona para seguir entendiendo lo que supervisa?

La tercera es qué tanta transparencia damos por supuesta. Los nuevos modelos de desarrollo ponen en el centro a los agentes y su lenguaje: reglas, instrucciones y habilidades escritas para que una máquina las siga. Eso las vuelve explícitas, y es un avance. Pero que algo esté escrito no lo vuelve transparente para una persona. Y una traza que el agente escribe sobre sí mismo, ¿cuenta como transparencia o como autodeclaración? Los autores del estudio de los veintidós sistemas proponen regular estos patrones, porque hoy son decisiones de producto que un equipo puede quitar por comodidad o por el resultado de una prueba. La transparencia, por ahora, no es un derecho. Es una opción de diseño.

La cuarta es si la persona sigue siendo quien dispara las acciones. En un mundo donde los agentes inician tareas, se pasan trabajo entre sí y le hablan a otros agentes, la persona puede dejar de ser quien empieza y pasar a ser a quien se llama. Hay un antecedente que no es necesariamente malo. A comienzos del siglo veinte, Sakichi Toyoda diseñó un telar que se detenía solo cuando se rompía un hilo, para que nadie tuviera que mirarlo todo el tiempo. La máquina levantaba la mano y la persona acudía. Es exactamente lo que pedía Bainbridge: que la falla se vea. Pero también deja una pregunta abierta. Si el agente nos llama cuando algo falla, ¿quién decide qué cuenta como falla?

Diseñar para quien mira

Hay una tentación, cuando se diseña la capa humana de un sistema de agentes, de pensarla como un tablero: mostrar todo lo que pasa, con claridad, en tiempo real. La historia de la automatización sugiere que eso no alcanza. Una capa que solo muestra forma espectadores. Lo que mantiene a una persona en condiciones de juzgar es la práctica, la experiencia de ver fallar a la máquina y la posibilidad real de intervenir.

Quizás la pregunta para quienes diseñamos no sea solo qué mostrar, sino qué tiene que poder hacer quien mira para que su mirada siga valiendo algo. Ure imaginó la mirada atenta como el lugar natural de la persona frente a la máquina. Bainbridge mostró que ese lugar, así diseñado, es imposible. Estamos construyendo las nuevas arquitecturas de información con muy poco tiempo para pensar en esa distancia. Vale la pena empezar a pensarla antes de que la capa que diseñamos para mirar se convierta, otra vez, en la tarea imposible de alguien.

LinkedIn

Continuá la conversación en LinkedIn

LinkedIn

Más para leer

Negocios Por Qué La «Prima Humana» y el Mentoring Definirán a Las Organizaciones del Futuro Negocios Cuando la Calidad se Vuelve la Norma Negocios ¿Quién Se Queda Con El Valor De La IA?

Seguir leyendo

Explorar temas

IA y Sociedad Automatizacion Negocios Cultura Diseno Trabajo Humano +