No basta con pulsar el botón
Hay decisiones que siguen siendo humanas porque alguien conserva el último botón. El problema empieza cuando todo lo anterior ha ocurrido a una velocidad y una escala que apenas dejan margen para entender qué estamos aprobando. Tener la última palabra no siempre significa haber decidido.
Después de casi un mes sin publicar, hoy van dos. Tampoco conviene sacar demasiadas conclusiones porque, a este ritmo, mañana tendría que montar una redacción, contratar gente y empezar a preocuparme por las audiencias, así que podemos considerarlo una anomalía estadística y seguir adelante. La culpa, en parte, la tiene el post anterior, porque hace unas horas escribía sobre agentes, autonomía y esa diferencia que empieza a parecerme cada vez más importante entre dejar que una máquina haga algo y dejar que decida qué debe hacerse. La frase que resaltaba era bastante obvia: automatizar una respuesta no significa automatizar el criterio.
Y entonces seguí leyendo Project Maven, de Katrina Manson, que realmente no es la mejor elección si lo que pretendes es zanjar el tema, aunque sea por una noche. El libro cuenta la historia del proyecto que comenzó a desarrollar el Pentágono en 2017 para aplicar inteligencia artificial al análisis de las enormes cantidades de imágenes que producían sus drones. La explicación inicial parecía razonablemente inocua: había miles de horas de vídeo y demasiadas pocas personas para mirarlas, de manera que una máquina capaz de señalar vehículos, edificios o personas podía ahorrar una cantidad considerable de trabajo.
Seguir
Como suele ocurrir, aquello no terminó exactamente ahí. Desde el principio había responsables del proyecto que querían utilizar esos sistemas no solo para encontrar cosas, sino también para ayudar a decidir qué hacer con ellas: localizar objetivos, seguirlos, cruzar información y reducir el tiempo necesario para pasar desde «hemos visto algo» hasta «vamos a actuar sobre ello». El propio libro plantea esa evolución como una discusión sobre quién, o qué, acaba tomando una decisión cuando sus consecuencias pueden ser irreversibles.
Lo fácil sería resolverlo diciendo que una máquina nunca debería decidir algo tan importante y que, por tanto, basta con colocar una persona al final del proceso. Suena razonable, ordenado y bastante tranquilizador, pero Manson cuenta un episodio de Afganistán que complica mucho esa comodidad. Antes de un ataque, varios analistas revisaban las imágenes para comprobar que no hubiera civiles en la zona. Uno de ellos terminó localizando a un hombre, un pastor acompañado por sus ovejas, y la operación se canceló; había tardado unos cuarenta segundos en verlo.
Cuando después reprodujeron las mismas imágenes con Maven, el sistema detectó al hombre prácticamente en cuanto apareció y lo siguió durante todo el recorrido. En aquella ocasión la máquina había visto antes lo que la persona necesitaba ver, y cuarenta segundos pueden ser mucho tiempo dependiendo de lo que esté ocurriendo después.
El libro está lleno también de ejemplos en la dirección contraria. Los primeros modelos desplegados en Afganistán podían identificar árboles como personas, rocas como edificios y edificios como coches. Un sistema entrenado en un lugar perdía buena parte de su eficacia cuando cambiaba el paisaje, porque aquello que había aprendido a reconocer en el desierto dejaba de parecerse a lo que encontraba después entre vegetación, caminos distintos o vehículos que no tenían el aspecto esperado.
Así que podemos ahorrarnos una discusión bastante estéril sobre quién se equivoca más, porque nos equivocamos todos. La parte interesante empieza cuando la máquina no solo intenta acertar mejor, sino que permite hacer muchas más cosas en mucho menos tiempo.
Según un responsable de la National Geospatial-Intelligence Agency citado por Manson, Estados Unidos pasó de poder gestionar menos de cien objetivos diarios a unos mil utilizando visión artificial. La incorporación posterior de modelos de lenguaje elevó esa capacidad, según la misma fuente, hasta unos cinco mil al día. Y ahí cambia bastante la manera de mirar aquello de «siempre habrá una persona tomando la decisión final», porque quizá el problema no esté en quién pulsa el último botón, sino en todo lo que ha ocurrido antes de que ese botón llegue hasta él.
Un sistema puede haber revisado millones de datos, descartado miles de posibilidades, destacado unas cuantas, asignado prioridades, relacionado información procedente de distintos sitios y presentado finalmente una propuesta con aspecto perfectamente razonable. El humano aparece entonces al final de una cadena enorme y recibe algo bastante parecido a una pregunta sencilla: ¿sí o no? Formalmente sigue decidiendo, pero conviene preguntarse cuánto queda realmente por decidir.
No hace falta irse a un escenario militar para reconocer el problema. Imaginemos un agente capaz de leer miles de correos, revisar documentación, consultar historiales, detectar anomalías y proponernos las treinta actuaciones que considera prioritarias para ese día. Podemos reservar la aprobación final a una persona y afirmar, con bastante tranquilidad, que nada ocurre sin supervisión humana, pero esa persona ya no está revisando miles de asuntos, sino los treinta que otro sistema decidió que merecía la pena enseñarle.
Puede comprobar que la respuesta propuesta parece correcta, pero probablemente no conozca las doscientas opciones descartadas antes de llegar hasta ella. Puede aceptar una prioridad sin saber exactamente por qué otras quedaron por debajo y puede terminar dedicando toda su atención a verificar aquello que la máquina ha decidido que merece ser verificado. La selección también es una decisión, el orden también lo es y lo que no aparece en la pantalla sigue existiendo aunque nadie tenga que pulsar un botón para descartarlo.
Ahí es donde la insistencia en que «el humano tendrá siempre la última palabra» empieza a quedarse un poco corta. Suena tranquilizadora porque conserva una figura reconocible: alguien responsable, sentado delante de una pantalla, dispuesto a decir que no si algo no encaja. Pero para decir que no hay que tener alguna posibilidad real de hacerlo, y eso exige tiempo, contexto y suficiente comprensión de cómo se ha llegado hasta esa propuesta.
También hace falta que la cantidad de decisiones pendientes no convierta la revisión en una sucesión mecánica de confirmaciones. El Comité Internacional de la Cruz Roja aparece en el libro planteando precisamente esa preocupación: limitarse a confirmar las propuestas de un sistema no necesariamente refuerza la decisión humana y puede terminar debilitándola, especialmente cuando el usuario desconoce cómo se ha generado el resultado o siente que su función consiste simplemente en validarlo.
No cuesta demasiado imaginar cómo ocurre. La primera propuesta la revisas con cuidado, la décima también y, cuando llevas unas cuantas decenas correctamente resueltas, empiezas a reconocer un patrón. En algún momento la siguiente disfruta de una especie de presunción de inocencia tecnológica: si las anteriores estaban bien, esta probablemente también. No hace falta confiar ciegamente en la máquina; basta con que acierte tantas veces como para que revisar cada paso vuelva a parecernos una pérdida de tiempo.
La eficiencia tiene estas pequeñas bromas. Construimos una herramienta para evitar trabajo y luego confiamos en que alguien siga dedicando exactamente el mismo esfuerzo a comprobar aquello que hemos automatizado.
En Project Maven la discusión adquiere, naturalmente, unas consecuencias mucho mayores. La política estadounidense que describe Manson no exige necesariamente que una persona intervenga de forma individual en cada acción, sino que existan niveles adecuados de juicio humano sobre el uso de la fuerza. Esa diferencia parece pequeña hasta que pensamos en sistemas capaces de seleccionar objetivos y actuar dentro de unos límites previamente definidos.
El humano puede haber decidido las reglas, establecido la zona, autorizado qué clase de objetivo se considera válido y determinado cuándo empieza y cuándo termina la operación. Después de todo eso, una máquina puede ejecutar miles de pequeñas decisiones sin volver a preguntarle. En algún sentido seguirá siendo una decisión humana, pero ya no exactamente en el que solemos imaginar cuando decimos que «una persona estará al mando».
Y aquí el artículo de hace unas horas empieza a resultar algo más molesto. Cuando hablábamos de agentes parecía razonable concluir que podíamos delegar muchas tareas siempre que conserváramos el criterio, pero resulta que tampoco basta con conservarlo en algún lugar del organigrama. Hay que preguntarse si el sistema está diseñado para que ese criterio pueda ejercerse de verdad.
Porque una máquina puede no quitarnos la decisión y, aun así, cambiar las condiciones en las que decidimos hasta hacerla casi irreconocible. Puede aumentar el volumen, reducir el tiempo, presentar unas alternativas y ocultar otras, ordenar lo que vemos y ofrecernos una recomendación tan completa que rechazarla exija bastante más esfuerzo que aceptarla. Y puede repetir ese proceso miles de veces.
Entonces la supervisión humana corre el riesgo de convertirse en una especie de sacramento administrativo: sabemos que hay alguien al final porque necesitamos poder decir que hay alguien al final, aunque buena parte de aquello que importa haya ocurrido antes de que apareciera.
Por eso hay una idea del libro que me parece bastante más útil que muchas discusiones sobre si una inteligencia artificial debería o no tomar decisiones. Jane Pinelis, que trabajó en la evaluación de Maven, defendía que si vamos a utilizar estos sistemas lo sensato es diseñarlos suponiendo que alguna vez fallarán. Parece una obviedad, pero sospecho que hacemos justo lo contrario con bastante frecuencia: diseñamos para que funcione, añadimos controles, ponemos una persona al final y llamamos a eso seguridad.
Diseñar pensando que el sistema va a fallar obliga a hacer preguntas menos cómodas: qué ocurre cuando se equivoca, cómo nos enteramos, quién puede detenerlo, cuánto daño puede producir antes de hacerlo, qué información necesitamos conservar para reconstruir lo ocurrido y si la persona que supuestamente supervisaba tenía alguna posibilidad real de detectar el error.
Eso vale para un sistema militar, pero también para un agente que manda correos, modifica datos, concede permisos, ejecuta pagos o decide qué casos merecen atención humana. El mecanismo es el mismo, lo que cambia, y mucho, es el precio de una equivocación.
Quizá dentro de unos años nos parezca casi ingenuo que nos preocupásemos tanto porque la inteligencia artificial se inventara una respuesta. El problema será de otro calibre cuando no se limite a contestar, sino que además decida qué información veremos, qué opciones descartará y cuál nos recomendará. En ese momento, que una persona siga pulsando el botón de «aprobar» no bastará para decir que la decisión ha sido suya: si la máquina ya ha decidido qué información y qué opciones pueden llegar hasta ese botón, una parte importante de la decisión estará tomada de antemano.
Y, para terminar, os dejo una reflexión en audio. Ya sabéis que esta parte se queda al otro lado del registro…
Podríamos dejarlo aquí.
Pero algunas ideas tienen la mala costumbre de seguir dando vueltas cuando el post ya se ha terminado. Para eso está el Bonus para suscriptores.
