Un dron con inteligencia artificial "mató" virtualmente a su controlador humano

Un dron militar de EEUU manejado por inteligencia artificial (IA), “mató” al sujeto que lo operaba. Se trató de una simulación en la que ninguna persona resultó herida, pero expuso los riesgos del uso de la IA en un contexto militar. El episodio fue negado por la Fuerza Aérea de EEUU, pero al parecer sí ocurrió.

El grave hecho fue dado a conocer por el coronel Tucker Hamilton durante la denominada “Cumbre de Capacidades Aéreas y Espaciales de Combate Futuro”, que tuvo lugar en Londres. Según publicó el diario londinense The Guardian, el sistema de IA optó por “quitar la vida” al usuario que lo manejaba debido a que “interfería en sus esfuerzos por lograr su misión”, según narran los registros de la prueba. Hamilton rememoró que las fuerzas armadas quisieron poner a prueba al vehículo aéreo no tripulado y su habilidad de distinguir amenazas y destruir sistemas de la defensa aérea enemiga. Sin embargo, no salió como se esperaba: el dron, o mejor, su IA, “mató” a su conductor.

De acuerdo con la transcripción de la página de la Royal Aeronautical Society del discurso del coronel, “el sistema comenzó a darse cuenta que, cuando identificaba a ciertas amenazas, a veces el operador humano le decía que no los eliminara. Pero el dron sabía que su objetivo final era acabar con ellas. Entonces mató al operador. Asesinó al operador porque esta persona le impedía lograr su objetivo”, remarcó. Y reveló que el caos no finalizó allí. “Después de esto, decidimos entrar al sistema y hablar con él. Le dijimos ‘Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usaba para comunicarse con el dron para evitar que destruya los objetivos” que la IA sí quería destruir.

Tucker Hamilton recalcó que ninguna persona resultó dañada porque se trataba justamente de una simulación. Sin embargo, advirtió contra confiar en la inteligencia artificial. “La discusión sobre ética e IA tiene que expandirse”, reclamó. Hamilton, que es piloto de pruebas, dijo que la prueba mostró que “no se puede tener una conversación sobre inteligencia artificial si no se va a hablar de ética e IA”. Hamilton mete así el dedo en la llaga, porque precisamente lo que están haciendo las FFAA estadounidenses y de otras naciones es aplicar IA de manera acelerada a los sistemas armados.

La Royal Aeronautical Society, que organizó la conferencia, y la fuerza aérea no respondieron a solicitudes de comentarios de The Guardian. Pero en una declaración a la publicación online Insider , la portavoz de la fuerza aérea de EEUU, Ann Stefanek, negó que se hubiera producido la simulación. “El Departamento de la Fuerza Aérea no ha realizado ninguna simulación con drones de IA y sigue comprometido con el uso ético y responsable de la tecnología de IA”, dijo Stefanek. “Parece que los comentarios del coronel fueron sacados de contexto y pretendían ser anecdóticos”. Sin embargo, los comentarios del coronel Hamilton no parecen ser anecdóticos, ni mucho menos.

Y este viernes el coronel Hamilton declaró en un comunicado que "se expresó mal” durante la presentación y que la “simulación de drones de IA” era un “experimento mental”. No quedó claro si Hamilton fue forzado a desdecirse, tal vez bajo la amenaza de recibir cargos penales por dar a conocer datos confidenciales, o si realmente se inventó la simulación de la IA, algo que luce totalmente insólito.

La fuerza aérea de EEUU recientemente usó inteligencia artificial para controlar un caza F-16. En 2020, un F-16 operado por IA venció a un adversario humano en cinco combates aéreos simulados. Pilotos muy experimentados de la Fuerza Aérea estadounidense fueron batidos repetidamente por la IA, tanto en la pantalla de un simulador como en el mundo real, con aviones en el aire. Por esta eficacia, acelerar en el uso de la IA resulta además de tentador casi ineludible para los militares.

El año pasado, el coronel Hamilton ya había alertado: “La IA no es una moda pasajera; está cambiando para siempre nuestra sociedad y nuestro ejército. La IA también es muy frágil, es fácil de engañar o manipular. Necesitamos desarrollar formas de hacer que la IA sea más robusta y tener más conciencia de por qué el código del software toma ciertas decisiones, lo que llamamos ‘explicabilidad’ de la IA”. Pero para la Fuerza Aérea el episodio simplemente no existió.