Muchas grandes ideas en inteligencia artificial languidecen en los libros de texto por décadas porque no se tiene el poder computacional para aplicarlas. Eso es lo que sucedió con las redes neuronales, una técnica inspirada en el cableado de cerebros que recientemente ha tenido éxito en la traducción de idiomas y la conducción de automóviles . Ahora, otra vieja idea, mejorar las redes neuronales no mediante la enseñanza, sino a través de la evolución, está revelando su potencial. Cinco nuevos artículos del laboratorio de Uber en San Francisco, California, demuestran el poder de la llamada neuroevolución para jugar videojuegos, resolver laberintos e incluso hacer caminar a un robot simulado.
Según recogió Matthew Hutson para Science, Neuroevolution, un proceso de mutación y selección de las mejores redes neuronales, ha llevado previamente a redes que pueden componer música, controlar robots y jugar al videojuego Super Mario World. Pero en su mayoría eran redes neuronales simples que realizaban tareas relativamente sencillas o dependían de trucos de programación para simplificar los problemas que intentaban resolver. "Los nuevos resultados muestran que, sorprendentemente, es posible que en realidad no se necesite ningún truco", dice Kenneth Stanley, científico informático de Uber y coautor de los cinco estudios. "Eso significa que los problemas complejos que requieren una gran red ahora son accesibles a neuroevolution, ampliando enormemente su alcance potencial de aplicación".
En Uber (la empresa internacional que proporciona una red de transporte privado a través de un software de aplicación móvil), tales aplicaciones pueden incluir manejar autos autónomos, fijar los precios de los clientes o enrutar los vehículos a los pasajeros. Pero el equipo, parte de un amplio esfuerzo de investigación, no tenía usos específicos en mente cuando hacía el trabajo. En parte, simplemente querían desafiar lo que Jeff Clune, otro coautor de Uber, llama "los favoritos modernos" del aprendizaje automático: algoritmos que usan algo llamado "descenso de gradiente", un sistema que mejora gradualmente una solución al reducir su error. Casi todos los métodos de entrenamiento de redes neuronales para realizar tareas se basan en el descenso gradual.
Uber utiliza un enfoque completamente diferente que intenta muchas soluciones a la vez. Se prueba una gran colección de redes neuronales programadas al azar (por ejemplo, en un juego de Atari), y se copian las mejores, con ligeras mutaciones aleatorias, reemplazando a la generación anterior. Las nuevas redes juegan el juego, las mejores se copian y se mutan, y así sucesivamente durante varias generaciones. La ventaja de este método sobre el descenso de gradiente es que intenta una variedad de estrategias en lugar de poner todo su empeño en perfeccionar una única solución. En comparación con dos de los métodos más ampliamente utilizados para el entrenamiento de redes neuronales, este enfoque exploratorio los superó en cinco de los 13 juegos de Atari. También logró enseñar a caminar un robot humanoide virtual.
"Alucinante"
Clune dice que el hecho de que el algoritmo exploratorio funcionó en redes tan grandes fue "alucinante", porque millones de conexiones fueron mutadas al azar de forma simultánea. Además, le sorprendió que su versión básica del algoritmo exploratorio superara los algoritmos estándar de la industria. Eso significa que los investigadores deberían poder mejorarlo de varias maneras. De hecho, cuando lo combinaron con dos técnicas para mejorar su proceso de selección evolutiva, una de las cuales inventaron e informaron en un documento complementario, mostraron grandes saltos en el rendimiento. En un caso, llegó al final de un laberinto ya que tres algoritmos de comparación, todos con descenso de gradiente, permanecieron atrapados en callejones sin salida.
Los otros tres documentos de Uber se basaron en un enfoque pseudoevolutivo promovido por la organización sin fines de lucro OpenAI con sede en San Francisco el año pasado. OpenAI usó el algoritmo (que se aproxima al descenso del gradiente) para crear redes que podrían dominar los juegos de Atari como Pong y Ski. Las versiones del equipo de Uber lo mejoraron de varias maneras y proporcionaron información sobre cómo funcionaba la versión original.
Risto Miikkulainen, científico informático de la Universidad de Texas en Austin y Sentient Technologies en San Francisco, dice que está "bastante entusiasmado" con el éxito del algoritmo exploratorio, que no fue sencillo de ampliar. Tim Salimans, uno de los informáticos detrás del algoritmo de OpenAI, dice que para resolver problemas difíciles, el algoritmo exploratorio "definitivamente agrega una opción adicional a la mezcla". Todos los investigadores sugirieron que, en el futuro, las mejores soluciones podrían incluir híbridos de sistemas existentes. La evolución es buena para encontrar soluciones diversas, y el descenso de gradiente es bueno para refinarlas. Con las nuevas herramientas ofrecidas por los artículos de OpenAI y Uber, Clune dice que 2017 será visto como un "punto de inflexión" para la neuroevolución.
