La IA es cada vez más poderosa y pronto nos enfrentaremos con un buen problema: ¿cómo podemos estar seguros de que se comporta como queremos? ¿Cómo se programa un sistema para que entienda y considere los valores humanos?
Normalmente, cuando hablamos de IA, nos imaginamos algo como HAL, una máquina que habla y entiende los deseos humanos. Pero no hace falta ir tan lejos.
Imagina un coche que se conduce a sí mismo y lleva un pasajero. Entonces, se acerca a una situación en la que calcula que tiene dos opciones. Uno: puede hacer una maniobra para esquivar el peligro y salvarle la vida al pasajero. O dos: puede lanzarse desde un puente, lo que mataría al pasajero, pero salvaría la vida de las cuatro personas que van en el coche de delante.
Si programamos la IA para salvar tantas vidas como pueda, hacemos que el coche pueda matar a su propio pasajero. Si hacemos lo contrario, decirle que proteja las vidas humanas que lleva a toda costa, el coche podría atropellar peatones con tal de salvar a los pasajeros.
Es muy complicado hacer que las máquinas hagan lo que queremos, y este problema se vuelve más difícil a medida que son más inteligentes y complejas. Nos gusta pensar que hay conceptos fundamentales como el valor de la vida, pero eso no tiene por qué ser aplicable a una IA.
Por ejemplo, hay un famoso experimento que imagina qué pasaría si hubiera una IA que valorara los clips más que nada y acabara convirtiendo todo el planeta en clips. Nos puede parecer extravagante, pero para una IA, incluso si fuera extremadamente inteligente, todo lo que nos parece sagrado no significaría nada. Esto es otro tema que se aborda en SOMA.