Los presentadores de noticias son ficticios, la desinformación es de verdad

Un presentador de noticias con el pelo oscuro perfectamente peinado y barba incipiente destacaba en un video lo que consideraba la vergonzosa falta de acción de Estados Unidos contra la violencia armada.

En otro video, una presentadora proclamaba el papel de China en las relaciones geopolíticas durante una cumbre internacional.

Pero algo no cuadraba. Sus voces eran acartonadas y no se sincronizaban con el movimiento de sus bocas. Sus rostros parecían pixelados, como en un videojuego, y sus cabellos pegados a la cabeza lucían poco naturales. Los subtítulos estaban llenos de errores gramaticales.

Los dos conductores, supuestamente presentadores de un medio de noticias llamado Wolf News, no son personas de verdad. Son avatares generados por computadora y creados por programas de inteligencia artificial (IA). Y a finales del año pasado, cuentas bot prochinas distribuyeron videos de ellos en Facebook y Twitter. Se trata del primer caso conocido de uso de tecnología de video deepfake, —que es el nombre que reciben los videomontajes ultrarrealistas hechos con software de IA— para producir personas ficticias como parte de una campaña de información alineada a un Estado.

“Es la primera vez que vemos esto suelto allá afuera”, dijo Jack Stubbs, vicepresidente de inteligencia de Graphika, una empresa de investigación que estudia la desinformación. Graphika descubrió la campaña a favor de China, que parecía destinada a promover los intereses del Partido Comunista Chino y socavar los de Estados Unidos para los espectadores de habla inglesa.

La tecnología deepfake, que no ha dejado de avanzar durante casi una década, tiene la capacidad de generar marionetas digitales parlantes. El software de IA se utiliza a veces para distorsionar a figuras públicas, como un video que circuló por las redes sociales el año pasado en el que se mostraba falsamente a Volodímir Zelenski, presidente de Ucrania, anunciando una rendición. Pero el software también puede crear personajes de la nada, lo que va más allá del software de edición tradicional y las costosas herramientas de efectos especiales usadas por Hollywood, y difumina la línea entre realidad y ficción hasta un grado extraordinario.

Los expertos en desinformación hace tiempo advierten que, con pocas leyes para gestionar la difusión de esta tecnología, los videos deepfake podrían mermar aún más la capacidad de la gente para discernir la realidad de las falsificaciones en línea, y podrían emplearse indebidamente para desencadenar disturbios o provocar un escándalo político. Estas predicciones ahora se han hecho realidad.

Si bien el uso de deepfakes en la campaña de desinformación favorable a China descubierta recientemente fue torpe, sí abre un nuevo capítulo en la guerra de la información. En las últimas semanas, se ha dado a conocer en internet otro video en el que se utilizaba una tecnología de inteligencia artificial similar y que mostraba a personas ficticias que se describían a sí mismas como estadounidenses, promoviendo el apoyo al gobierno de Burkina Faso, que es objeto de escrutinio por sus vínculos con Rusia.

El software de IA, que puede adquirirse fácilmente en internet, permite crear “videos en cuestión de minutos y las suscripciones cuestan a partir de unos pocos dólares al mes”, explica Stubbs. “Eso facilita la producción de contenidos a escala”.

Graphika relacionó a los dos falsos presentadores de Wolf News con la tecnología de Synthesia, una empresa de IA con sede en el piso superior de una tienda de ropa de la zona londinense de Oxford Circus.

La empresa emergente, de cinco años de antigüedad, crea software para generar avatares falsos ultrarrealistas. El cliente solo tiene que escribir un guion, que luego lee uno de los actores digitales producidos con las herramientas de Synthesia.

Según Synthesia, los avatares inteligencia artificial son “gemelos digitales” basados en la apariencia de actores contratados y pueden manipularse para que hablen en 120 idiomas y acentos. Ofrece más de 85 personajes para elegir con diferentes géneros, edades, etnias, tonos de voz y opciones de vestimenta.

Un personaje de IA, llamado George, tiene el aspecto de un experimentado ejecutivo de negocios con el pelo canoso y viste una chaqueta azul y camisa. Otra, Helia, lleva un hiyab. Carlo, otro avatar, usa un casco. Samuel viste una bata blanca como las que usan los médicos. (Los clientes también pueden utilizar Synthesia para crear sus propios avatares basados en sí mismos o en otras personas que les hayan dado permiso).

Los clientes emplean el software de la empresa sobre todo para videos de recursos humanos y formación, en los que basta con una calidad de producción poco pulida. El software, que cuesta desde 30 dólares al mes, produce en cuestión de minutos videos que, de otro modo, llevarían varios días y requerirían la contratación de un equipo de producción de video y actores humanos.

Todo el proceso es “tan fácil como escribir un correo electrónico”, afirma Synthesia en su sitio web.

Cómo suele lucir un personaje

He aquí algunos ejemplos de personajes generados por la inteligencia artificial de Synthesia que se han empleado en diversas campañas publicitarias y similares.

Victor Riparbelli, cofundador y director ejecutivo de Synthesia, dijo que quienes emplearon su tecnología para generar los avatares descubiertos por Graphika habían violado sus condiciones de servicio. Esas condiciones establecen que la tecnología de la empresa no debe utilizarse para “contenido político, sexual, personal, delictivo o discriminatorio”. Riparbelli no quiso dar información sobre las personas que estaban detrás de los videos de Wolf News, pero dijo que sus cuentas habían sido suspendidas.

Riparbelli añadió que Synthesia cuenta con un equipo de cuatro personas dedicadas a evitar que su tecnología deepfake se use para crear contenidos ilícitos, pero dijo que la desinformación y otros materiales que no incluyan abiertamente discursos de odio, calumnias, palabras explícitas e imágenes podrían ser difíciles de detectar.

“Es muy difícil determinar que esto constituye desinformación”, dijo tras mostrarle uno de los videos de Wolf News. Dijo que asumía “toda la responsabilidad por cualquier cosa que ocurra en nuestra plataforma”, y pidió a los responsables políticos que establezcan reglas más claras sobre el uso de las herramientas de IA.

Según Riparbelli, identificar la desinformación será cada vez más difícil. Con el tiempo, añadió, la tecnología deepfake será lo suficientemente sofisticada como para “hacer una película de Hollywood en una computadora portátil sin necesidad de nada más”.

Graphika vinculó a Synthesia con la campaña de desinformación a favor de China al rastrear los dos avatares de Wolf News hasta otros videos de entrenamiento inocuos en línea en los que aparecían los mismos personajes. En el sitio web de Synthesia los dos avatares se llamaban “Anna” y “Jason”.

El mismo avatar generado por IA apareció así en campañas de mercadeo y desinformación.

Los avatares leen un guion que ha sido alimentado en el software de Synthesia. Con las caras pixeladas y las voces robóticas de los personajes, pronto se nota que hay algo raro.

“Jason”

“Anna”

En el video de apoyo al nuevo gobierno de Burkina Faso, también aparece Anna. “Sigamos todos movilizados en respaldo del pueblo burkinés en esta lucha común”, decía en un monótono tono y robótico. “Patria o muerte, venceremos”.

Los videos deepfake proliferan desde hace años. Kendrick Lamar utilizó esta tecnología en un video musical el año pasado para transformarse en Kanye West, Will Smith y Kobe Bryant. Los sitios web de pornografía han recibido críticas por mostrar videos en los que se había usado la tecnología para copiar ilícitamente la imagen de actrices famosas.

En China, las empresas de inteligencia artificial llevan más de cinco años desarrollando herramientas de deepfake. En 2017, para un truco publicitario en una conferencia, la empresa china iFlytek creó un video deepfake del entonces presidente de Estados Unidos, Donald Trump, hablando en mandarín. Desde entonces, iFlytek ha sido incluida en una lista de de Estados Unidos que limita la venta de tecnología de fabricación estadounidense por motivos de seguridad nacional.

Meta, dueña de Facebook, Instagram y WhatsApp, dijo que había eliminado al menos una cuenta afiliada a los videos deepfake pro China tras ser contactada por The New York Times. La empresa, que no quiso hacer más comentarios, no permite videos ni otros medios manipulados con la intención de engañar. Twitter no respondió a las solicitudes de comentarios.

Graphika dijo que descubrió los videos deepfake mientras seguía cuentas de redes sociales vinculadas a una campaña de desinformación pro China conocida como spamuflage. En este tipo de campañas, las cuentas de spam político plantan contenido en internet y luego utilizan otras cuentas que forman parte de una red para amplificar el material a través de plataformas.

Los investigadores señalaron que el uso de la tecnología deepfake era más notable que el impacto real de los videos, que no fueron vistos por mucha gente. Los dos videos en los que aparecían los supuestos presentadores de Wolf News fueron publicados al menos cinco veces entre el 22 y el 30 de noviembre por cinco cuentas, según Graphika. Las publicaciones fueron compartidas por al menos otras dos cuentas, que parecían formar parte de una red proChina.

Stubbs dijo que los comerciantes de desinformación seguirán experimentando con software de inteligencia artificial para producir contenidos cada vez más convincentes que sean difíciles de detectar y verificar.

“Lo que estamos viendo hoy es otra señal de lo que está por venir”, dijo.

Elian Peltier colaboró con reportería desde Dakar, Senegal. Producción de video por Axel Boada.

Adam Satariano es corresponsal de tecnología y reside en Europa, donde su trabajo se centra en la política digital y la intersección de la tecnología y los asuntos internacionales. @satariano

Paul Mozur es corresponsal en Asia con énfasis en la tecnología y la geopolítica. Fue parte de un equipo que ganó el Premio Pulitzer de 2021 en la categoría de servicio público por la pandemia de coronavirus. @paulmozur