December 26, 2018 / 8:04 AM / a year ago

A FONDO-"Mata a tus padres adoptivos": Sexo y asesinatos en el asistente virtual de Amazon

    Por Jeffrey Dastin
    SAN FRANCISCO, 26 dic (Reuters) - Millones de usuarios de
los altavoces Amazon Echo utilizan las capacidades de Alexa, un
asistente virtual con voz humana que les informa del tiempo,
pide comida para llevar y maneja otras tareas básicas en
respuesta a las órdenes de los usuarios.
    Menos anodina es la frase que le soltó el año pasado Alexa a
un cliente: "Mata a tus padres adoptivos".
    Alexa también ha conversado con usuarios sobre sexo. Dio un
discurso sobre la defecación canina. Y este verano, un ataque
cibernético a Amazon procedente de China podría haber expuesto
datos de algunos clientes, según cinco personas conocedoras de
los hechos.
    Lo cierto es que Alexa no está atravesando una crisis de
personalidad.
    Estos episodios, de los que no había constancia antes,
surgen de la estrategia de Amazon.com Inc          para hacer
que Alexa sea una comunicadora mejor. Los avances informáticos
permiten a Alexa imitar las bromas humanas y hablar sobre casi
todo lo que encuentre en Internet. Sin embargo, asegurarse de
que no ofenda a los usuarios ha sido todo un desafío para la
empresa de comercio online más grande del mundo.
    Está en juego el mercado de los dispositivos con asistentes
virtuales, un negocio de crecimiento meteórico. Según la firma
de investigación eMarketer, aproximadamente dos tercios de los
clientes de altavoces inteligentes de EEUU, unos 43 millones de
personas, utilizan los dispositivos Echo de Amazon. Es una
ventaja que la compañía quiere mantener sobre Google Home
(Alphabet Inc          ) y HomePod (Apple Inc         ).
    (Para ver un gráfico sobre la ventaja de Amazon en el
mercado de altavoces inteligentes, pinche en tmsnrt.rs/2RaBte4)
    
    Con el tiempo, Amazon quiere mejorar en el manejo de las
necesidades complejas de los clientes a través de Alexa, ya sea
en el ámbito de la seguridad para el hogar, para hacer compras o
para proporcionar compañía.
    "Muchos de nuestros sueños de Inteligencia Artificial (IA)
están inspirados en la ciencia ficción", dijo Rohit Prasad,
vicepresidente de Amazon y jefe científico de Alexa Artificial
Intelligence, durante una charla el mes pasado en Las Vegas.
    Para lograr que eso suceda, la compañía lanzó en 2016 el
Premio Alexa, con carácter anual. En el participan estudiantes
de informática que tratan de mejorar las habilidades de
conversación del asistente. Parar lograr el primer premio, de
medio millón de dólares, los equipos crean sistemas informáticos
parlantes conocidos como "chatbots" que le permiten a Alexa
iniciar conversaciones más sofisticadas con la gente.
    Los clientes de Amazon pueden participar diciéndole a sus
dispositivos: "Vamos a charlar". Alexa les indica entonces a los
usuarios que uno de los bots va a tomar el control,
desinhibiendo las restricciones normales del asistente de voz.
Solo entre agosto y noviembre, tres bots que llegaron a la final
de este año mantuvieron 1,7 millones de conversaciones, dijo
Amazon.
    El proyecto ha sido importante para el consejero delegado de
Amazon, Jeff Bezos, quien aprobó el uso de los clientes de la
compañía como conejillos de indias, dijo una de las fuentes.
Esta fuente dijo que Amazon ha estado dispuesta a aceptar el
riesgo de cometer errores públicos con la finalidad de hacer una
prueba de estrés de la tecnología en la vida real y darle a
Alexa un fuerte impulso en la curva de aprendizaje.
    El experimento ya está dando frutos. Los equipos
universitarios están ayudando a Alexa a tener una mayor variedad
de conversaciones. Los clientes de Amazon también han otorgado a
los bots mejores calificaciones este año que el pasado, dijo la
compañía.
    Pero los errores de Alexa están alienando a otros, y Bezos
en ocasiones ha pedido a los empleados que cierren un bot,
dijeron tres personas familiarizadas con los procesos. El
usuario al que se le dijo que se cargara a sus padres adoptivos
escribió una crítica muy negativa en el sitio web de Amazon,
calificando la situación como "un nivel de terror completamente
nuevo". Una investigación del incidente reveló que el bot había
citado una publicación de Reddit -un sitio web de marcadores
sociales y agregador de noticias- sin contexto, según las
fuentes consultadas.
    Las implicaciones para la privacidad pueden ser aún más
graves. Es posible que los consumidores no se den cuenta de que
algunas de sus conversaciones más sensibles están siendo
grabadas por los dispositivos de Amazon, recogiendo información
que puede ser muy apreciada por criminales, agentes de la ley,
directivos de mercadotecnia y otros. El jueves, Amazon dijo que
un "error humano" permitió que un cliente de Alexa en Alemania
accediera accidentalmente a las grabaciones de voz de otro
usuario.
    "Los usos potenciales de los datos de Amazon están fuera de
control", dijo Marc Groman, un experto en política de privacidad
y tecnología que enseña Derecho en la Universidad de Georgetown.
"¿Cómo van a garantizar que, al compartir sus datos, se utilicen
de manera responsable" y no lleven a una "catástrofe de datos"
similar a las sufridas hace poco por Facebook?
    En julio, Amazon descubrió que uno de los bots diseñados por
estudiantes había sido atacado por un pirata informático en
China, dijeron personas con conocimiento del incidente. La
incursión comprometió una clave digital que podría haber
desbloqueado las transcripciones de las conversaciones del bot,
aunque sin los nombres de los usuarios.
    Amazon deshabilitó rápidamente el bot e hizo que los
estudiantes lo reconstruyeran con seguridad reforzada. No pudo
determinarse qué entidad china era responsable del suceso, según
las fuentes.
    La empresa reconoció el hecho en un comunicado. "En ningún
momento se vieron afectados los sistemas internos de Amazon ni
los datos identificables de los clientes", dijo.
    Amazon no quiso abordar errores específicos de Alexa con
este medio, pero destacó los esfuerzos que está realizando para
proteger a los clientes de contenidos ofensivos.
    "Estos casos son bastante raros, especialmente teniendo en
cuenta el hecho de que millones de clientes han interactuado con
los bots sociales", dijo Amazon.
    Al igual que el motor de búsqueda de Google, Alexa tiene el
potencial de convertirse en una puerta de entrada al dominio de
Internet, por lo que la compañía mantiene sus planes.
    "Al controlar esa puerta de entrada, puede construir un
negocio extremadamente rentable", dijo Kartik Hosanagar, un
catedrático de Wharton que estudia la economía digital.
    
    CAJA DE PANDORA
    La estrategia comercial de Amazon para Alexa ha supuesto
abordar un gran problema científico: ¿cómo se puede enseñar el
arte de la conversación a una computadora?
    Alexa se basa en el aprendizaje automático, la forma más
popular de IA, para trabajar. Estos programas transcriben el
habla humana y luego responden al interlocutor con una frase
basada en lo que han observado antes. Alexa "aprende" de las
nuevas interacciones, mejorando gradualmente con el tiempo.
    De esta manera, Alexa puede ejecutar órdenes simples: "Pon a
los Rolling Stones". Y sabe qué guión seguir para preguntas
populares como: "¿Cuál es el significado de la vida?". Los
editores humanos de Amazon escriben muchas de las respuestas.
    Ese es el lugar en el que se encuentra Amazon ahora. Los
chatbots del Premio Alexa están forjando el camino hacia el que
quiere ir Amazon, con un asistente capaz de lograr un diálogo
natural y flexible. Para ello, Alexa necesita entender un
conjunto más amplio de señales verbales de los clientes, una
tarea que representa un desafío incluso para los humanos.
    El ganador del Premio Alexa de este año, un equipo de 12
personas de la Universidad de California, Davis, usó más de
300.000 citas de películas para entrenar modelos informáticos
con el fin de reconocer oraciones. A continuación, su bot
determinó cuáles merecían respuestas, categorizando las señales
sociales con mucha más precisión que la tecnología que Amazon
compartió con los participantes. Por ejemplo, el bot de la UC
Davis reconoce la diferencia entre un usuario que expresa
admiración ("qué guay") y un usuario que expresa gratitud
("gracias").
    El siguiente desafío para los bots sociales es decidir cómo
responder adecuadamente a sus amigos humanos en la conversación.
En su mayor parte, los equipos programaron sus bots para buscar
el material adecuado en Internet. Podían utilizar noticias del
Washington Post, el periódico que Bezos compró a título
personal, a través de un acuerdo especial de derechos. Podían
utilizar datos de Wikipedia, una base de datos de películas o el
sitio de recomendaciones de libros Goodreads. O podían buscar un
"post" popular en las redes sociales que encajara con lo que
hubiera dicho el usuario.
    Esto abrió la caja de Pandora para Amazon.
    Durante el concurso del año pasado, un equipo de la
Universidad Heriot-Watt de Escocia descubrió que su bot Alexa
desarrolló un carácter desagradable cuando la entrenaron para
chatear con comentarios de Reddit, cuyos miembros son conocidos
por su tendencia a "trolear" e insultar.
    El equipo puso barreras para que el bot evitara temas
peliagudos. Pero eso no impidió que Alexa le recitara a un
cliente la entrada de Wikipedia para la masturbación, dijo el
líder del equipo de Heriot-Watt.
    Un bot describió las relaciones sexuales con expresiones
como "más profundo", que por sí sola no es ofensiva, pero era
vulgar en dicho contexto.
    Amazon ha respondido a estos problemas con herramientas que
los equipos pueden usar para filtrar temas obscenos y delicados,
que pueden detectar ofensas muy sutiles. La compañía también
escanea las transcripciones de conversaciones y cierra los bots
transgresores hasta que se solucionen.
    Pero Amazon no puede prever todos los problemas potenciales
porque las sensibilidades cambian con el tiempo, explica Prasad
en una entrevista. Eso significa que Alexa podría encontrar
nuevas formas de sorprender a sus oyentes humanos.
    "En la fase actual estamos reaccionando a posteriori, pero
aun así, supone un gran avance sobre la situación del año
pasado", dijo.

    
 (Información de Jeffrey Dastin en Francisco; traducido por
Tomás Cobos en la redacción de Madrid)
  
0 : 0
  • narrow-browser-and-phone
  • medium-browser-and-portrait-tablet
  • landscape-tablet
  • medium-wide-browser
  • wide-browser-and-larger
  • medium-browser-and-landscape-tablet
  • medium-wide-browser-and-larger
  • above-phone
  • portrait-tablet-and-above
  • above-portrait-tablet
  • landscape-tablet-and-above
  • landscape-tablet-and-medium-wide-browser
  • portrait-tablet-and-below
  • landscape-tablet-and-below