Wegmans goza desde hace tiempo de una reputación como marca que antepone al cliente, conocida por la limpieza de sus tiendas, su servicio atento y un tipo de fidelidad hacia la cadena de supermercados que raya en la devoción. Esa reputación se puso a prueba el mes pasado, cuando los informes de revelaron que la empresa había comenzado a recopilar y almacenar discretamente datos biométricos de los clientes en algunos establecimientos, incluida la ciudad de Nueva York, como parte de una iniciativa de prevención de pérdidas.
Según Wegmans, el sistema está diseñado para alertar a los empleados cuando personas de las que se sospecha que han cometido hurtos en el pasado vuelven a entrar en una tienda. La cadena, con sede en Rochester, ha destacado que los datos no se comparten con terceros y que se utilizan exclusivamente con fines de seguridad. (Wegmans no respondió a una solicitud de comentarios por parte de un representante de « ».)
Aun así, la respuesta no se hizo esperar. Los clientes, los legisladores y los defensores de la privacidad de los datos de expresaron su preocupación por el reconocimiento facial, el consentimiento y si el escaneo de un gran número de compradores para identificar a un número relativamente reducido de infractores constituía una respuesta proporcionada al hurto en comercios.
El problema no se limita únicamente a Wegmans: otras cadenas de supermercados (como Whole Foods), minoristas (como Macy’s), así como bancos, empresas de tarjetas de crédito, empresas del sector sanitario, estadios y otras empresas están implantando a toda velocidad sistemas biométricos. La Asamblea del Estado de Nueva York tiene actualmente pendiente un proyecto de ley que exigiría «una notificación clara y medidas de protección de la privacidad» cuando los comercios utilicen tecnología biométrica en sus establecimientos.
Rachel Barnhart, una legisladora del condado de Monroe, en Nueva York, que escribió una carta dirigida a Wegmans, afirma que le llamó la atención la rapidez y la intensidad de la reacción negativa. «Había una sensación abrumadora de: “Solo voy al supermercado, ¿por qué me están escaneando la cara?”», afirma.
La reacción negativa también se debió a la forma en que se llevó a cabo la medida: de manera discreta, con escasa explicación pública y en un momento en el que la gente ya se muestra profundamente escéptica respecto a cómo las empresas implementan la inteligencia artificial (IA) , especialmente cuando opera en espacios físicos.
«: Cuando no se dispone de normas claras ni de una regulación coherente, las organizaciones acaban estableciendo sus propias reglas». Y ahí es donde entra en juego el riesgo.»Melissa Bischoping, directora sénior de seguridad e investigación en diseño de productos de Tanium
Para las organizaciones que observan cómo se desarrolla esta situación, el caso de Wegmans pone de relieve los riesgos que entraña el uso de la IA de cara al público: la confianza es frágil, las deficiencias en la gobernanza resultan costosas, y el escrutinio a menudo no se intensifica hasta que los sistemas ya están en funcionamiento, señala Melissa Bischoping, directora sénior de seguridad e investigación en diseño de productos de Tanium, una empresa innovadora en soluciones de ciberseguridad y TI autónoma (y editora de esta revista).
«Cuando no se dispone de normas claras ni de una normativa coherente, las organizaciones acaban estableciendo sus propias reglas», afirma Bischoping. «Y ahí es donde se cuela el riesgo».
La gobernanza de la IA y el equilibrio entre confianza y fricción en la IA de alta fricción
Cuando las organizaciones implementan la inteligencia artificial que afecta directamente a las personas en espacios físicos —ya sea en tiendas de alimentación, aeropuertos o calles de la ciudad—, están transformando la forma en que los clientes perciben la marca.
«. Los clientes no pueden restablecer sus datos faciales ni de voz si surge algún problema, por lo que la empresa asume una responsabilidad permanente por lo que, a menudo, es un problema temporal.»La Dra. Saiph Savage, profesora adjunta y directora del Laboratorio de IA Cívica de la Universidad Northeastern
El Dr. Saiph Savage, profesor adjunto de la Universidad Northeastern que investiga sobre la inteligencia artificial centrada en las personas, afirma que las organizaciones suelen subestimar hasta qué punto las tecnologías orientadas a la vigilancia pueden entrar en conflicto con las expectativas de hospitalidad o de servicio. «Hay que preguntarse hasta qué punto se quiere modificar la relación del cliente con la marca solo para optimizar un indicador operativo», afirma.
Esa tensión se hace especialmente patente cuando el beneficio percibido es limitado —como la reducción de los hurtos en las tiendas— mientras que la intrusión percibida afecta a todas las personas que cruzan la puerta, afirma. En el caso de Wegmans, los críticos cuestionaron si la empresa había explicado con claridad por qué era necesaria la recogida de datos biométricos, y mucho menos si merecía la pena a cambio del daño a su reputación.
[Lea también: El nuevo dilema de la biometría: ¿nos aportará seguridad o nos causará problemas?]
Savage, director del Laboratorio de IA Cívica de la Universidad Northeastern, plantea esta cuestión como un problema de proporcionalidad. La recopilación de identificadores personales inmutables para hacer frente a un reto que desde hace tiempo afecta al sector minorista obliga a los directivos a plantearse dilemas difíciles. «Los datos biométricos son un activo inalterable», afirma. «Los clientes no pueden restablecer sus datos faciales ni de voz si surge algún problema, por lo que la empresa asume una responsabilidad permanente por lo que, a menudo, es un problema temporal».
Datos permanentes, responsabilidad a largo plazo
Desde el punto de vista de la ciberseguridad, los datos biométricos modifican de manera fundamental el perfil de riesgo de una organización. A diferencia de los números de tarjetas de pago o de las contraseñas de , los identificadores biométricos no pueden cambiarse tras una filtración de datos. Una vez que quedan al descubierto, siguen estando al descubierto.
«Muy pocas personas necesitan acceder a los datos sin procesar. Cuanta menos gente pueda verlo, menor será el radio de la explosión si algo sale mal.»Obispado
Los datos biométricos también se encuentran en una compleja zona gris normativa en Estados Unidos. Las medidas de protección de la privacidad varían según el estado, y no existe ninguna norma federal exhaustiva que regule cómo debe gestionarse la información biométrica. Para las organizaciones que operan en distintas jurisdicciones, esa falta de uniformidad plantea dificultades en materia de cumplimiento normativo, incluso antes de que se tengan en cuenta los riesgos de seguridad.
«Existe un amplio margen de maniobra en cuanto a la forma en que las empresas describen lo que hacen con los datos biométricos», afirma Bischoping.
Ese margen de maniobra se reduce cuando las cosas salen mal. En caso de que se produzca una infracción, las consecuencias van más allá de las pérdidas económicas inmediatas. Bischoping señala que los datos biométricos que, a primera vista, parecen anonimizados pueden resultar peligrosos si, con el paso del tiempo, se combinan con otros conjuntos de datos que hayan sido objeto de filtraciones. «Se empiezan a observar patrones de comportamiento: dónde compran las personas, dónde trabajan, dónde viven», afirma, y señala que dicha exposición puede resultar especialmente perjudicial para las personas que corren el riesgo de sufrir acoso o violencia doméstica. «No se debe subestimar el daño a la imagen de marca». «Si los clientes no se sienten seguros, dejarán de acudir».
[Read also: Brands and board reputation—7 cyber steps to boost investor and consumer confidence]
En lugar de centrarse únicamente en la rentabilidad a corto plazo, Savage insta a los directivos a tener en cuenta el ciclo de vida completo del riesgo. «¿Merece la pena reducir los hurtos en tiendas a lo largo de cinco años a cambio de asumir una responsabilidad de 50 años en caso de que se produzca una filtración de datos biométricos?», pregunta, argumentando que los riesgos a largo plazo suelen superar las ventajas operativas a corto plazo.
La gobernanza de la IA antes de su implantación, no después
Una de las lecciones más claras que se desprenden del caso de Wegmans es que la gobernanza no puede ser una cuestión secundaria, afirma Savage. Las organizaciones suelen implantar sistemas de inteligencia artificial —especialmente aquellos que implican datos biométricos— antes de haber definido plenamente los criterios de uso aceptable, de rendición de cuentas o de retirada.
«. Una vez que los datos biométricos están ahí fuera, no hay botón de “deshacer”.»Rachel Barnhart, diputada del condado de Monroe (Nueva York), del Partido Demócrata por Rochester
Savage hace hincapié en que las medidas de seguridad no se limitan únicamente a la protección de los datos. «Se trata de definir los límites más allá de los cuales ya no se permite que la tecnología funcione», afirma, señalando la necesidad de establecer umbrales claros en cuanto a índices de error, sesgos y falsos positivos.
La gobernanza debe extenderse también a la infraestructura y a los controles de acceso . Bischoping afirma que no es necesario que los datos biométricos estén ampliamente disponibles para que resulten útiles desde el punto de vista operativo. «Son muy pocas las personas que necesitan acceder a los datos brutos», afirma. «Cuanta menos gente pueda verlo, menor será el radio de la explosión si algo sale mal».
Los terceros y la legislación fragmentada: obstáculos inesperados para la gobernanza de la IA
Las políticas de retención son igualmente fundamentales. El lenguaje impreciso sobre la conservación de los datos «mientras sea necesario» deja demasiado margen para que la información sensible permanezca indefinidamente, añade Bischoping. «Así es como se olvidan los datos, y los datos olvidados se convierten en un tesoro para una futura filtración de datos».
Dados los riesgos normativos y de privacidad asociados al uso de la tecnología biométrica, los expertos recomiendan que cualquier marco de gobernanza inteligente incluya también una gestión reforzada del cumplimiento de la normativa « » (). Una mayor visibilidad de los datos personales puede dar lugar a problemas de cumplimiento normativo y a preocupaciones en materia de privacidad si no se gestiona dentro de marcos estrictos; además, estos riesgos no harán más que aumentar a medida que el malestar de la ciudadanía respecto a la inteligencia artificial ejerza presión sobre los legisladores de diversas jurisdicciones para que actúen, lo que dará lugar a un mosaico de normativas.
Los proveedores externos suponen un riesgo adicional. Si los datos biométricos se tratan o almacenan externamente, las organizaciones deben saber dónde se encuentran dichos datos, quién puede acceder a ellos y qué ocurre si la actividad del proveedor sufre cambios. Esos escenarios resultan mucho más fáciles de gestionar cuando los marcos de gobernanza los prevén, en lugar de reaccionar una vez que ya se ha perdido la confianza, afirma Bischoping.
Las organizaciones deben partir de la base de que cualquier dato que recopilen hoy perdurará más tiempo de lo que esperan, afirma Bischoping.
«Las empresas pueden probar esta tecnología, pero no asumen personalmente las consecuencias en caso de que falle», añade Barnhart. «Los consumidores sí lo hacen. «Y una vez que los datos biométricos están ahí fuera, no hay forma de dar marcha atrás».
