Lectura rápida del documental de Netflix sobre el sesgo en los algoritmos
// por Laura Ponce y Lucía Vazquez
En abril de este año Netflix subió a su plataforma el documental estadounidense que se estrenó en noviembre de 2020 en Sundance, Coded bias, traducido como “Prejuicio cifrado”. En estas breves líneas pensamos algunos aspectos interesantes del film independiente realizado por Shalini Kantayya, hija de padres indios, cuya filmografía se cruza con su activismo de derechos humanos, ecología y feminismo.
El documental se enfoca en los algoritmos de reconocimiento facial y los sesgos en su programación. Todo empieza cuando la científica –y luego activista– Joy Buolamwini descubre que la aplicación de filtros faciales que ella misma diseñó no reconoce su cara hasta que se pone una máscara blanca. Negra, joven, mujer, Joy tiene un rostro que el algoritmo no reconoce como tal, como un rostro. Inquietísima y potente, no para hasta hacer que los CEOS de Amazon salgan a pedir disculpas, porque sus algoritmos de selección de personal podrían ser “discriminadores”. Y aquí se abren dos caminos para la investigación de Joy y el propio documental. Por un lado, se abre la posibilidad de que todos los algoritmos discriminen. Y por otro ¿de qué hablamos cuando decimos que un algoritmo discrimina?
Kantayya sale por momentos de la historia que sigue a Joy –que, alerta spoiler, termina haciendo una presentación en el Congreso norteamericano y convenciendo a buena parte de los Estados de que la policía no use las aplicaciones de reconocimiento facial– para visitar otros casos de discriminación algorítimica o códigos sesgados. Entre los que pueden resultar más inquietantes para nuestra imaginación sci-fi está el del caso de las escuelas que evalúan a sus docentes con un algoritmo que nadie entiende cómo funciona pero que puede puntuar mal a profesionales admiradxs y con experiencia, al punto de dejarlxs sin trabajo. Y luego el caso de Hong Kong, donde el sistema de orden social basado en el reconocimiento facial y el “crédito social” hace más naif aún el capítulo de Black Mirror, Nosedive, dejándolo retro. Este sistema, que merece un documental aparte, en Coded bias funciona por momentos como referencia positiva (“al menos en China son honestos: no ocultan que lo usan para controlar el orden social”) o como pesadilla orwelliana, pero se referencia muy poco y no parece haber posición tomada de parte del propio documental. Sí se dedica buena parte a contar la historia de la agrupación Big brother watch, encargada de luchar contra el reconocimiento facial arbitrario y sin regulación en U.K., usado para averiguación de antecedentes y posibles arrestos. Silkie Carlo y su equipo terminaron demostrando que el algoritmo falla un preocupante porcentaje de veces, lo que deriva en la detención de personas identificadas erróneamente y en una nueva forma de abuso de las fuerzas represivas del Estado. La preocupación esencial de este grupo británico se centra en la falta de leyes que regulen el uso estatal de algoritmos.
Volviendo a Joy, su preocupación se enfoca en el sector privado, donde hay todavía menos regulación. Entre las voces –mayormente femeninas– que dan curso al relato del documental, están las de Cathy O´Neil, Amy Webb y Meredith Broussard autoras de obras de “denuncia” de los algoritmos. Más allá de lo que sabemos de su utilización para mostrarnos “más de lo que nos gusta” en plataformas y en redes sociales (incluyendo experimentos de manipulación de usuarios en relación a votaciones), ya se usan algoritmos para seleccionar personal, cotizar seguros, calcular la capacidad crediticia, etc. Se suele decir que “la decisión la tomó una máquina, no una persona” queriendo implicar imparcialidad, incluso infalibilidad; lo simple que de tan obvio queda convenientemente oculto es que a los códigos los programaron seres humanos (hombres blancos cis, qué sorpresa) con sus sesgos ideológicos, es decir, gente con sus propias ideas y visión del mundo que han creado algoritmos para que “aprendan” partiendo de una base cuyo criterio está lejos de ser neutro o aséptico. La mayor preocupación actual es que estos algoritmos fueron creados para –por decirlo de una manera bien pulp– aprender solos y cobrar autonomía. Lejos de imaginarios como el de Her (Spike Jonze, 2013) o Ex machina (Alex Garland, 2015), aquí las inteligencias artificiales se vuelven cajas negras en las que nadie sabe con precisión por qué toman las decisiones que toman, reproduciendo al infinito (y sin control) los sesgos con los que fueron creadas. No es una independencia real ni tiene motivación propia, como demuestra el caso de 2016 del bot de conversación, Tay, que con solo 16hs en Twitter comenzó a publicar mensajes nazis y misóginos.
La rebelión de los (ro)bots es mucho menos divertida que en la ciencia ficción, como sucede con casi todos los eventos del apocalipsis. En la vida ordinaria evitará que el banco te dé un préstamo, cotizará más caro tu seguro, no podrás comprar con tal beneficio tal producto, hasta quizá te deje sin trabajo o no te conceda audiencia para tu libertad condicionada, pero nada de batallas o enfrentamientos llenos de acción y réplicas inteligentes. Lejos de haber visto rayos-C brillar en la oscuridad cerca de la Puerta de Tannhäuser, las inteligencias artificiales que manejan nuestras vidas resultan cajas bobas e impredecibles, por lo tanto, menos divertidas y mucho más peligrosas.
Este documental también pone en evidencia nuestras posibles contradicciones con respecto a querer ser identificades o no. La gesta de Joy comienza porque descubre que el programa de reconocimiento facial no la reconoce, no “entiende” su cara como una cara, y ella quiere cambiar eso, quiere ser identificada, como cada une de nosotres cuando nos etiquetamos en una foto. Al mismo tiempo el documental nos muestra en UK la historia de Big brother watch, donde el problema es convertirse en un “falso positivo” (ser identificado erróneamente como alguien buscado por la policía) y la situación en China, donde el reconocimiento fácil es controlado por el Estado y se usa para todo, desde tomar el subte hasta comprar en un kiosco (no ser identificado no es opción). Más allá de lo escalofriante de comprender cómo podría convertirse de inmediato en absoluto paria cualquier persona declarada “enemiga del Estado” en un sistema de esas características, nos tientan las comodidades que ofrece; subyace el deseo de pertenecer. Parece que no hubieran servido de nada las advertencias de la CF sobre los sistemas de control basados en el manejo de información y quizás hasta hayan contribuido a naturalizar la idea. Parece que vivimos en esa tensión entre ser conscientes de los riesgos y saber que no está bueno seguir alimentando a la bestia del big data con información sobre nosotres, pero al mismo tiempo no querer quedarnos afuera e ir cediendo.
Y hay una pregunta inevitable: ¿por qué vemos esto en Netflix? Tanto una falla de la matrix como estudios de mercado imposibles de entender pueden acercarnos documentales o films indies como estos que por supuesto tendrán intereses ocultos o no tan ocultos. Sabido es que Amazon y su plataforma de streaming es competencia feroz para la de la N roja así que tampoco resulta muy sorprendente la apuesta por un producto documental, que pese a todo es bastante sincero y combativo. Hay información real sobre cómo pelear contra el sesgo del algoritmo, se visibilizan agrupaciones de activistas, se ilumina el costado legal del asunto. A diferencia de otros productos de Netflix como el supuesto Dilema de las redes sociales (en inglés aún menos específico The Social Dilemma) que es un gran hacer “como si” denunciaran la forma en que los algoritmos de las redes sociales u otras plataformas “atrapan” al usuario, Coded bias cuenta historias reales de gente real que ha sido víctima del sesgo y ha decidido combatirlo. En este sentido el documental de Kantayya resulta propositivo más allá de Netflix y su propio algoritmo.