Lectura r\u00e1pida del documental de Netflix sobre el sesgo en los algoritmos<\/p>\n\n\n\n
\/\/<\/strong> por Laura Ponce y Luc\u00eda Vazquez<\/strong><\/p>\n\n\n\n En abril de este a\u00f1o Netflix<\/em> subi\u00f3 a su plataforma el documental estadounidense que se estren\u00f3 en noviembre de 2020 en Sundance<\/em>, Coded bias<\/em>, traducido como \u201cPrejuicio cifrado\u201d. En estas breves l\u00edneas pensamos algunos aspectos interesantes del film<\/em> independiente realizado por Shalini Kantayya, hija de padres indios, cuya filmograf\u00eda se cruza con su activismo de derechos humanos, ecolog\u00eda y feminismo.<\/p>\n\n\n\n El documental se enfoca en los algoritmos de reconocimiento facial y los sesgos en su programaci\u00f3n. Todo empieza cuando la cient\u00edfica \u2013y luego activista\u2013 Joy Buolamwini descubre que la aplicaci\u00f3n de filtros faciales que ella misma dise\u00f1\u00f3 no reconoce su cara hasta que se pone una m\u00e1scara blanca. Negra, joven, mujer, Joy tiene un rostro que el algoritmo no reconoce como tal, como un rostro<\/em>. Inquiet\u00edsima y potente, no para hasta hacer que los CEOS de Amazon salgan a pedir disculpas, porque sus algoritmos de selecci\u00f3n de personal podr\u00edan ser \u201cdiscriminadores\u201d. Y aqu\u00ed se abren dos caminos para la investigaci\u00f3n de Joy y el propio documental. Por un lado, se abre la posibilidad de que todos<\/em> los algoritmos discriminen. Y por otro \u00bfde qu\u00e9 hablamos cuando decimos que un algoritmo discrimina?<\/p>\n\n\n\n Kantayya sale por momentos de la historia que sigue a Joy \u2013que, alerta spoiler<\/em>, termina haciendo una presentaci\u00f3n en el Congreso norteamericano y convenciendo a buena parte de los Estados de que la polic\u00eda no use las aplicaciones de reconocimiento facial\u2013 para visitar otros casos de discriminaci\u00f3n algor\u00edtimica o c\u00f3digos sesgados. Entre los que pueden resultar m\u00e1s inquietantes para nuestra imaginaci\u00f3n sci-fi<\/em> est\u00e1 el del caso de las escuelas que eval\u00faan a sus docentes con un algoritmo que nadie entiende c\u00f3mo funciona pero que puede puntuar mal a profesionales admiradxs y con experiencia, al punto de dejarlxs sin trabajo. Y luego el caso de Hong Kong, donde el sistema de orden social basado en el reconocimiento facial y el \u201ccr\u00e9dito social\u201d hace m\u00e1s naif<\/em> a\u00fan el cap\u00edtulo de Black Mirror, Nosedive<\/em>, dej\u00e1ndolo retro. Este sistema, que merece un documental aparte, en Coded bias<\/em> funciona por momentos como referencia positiva (\u201cal menos en China son honestos: no ocultan que lo usan para controlar el orden social\u201d) o como pesadilla orwelliana, pero se referencia muy poco y no parece haber posici\u00f3n tomada de parte del propio documental. S\u00ed se dedica buena parte a contar la historia de la agrupaci\u00f3n Big brother watch<\/em>, encargada de luchar contra el reconocimiento facial arbitrario y sin regulaci\u00f3n en U.K., usado para averiguaci\u00f3n de antecedentes y posibles arrestos. Silkie Carlo y su equipo terminaron demostrando que el algoritmo falla un preocupante porcentaje de veces, lo que deriva en la detenci\u00f3n de personas identificadas err\u00f3neamente y en una nueva forma de abuso de las fuerzas represivas del Estado. La preocupaci\u00f3n esencial de este grupo brit\u00e1nico se centra en la falta de leyes que regulen el uso estatal de algoritmos.<\/p>\n\n\n\n Volviendo a Joy, su preocupaci\u00f3n se enfoca en el sector privado, donde hay todav\u00eda menos regulaci\u00f3n. Entre las voces \u2013mayormente femeninas\u2013 que dan curso al relato del documental, est\u00e1n las de Cathy O\u00b4Neil, Amy Webb y Meredith Broussard autoras de obras de \u201cdenuncia\u201d de los algoritmos. M\u00e1s all\u00e1 de lo que sabemos de su utilizaci\u00f3n para mostrarnos \u201cm\u00e1s de lo que nos gusta\u201d en plataformas y en redes sociales (incluyendo experimentos de manipulaci\u00f3n de usuarios en relaci\u00f3n a votaciones), ya se usan algoritmos para seleccionar personal, cotizar seguros, calcular la capacidad crediticia, etc. Se suele decir que \u201cla decisi\u00f3n la tom\u00f3 una m\u00e1quina, no una persona\u201d queriendo implicar imparcialidad, incluso infalibilidad; lo simple que de tan obvio queda convenientemente oculto es que a los c\u00f3digos los programaron seres humanos (hombres blancos cis, qu\u00e9 sorpresa) con sus sesgos ideol\u00f3gicos, es decir, gente con sus propias ideas y visi\u00f3n del mundo que han creado algoritmos para que \u201caprendan\u201d partiendo de una base cuyo criterio est\u00e1 lejos de ser neutro o as\u00e9ptico. La mayor preocupaci\u00f3n actual es que estos algoritmos fueron creados para \u2013por decirlo de una manera bien pulp<\/em>\u2013 aprender solos y cobrar autonom\u00eda. Lejos de imaginarios como el de Her<\/em> (Spike Jonze, 2013) o Ex machina <\/em>(Alex Garland, 2015), aqu\u00ed las inteligencias artificiales se vuelven cajas negras en las que nadie sabe con precisi\u00f3n por qu\u00e9 toman las decisiones que toman, reproduciendo al infinito (y sin control) los sesgos con los que fueron creadas. No es una independencia real ni tiene motivaci\u00f3n propia, como demuestra el caso de 2016 del bot de conversaci\u00f3n, Tay, que con solo 16hs en Twitter comenz\u00f3 a publicar mensajes nazis y mis\u00f3ginos.\u00a0<\/p>\n\n\n\n La rebeli\u00f3n de los (ro)bots es mucho menos divertida que en la ciencia ficci\u00f3n, como sucede con casi todos los eventos del apocalipsis. En la vida ordinaria evitar\u00e1 que el banco te d\u00e9 un pr\u00e9stamo, cotizar\u00e1 m\u00e1s caro tu seguro, no podr\u00e1s comprar con tal beneficio tal producto, hasta quiz\u00e1 te deje sin trabajo o no te conceda audiencia para tu libertad condicionada, pero nada de batallas o enfrentamientos llenos de acci\u00f3n y r\u00e9plicas inteligentes. Lejos de haber visto rayos-C brillar en la oscuridad cerca de la Puerta de Tannh\u00e4user, las inteligencias artificiales que manejan nuestras vidas resultan cajas bobas e impredecibles, por lo tanto, menos divertidas y mucho m\u00e1s peligrosas.<\/p>\n\n\n\n Este documental tambi\u00e9n pone en evidencia nuestras posibles contradicciones con respecto a querer ser identificades o no. La gesta de Joy comienza porque descubre que el programa de reconocimiento facial no la reconoce, no \u201centiende\u201d su cara como una cara, y ella quiere cambiar eso, quiere ser identificada, como cada une de nosotres cuando nos etiquetamos en una foto. Al mismo tiempo el documental nos muestra en UK la historia de Big brother watch,<\/em> donde el problema es convertirse en un \u201cfalso positivo\u201d (ser identificado err\u00f3neamente como alguien buscado por la polic\u00eda) y la situaci\u00f3n en China, donde el reconocimiento f\u00e1cil es controlado por el Estado y se usa para todo, desde tomar el subte hasta comprar en un kiosco (no ser identificado no es opci\u00f3n). M\u00e1s all\u00e1 de lo escalofriante de comprender c\u00f3mo podr\u00eda convertirse de inmediato en absoluto paria cualquier persona declarada \u201cenemiga del Estado\u201d en un sistema de esas caracter\u00edsticas, nos tientan las comodidades que ofrece; subyace el deseo de pertenecer. Parece que no hubieran servido de nada las advertencias de la CF sobre los sistemas de control basados en el manejo de informaci\u00f3n y quiz\u00e1s hasta hayan contribuido a naturalizar la idea. Parece que vivimos en esa tensi\u00f3n entre ser conscientes de los riesgos y saber que no est\u00e1 bueno seguir alimentando a la bestia del big data con informaci\u00f3n sobre nosotres, pero al mismo tiempo no querer quedarnos afuera e ir cediendo.<\/p>\n\n\n\n Y hay una pregunta inevitable: \u00bfpor qu\u00e9 vemos esto en Netflix<\/em>? Tanto una falla de la matrix<\/em> como estudios de mercado imposibles de entender pueden acercarnos documentales o films<\/em> indies como estos que por supuesto tendr\u00e1n intereses ocultos o no tan ocultos. Sabido es que Amazon<\/em> y su plataforma de streaming<\/em> es competencia feroz para la de la N roja as\u00ed que tampoco resulta muy sorprendente la apuesta por un producto documental, que pese a todo es bastante sincero y combativo. Hay informaci\u00f3n real sobre c\u00f3mo pelear<\/em> contra el sesgo del algoritmo, se visibilizan agrupaciones de activistas, se ilumina el costado legal del asunto. A diferencia de otros productos de Netflix<\/em> como el supuesto Dilema de las redes sociales<\/em> (en ingl\u00e9s a\u00fan menos espec\u00edfico The Social Dilemma<\/em>) que es un gran hacer \u201ccomo si\u201d denunciaran la forma en que los algoritmos de las redes sociales u otras plataformas \u201catrapan\u201d al usuario, Coded bias <\/em>cuenta historias reales de gente real que ha sido v\u00edctima del sesgo y ha decidido combatirlo. En este sentido el documental de Kantayya resulta propositivo m\u00e1s all\u00e1 de Netflix<\/em> y su propio algoritmo.<\/p>\n","protected":false},"excerpt":{"rendered":"