La era digital está plagada de tiros que salen por la culata. Cuando TikTok decidió limitar el alcance de los contenidos difundidos por personas con discapacidades visibles, no pretendía -o eso se desprende de los documentos a los que ha accedido Netzpolitik- dañar los intereses del colectivo. Según las filtraciones, el objetivo de este peculiar sistema de moderación era proteger a estas personas del ciberacoso. Diez en intención, cero en ejecución. “Mientras los activistas claman por un internet y una visibilidad sin barreras, TikTok ha puesto barreras deliberadamente y sin que los afectados pudieran sospecharlo”, sentencia la cabecera alemana.

En este caso, estamos ante una decisión deliberada, impulsada por un equipo de humanos. ¿Qué pasa cuando estos asuntos los dirime un conjunto de algoritmos que, por las puras limitaciones de la tecnología actual, tiene una visión aún más limitada y potencialmente parcial de la realidad?

El escándalo de TikTok llega tan solo unos días después de que el AI Now Institute hiciera público su informe sobre discapacidad, sesgos e inteligencia artificial: “Incluso cuando funcionan como pretendían sus diseñadores, estos sistemas se utilizan con frecuencia de modos que sirven a los intereses de aquellos que ya tienen poder estructural, a expensas de quienes no lo tienen”, advierte el documento.

Sean accidentales o premeditados, estos sesgos no son inocuos, y en el caso de las personas con discapacidad adquieren mayor complejidad. “La imparcialidad para la gente con discapacidad es distinta de la imparcialidad para otros atributos protegidos, como la edad, el género o la raza”, señala Sharin Trewin, de IBM Accessibility Research. Parte del problema es que este ámbito ha recibido menor atención que los otros sesgos, pero esto tampoco es casual. “Una diferencia fundamental es la extema diversidad de maneras en que se manifiestan las discapacidades y en que la gente se adapta. En segundo lugar, la información sobre discapacidades es altamente sensible y no siempre compartida, precisamente por esa potencial discriminación”. La primera consecuencia de lo anterior aparece en la fuente de la inteligencia de las máquinas. “Muchos datasets de caras tienen etiquetas como el género y la raza, pero rara vez incluyen etiquetas de discapacidades”, añade Anhong Guo, doctorando de interacción humano máquina de Carnegie Mellon.

Trewin coincide con Guo en su diagnóstico: “Cuando hablamos de los colectivos menos favorecidos en nuestra sociedad, la discapacidad entra muchas veces en el etc que viene después de raza y género. Teniendo en cuenta el número de personas con discapacidad en el mundo y el hecho de que la mayoría experimenta alguna discapacidad en algún momento de su vida, este no tendría que ser el caso”. En este sentido, al garantizar que los sistemas de decisión obtienen resultados justos para los grupos mayoritarios, se dejan fuera minorías enormes. “Una pieza esencial de la solución es dar explicaciones de las decisiones. Con una explicación, podemos empezar a confiar en que el sistema es justo o hace algo para abordar el problema”.

“La gente con discapacidad ha estado histórica y actualmente sujeta a una marginación que les ha excluido sistemática y estructuralmente del acceso al poder, los recursos y las oportunidades. Estos patrones de marginación están impresos en los datos que dan forma a los sistemas de inteligencia artificial”, confirma el informe del AI Now Institute.

Un equipo de investigadores de Google encontró un ejemplo de esto en un sistema automatizado de moderación de conversaciones que clasificaba los textos que mencionaban discapacidades como más “tóxicos”. “Si tuviésemos más gente con discapacidad trabajando en y con los equipos de ingeniería, tendríamos sistemas más robustos y flexibles en todos los aspectos, no solo discapacidad”, asegura Trewin. “Una cosa está clara: sea humano o artificial, el de los sesgos es un asunto que necesita cuidadosa atención”.

¿Qué pasa si dejamos las cosas como están? Exactamente eso: “En el nivel más básico, excluir la consideración de la discapacidad del discurso sobre inteligencia artificial y sesgos significa que los esfuerzos para remediar esos sesgos no incluirán a las personas con discapacidad y que, en consecuencia, estas serán más susceptibles de experimentar daños y marginación”.

Sin embargo, para Anhong Huo, tenemos que tener en cuenta que la de los sesgos no es una batalla que vaya a ganarse pronto. De hecho, en su opinión se va a librar para siempre: “Siempre habrá sesgos, es una discusión continua en la que seguiremos teniendo que participar. Según avanzamos, necesitamos ser más receptivos y conscientes de estos problemas, incluirlos en los datasets y en los procesos de recolección de datos, construcción e implementación de modelos”

primera publicación  retina.digital

Montse Hidalgo Pérez