La discriminación algorítmica es un desafío que debe abordarse con urgencia. Si las plataformas no ajustan sus algoritmos y políticas para hacer frente a los sesgos implícitos y estructurales, podrían enfrentar graves consecuencias a largo plazo. Consecuencias que en un modo u otro ya vivimos y sufrimos, aunque no sean perceptibles a simple vista.
- La homogeneización social en cuanto a ideas y creencias mata la creatividad y la diversidad de opiniones y de visiones de vida. En resumen, todas las personas que te rodean han visto las mismas series, se han reído con los mismos memes y han oído las mismas opiniones sobre los mismos temas.
- Los creadores de contenido de nicho o de contenidos no virales son invisibilizados y «castigados», relegados a una esquina, como cuando se portaban mal en el colegio.
- Contenido inocuo es censurado y eliminado al ser categorizado erróneamente como sensible (por ejemplo, eliminar una obra de arte del siglo XVII por «prohibido fotos de desnudos»).
A esta discriminación por contenido basada en el algoritmo hay que sumar la que cada persona puede estar experimentando, lamentablemente, en función de sus características demográficas o sociales. Para maquillar esta situación los gigantes tecnológicos como Meta, Google y el resto de gigantes, desarrollan medidas basadas en las políticas DEI que, en el fondo, son solo una actuación de cara a la galería.
La inclusión real va más allá de esas medidas cosméticas; requiere una revisión profunda de cómo funcionan los sistemas algorítmicos y cómo afectan a todos los creadores de contenido, especialmente aquellos que ya enfrentan barreras históricas.
Es decir, los algoritmos deben ser auditados. No porque lo opine yo, quien te escribe, sino por la propia filosofía tecnológica, matemática y científica que hay detrás de su creación.
1. Algoritmos de IA: diseñados para la eficiencia, NO para la equidad
En el debate sobre la equidad algorítmica, es común escuchar que los algoritmos de inteligencia artificial y machine learning favorecen ciertos tipos de contenido o individuos sobre otros. ¿Podría decirse que las IAs generativas y los modelos predictivos castigan y segregan a los valores atípicos?
La respuesta, basada en la propia naturaleza de los algoritmos, es sí.
Pero no porque los algoritmos sean «maliciosos», sino porque el enfoque matemático que sustenta la inteligencia artificial está diseñado para maximizar la eficiencia y la predicción, no la inclusión.
1.1. El sesgo inherente a la optimización estadística
En el corazón de los modelos de machine learning está la matemática de la estadística, y particularmente la idea de «ajustar» un modelo para que generalice bien sobre grandes cantidades de datos.
Los algoritmos están entrenados para detectar patrones y tomar decisiones basadas en probabilidades. Su objetivo principal es optimizar la precisión de las predicciones sobre grandes conjuntos de datos, priorizando los patrones más comunes y minimizando el impacto de los casos atípicos, ya que estos son menos representativos en términos de frecuencia.
Por tanto, cuando un algoritmo se enfrenta a un valor atípico —una entrada de datos que no encaja en los patrones dominantes—, tiende a clasificarlo como ruido o irrelevante.
Los valores atípicos, ya sea en términos de contenido, estilo o incluso demografía, no contribuyen de manera significativa a mejorar la precisión del modelo global, lo que lleva a su exclusión o, en el mejor de los casos, a un tratamiento subóptimo.
1.2. Discriminación algorítmica no intencionada: ¿cómo ocurre?
Para entender cómo los algoritmos «discriminan» o segregan, es esencial revisar el concepto de optimización y distribución de datos en los sistemas de machine learning.
1.2.1. Entrenamiento basado en datos históricos:
Los algoritmos de IA se entrenan con grandes conjuntos de datos históricos. Si esos datos reflejan un sesgo en el comportamiento humano —por ejemplo, una mayor prevalencia de ciertos grupos demográficos o temáticas— el algoritmo aprenderá y replicará esos patrones.
Los valores que se desvían de esos patrones históricos, como los creadores de contenido minoritarios o los valores atípicos, tienen menos representación en esos datos. Esto significa que el algoritmo tiene menos información sobre cómo manejar estos casos.
1.2.2. Ajuste a la media:
El objetivo de muchos algoritmos es reducir el error promedio, lo que en la práctica significa que ajustan sus predicciones hacia los comportamientos mayoritarios o promedio.
Los valores atípicos, que no encajan en esa media, son interpretados como irrelevantes o difíciles de predecir, lo que lleva a su exclusión.
1.2.3. Maximización del engagement:
En plataformas de contenido, los algoritmos de recomendación están diseñados para maximizar el engagement (visualizaciones, clics, interacciones). Esto significa que favorecen contenido que ya es popular o que sigue patrones probados para captar la atención de una audiencia masiva.
Si el contenido de un creador es de nicho o no sigue las tendencias mayoritarias, es probable que reciba menos exposición.
La lógica algorítmica es maximizar el beneficio de la plataforma, no diversificar o equilibrar las oportunidades de exposición.
1.3. El papel de la regularización y el trade-off entre precisión e inclusión
Los modelos de machine learning no solo buscan ser precisos, sino también evitar el overfitting (cuando un modelo se ajusta demasiado a los datos de entrenamiento y no generaliza bien a nuevos datos).
Para lograr esto, los algoritmos aplican técnicas de regularización, que son penalizaciones para modelos que se complican demasiado o que intentan capturar demasiadas excepciones.
Esta regularización, aunque útil para evitar el overfitting, agrava aún más la segregación de los valores atípicos.
En esencia, el algoritmo «prefiere» ser menos preciso con esos casos aislados para ser más eficiente en la predicción general.
Este enfoque refuerza una visión binaria del éxito algorítmico: si no encajas en el molde estadísticamente dominante, eres un caso difícil que no merece la atención de los algoritmos.
1.4. Los algoritmos no son maliciosos, pero tampoco son neutrales
Aunque es tentador pensar en los algoritmos como herramientas objetivas, su diseño no es neutral. El sesgo algorítmico no es el resultado de intenciones discriminatorias, sino una consecuencia de cómo los sistemas están diseñados para funcionar, fruto del establecimiento de unas metas basadas en la maximización del éxito empresarial (especialmente cuando hablamos en redes sociales, pero también es algo que se replica en las finanzas o en otros muchos sectores que nos afectan día a día).
El problema radica en que estos sistemas operan en función de lo que es más común o rentable, marginando a los creadores de contenido que no encajan en esos moldes, ya sea por su identidad o por el tipo de contenido que producen.
En resumen, los algoritmos de machine learning y las IA generativas castigan a los valores atípicos porque están construidos para optimizar la eficiencia y la precisión sobre grandes poblaciones, no para garantizar la equidad.
Si no encajas en lo que el algoritmo ha aprendido como «promedio», serás considerado un valor atípico y, por lo tanto, tendrás menos oportunidades de visibilidad y éxito en plataformas dominadas por la inteligencia artificial.
2. La bomba de relojería de la discriminación algorítmica: ¿inclusión real o lavado de cara digital?
La tecnología ha revolucionado muchas áreas de nuestra vida, incluyendo la forma en que consumimos y creamos contenido. Sin embargo, una problemática latente está ganando cada vez más visibilidad: la discriminación algorítmica que en última instancia y como hemos visto hasta ahora no se fundamenta tanto en una intención maliciosa (el planteamiento periodístico habitual) sino en la propia metodología matemática que hay detrás de esos algoritmos.
Esta situación plantea una cuestión clave: ¿las grandes plataformas realmente promueven la inclusión, o simplemente aplican estrategias cosméticas para mitigar el escrutinio público?
2.1. La trampa de la «inclusión superficial»
A primera vista, las grandes plataformas de contenido parecen estar implementando políticas de visibilidad para incluir a una gama más amplia de creadores, pero cuando examinamos más de cerca estas iniciativas, surge una preocupación: ¿son estas medidas realmente inclusivas o son solo un «lavado de cara» que evita abordar problemas estructurales más profundos?
El «lavado de cara digital» consiste en aparentar ser inclusivo mediante ajustes superficiales en los algoritmos o con campañas temporales de promoción de ciertos grupos.
Si bien es un paso hacia adelante, a menudo solo es una solución cosmética que no ataca las raíces del problema. Los algoritmos siguen favoreciendo el contenido más rentable o viral, mientras que los creadores de nicho o pertenecientes a minorías siguen enfrentando barreras invisibles.
Esta «discriminación algorítmica» puede perpetuar desigualdades, incluso cuando se busca promover la diversidad pero en realidad se está cayendo en el «tokenismo».
Un vistazo crítico a la inclusión superficial: el tokenismo
En el contexto actual, el término tokenismo ha cobrado relevancia en muchos ámbitos, especialmente en la tecnología y las plataformas digitales. Este fenómeno hace referencia a la adopción de prácticas que buscan dar una apariencia superficial de inclusión y diversidad, pero sin abordar de manera real y profunda los problemas sistémicos y estructurales.
Se manifiesta cuando las empresas o plataformas presentan ciertas figuras minoritarias o subrepresentadas de manera destacada, pero sin ofrecer cambios sustanciales que realmente impacten en la equidad o en la representación justa.
En la era digital, el tokenismo se ha infiltrado en el mundo de los algoritmos de recomendación y modelos predictivos de plataformas como redes sociales, motores de búsqueda y servicios de streaming.
La inclusión, cuando es abordada de manera superficial, se convierte en una mera representación visual o simbólica, sin que se introduzcan mecanismos reales de equidad y justicia.
2.2. Tokenismo algorítmico: ¿cómo se manifiesta?
El tokenismo algorítmico se manifiesta en la manera en que las plataformas digitales eligen representar a ciertos grupos minoritarios o marginalizados, sin cambiar las estructuras de poder ni el funcionamiento de los sistemas que perpetúan los sesgos.
En otras palabras, a menudo, las plataformas pueden presentar ciertos contenidos o figuras de estos grupos como parte de una campaña de visibilidad, pero sus sistemas de recomendación, que están controlados por algoritmos, continúan operando bajo los mismos principios que antes.
Por ejemplo, las plataformas pueden mostrar contenidos de creadores de contenido de minorías o grupos no normativos en un esfuerzo por dar la impresión de diversidad, pero los algoritmos de promoción de contenidos pueden seguir favoreciendo aquellos que pertenecen a la mayoría o a lo que se considera «contenido más popular» en términos de interacción o engagement.
El resultado es que aunque se den algunos “espacios visibles” a las minorías, no se produce un cambio real en cómo las plataformas priorizan o distribuyen el contenido.
2.2.1. Tokenismo en la ciencia de datos y machine learning
El mismo fenómeno puede encontrarse en los modelos predictivos y el machine learning, especialmente en la construcción de algoritmos entrenados sobre grandes volúmenes de datos. A menudo, estos sistemas se entrenan con datos históricos o grandes bases de datos de comportamiento de usuarios, que a menudo reflejan patrones sesgados, como ya explicamos en el primer bloque de este informe.
En muchos casos, los datos utilizados para entrenar los algoritmos no reflejan de manera justa la diversidad o la experiencia de minorías. Por ejemplo, los sesgos estructurales presentes en estos datos pueden dar lugar a sistemas de recomendación que no solo refuerzan los estereotipos existentes, sino que, además, favorecen a aquellos que ya están representados de manera prominente en la mayoría de las plataformas digitales.
Esto no solo limita las oportunidades para grupos minoritarios, sino que perpetúa un ciclo de exclusión algorítmica, donde las minorías son vistas como una «excepción» o un «valor atípico», lo que las pone en desventaja frente a los contenidos y creadores que cumplen con los patrones mayoritarios establecidos por las plataformas.
El algoritmo puede modelarse para que de manera puntual destaque esos valores atípicos buscando aquellos que mejor se amoldan a la tendencia general para así ser recomendados. Como resultado, no se consigue una inclusión ni la edad, sino casi siempre el resultado es el refuerzo de estereotipos falsos achacados a las minorías (los valores atípicos).
2.2.2. El impacto real del tokenismo en la inclusión
Aunque el tokenismo pueda parecer una respuesta positiva y bien intencionada en términos de diversidad e inclusión, no aborda las raíces de la discriminación estructural ni las barreras reales que enfrentan los creadores de contenido y las comunidades subrepresentadas.
Al ofrecer soluciones superficiales o de «lavado de cara», las plataformas no solo hacen un flaco favor a estas comunidades, sino que a largo plazo, la falta de cambios profundos puede conducir a mayor desconfianza por parte de los usuarios y creadores.
Y, como ya he señalado más arriba, perpetúa los estereotipos al utilizar casos particulares como elementos representativos. Porque estos «casos particulares», «valores atípicos a visibilizar» o «tokens», suelen acabar siendo creadores que crean contenido superficial, cercano a lo que es «la media», o a lo que la masa de espectadores tiende a consumir.
Esto podría tener repercusiones negativas tanto para la credibilidad de las plataformas como para la confianza en los sistemas algorítmicos que las operan.
Los creadores de contenido de minorías y grupos no normativos, que ya enfrentan barreras debido a la falta de equidad estructural, encuentran en el tokenismo una solución débil y vacía que solo enmascara los problemas sin resolverlos.
2.2.3. Tokenismo y las consecuencias éticas
A medida que el uso de algoritmos y IA generativa se expande, la discusión ética sobre la representación y equidad en estos sistemas es cada vez más urgente. El tokenismo en este contexto no solo es un problema de representación visual, sino que también refleja la falta de responsabilidad de las plataformas en la creación de un ambiente digital inclusivo y justo.
La superficialidad de la inclusión no solo es un riesgo para la justicia social, sino que también podría derivar en tensiones sociales y conflictos más profundos entre los usuarios y las plataformas.
En conclusión, el tokenismo es una bomba de relojería que tiene el potencial de minar la confianza en las plataformas digitales, crear una ilusión de inclusión que no es real y mantener las estructuras de desigualdad que perjudican a las minorías.
Para que las plataformas digitales realmente promuevan la inclusión, deben ir más allá de las soluciones superficiales y tomar medidas verdaderas, como ajustar sus algoritmos y su forma de operar, para asegurar que las oportunidades se distribuyan de manera justa y equitativa a todos los creadores, independientemente de su identidad demográfica o social.
2.3. Algoritmos: guardianes del éxito o barreras invisibles
Los algoritmos, en su esencia, no discriminan conscientemente, pero sí operan sobre la base de los datos con los que fueron entrenados. Y estos datos, muchas veces, reflejan sesgos históricos, culturales y comerciales.
Los creadores de contenido de grupos minoritarios o no normativos, por ejemplo, a menudo ven como sus creaciones quedan atrapadas en las «grietas» de los sistemas algorítmicos que priorizan otros tipos de contenido.
Mientras tanto, las plataformas pueden alegar que están haciendo su parte para ser inclusivas, sin atacar la raíz del problema: el tokenismo.
Al centrarse en métricas de engagement, los algoritmos tienden a sobrerrepresentar contenido viralizable y fácil de monetizar, dejando a creadores de contenido de nicho o a aquellos que representan grupos marginados con menos visibilidad.
Este ciclo se perpetúa, lo que significa que los creadores menos favorecidos obtienen menos exposición, menos ingresos y menos oportunidades para crecer.
2.3.1. ¿Por qué es una bomba de relojería?
El hecho de que las plataformas se apoyen en medidas cosméticas para promover la inclusión sin atacar los sesgos algorítmicos es, en efecto, una bomba de relojería. Si estos problemas no se abordan de manera seria y estructural, las consecuencias a largo plazo pueden ser catastróficas, tanto para las plataformas como para los propios creadores.
De hecho, más que de consecuencias futuras ya podríamos hablar de consecuencias presentes que podemos constatar:
- Desigualdad visible: La falta de un cambio estructural profundo sigue perpetuando barreras invisibles para los creadores minoritarios o de nicho. Aunque algunos puedan beneficiarse temporalmente de campañas de visibilidad, la desigualdad sigue presente y se agrava, ya que los casos atípicos destacados tienden a ajustarse a lo establecido, reforzando estereotipos, ya sea de manera intencional o no.
- Pérdida de confianza: Los usuarios y creadores pueden perder la fe en las plataformas si perciben que los esfuerzos por la equidad son puramente cosméticos. Esto puede provocar una fuga de talento hacia otras plataformas y dañar la reputación de las empresas. También afecta a la variedad y la oferta de contenido. Al final tenemos vídeos o fotos o textos que no son sino lo que ya hemos visto antes pero con ligeros cambios estéticos, cuando no directamente un copia y pega.
- Conflictos sociales: Promover inclusividad de manera superficial puede alimentar tensiones sociales, contribuyendo a la narrativa de que la inclusión es solo de cara a la galería, mientras los problemas sistémicos se mantienen ocultos. Sobre todo porque las personas no experimentan una mejoría real en sus vidas. Sí, están en la portada de YouTube, pero la vida de su comunidad sigue siendo exactamente igual que antes.
- Intervención regulatoria: Si los gobiernos y reguladores perciben que las plataformas están perpetuando sesgos en su operación, pueden intervenir con leyes más estrictas sobre el uso de IA y algoritmos. Algo que ya se viene fraguando en la Comunidad Europea y en los Estados Unidos, pero que acabará pasando en todos lados.
2.4. ¿Puede un hombre cis, heterosexual, blanco, europeo ser discriminado por los algoritmos?
Es importante reconocer que la discriminación algorítmica no solo afecta a minorías o personas no normativas. Incluso un hombre cisgénero, heterosexual y blanco europeo que cree contenido de nicho se verá perjudicado por los algoritmos de recomendación.
Sin embargo, la razón de esta «discriminación» no tiene que ver con su identidad demográfica, sino con el tipo de contenido que crea.
Los algoritmos de las plataformas priorizan contenido que genera engagement y que sigue patrones mayoritarios de consumo. Si un creador produce contenido altamente especializado o con una audiencia más pequeña y específica, es probable que los algoritmos no lo promuevan tanto como lo harían con contenido viralizable.
Esto puede afectar a creadores de todo tipo de identidades, pero no es un fenómeno comparable a las dificultades estructurales que enfrentan las minorías.
Un hombre blanco que crea contenido sobre, por ejemplo, historia medieval o reparaciones de instrumentos antiguos, puede enfrentarse a la falta de visibilidad, pero la causa principal de esta invisibilización no sería su identidad, sino que su contenido no encaja con las expectativas comerciales del algoritmo.
Las plataformas priorizan contenido que es viral, que genera interacción y, sobre todo, que es atractivo para los anunciantes.
2.4.1. Diferencias clave con las minorías
Aunque este hombre podría sentirse marginado por los algoritmos, su experiencia es significativamente distinta a la de una persona perteneciente a una minoría.
Los creadores LGBTQ+, mujeres negras, o personas de origen migrante pueden enfrentarse a un doble obstáculo: no solo son penalizados por producir contenido de nicho o controvertido, sino también por los sesgos históricos y estructurales que los algoritmos han absorbido.
En resumen, mientras los algoritmos de recomendación pueden marginar a creadores de todo tipo de identidades, la profundidad y las causas de esa marginación varían.
Un creador de contenido de nicho puede ser penalizado por no ser viralizable, pero un creador de una minoría puede enfrentarse también a barreras sistémicas y culturales más profundas.
3. Cómo afrontar la discriminación algorítmica: soluciones y propuestas
La discriminación algorítmica, ya sea por el tipo de contenido o por la identidad de los creadores, es un fenómeno complejo y multifacético que requiere soluciones igualmente complejas.
Es importante entender que no es una cuestión política ni meramente identitaria ni que afecte a colectivos únicos. Cuando esto se plantea desde la óptica del discurso oportunista no cabe otro final que el tokenismo, del que ya he hablado anteriormente en este documento, porque la tendencia natural de quienes toman las decisiones es «a que dar bien».
A medida que los algoritmos juegan un papel creciente en la distribución y visibilidad de contenidos en plataformas digitales, la capacidad de estos sistemas para reforzar sesgos o crear barreras injustas se vuelve más evidente.
Sin embargo, no todo está perdido. Con enfoques correctos y una mayor responsabilidad por parte de las empresas, es posible mitigar los efectos discriminatorios y avanzar hacia un sistema más justo y equitativo.
Abordar la discriminación algorítmica, tanto por contenido como por identidad, no es tarea fácil, pero es posible si se implementan estrategias basadas en la transparencia, la diversidad en el desarrollo de IA, y el empoderamiento de los usuarios. Si las plataformas digitales y las empresas tecnológicas adoptan un enfoque responsable y proactivo, no solo podrán reducir los sesgos que perpetúan, sino también crear un ecosistema digital más justo, inclusivo y accesible para todos.
A continuación, se exploran algunos posibles puntos de partida para afrontar la discriminación algorítmica, tanto por contenido como por identidad.
3.1. Revisión y ajuste de los algoritmos de recomendación
La base de muchas de las formas de discriminación algorítmica que enfrentan los creadores de contenido y las comunidades minoritarias es la naturaleza de los algoritmos de recomendación.
Estos algoritmos priorizan el contenido en función de métricas como el engagement, el número de vistas, y el tipo de interacción de los usuarios.
Sin embargo, este enfoque, aunque efectivo para maximizar los beneficios comerciales, tiende a favorecer el contenido popular, lo que puede excluir a los creadores de nicho o a aquellos cuyos temas son menos mainstream.
Hay que profundizar en cómo explotar y hacer rentable el «long tail» de contenidos minoritarios y dar la oportunidad a quien los consume a poder elegir entre un abanico más diverso de temáticas, profundidad y puntos de vista lo que debería mitigar el temible efecto de «caja de resonancia».
La «caja de resonancia» ocurre cuando el algoritmo tiende a recomendarte una y otra vez aquello que consumes de manera preferente, reforzando tus creencias y ocultando o invisibilizando otras que podrían hacerte dudar o empujar a tener una visión más crítica e informada.
3.1.1. Posibles soluciones:
- Diversificación de los criterios algorítmicos: Las plataformas deben revisar y ajustar los algoritmos para que no solo se priorice el contenido más popular, sino también el contenido que pueda ser de valor educativo, cultural, o que represente a comunidades subrepresentadas. Esto podría incluir incorporar métricas como la diversidad de la audiencia o la importancia cultural al evaluar la relevancia del contenido.
- Transparencia algorítmica: Las plataformas pueden ofrecer mayor transparencia sobre cómo funcionan sus algoritmos, permitiendo a los creadores entender mejor qué factores influyen en la visibilidad de su contenido. De esta forma, los creadores podrían adaptar su estrategia de contenido sin ser penalizados por el algoritmo sin saber por qué.
- Algoritmos inclusivos: Implementar algoritmos diseñados para priorizar la diversidad y la inclusión, en lugar de simplemente la popularidad. Estos algoritmos podrían enfocarse en crear una experiencia equitativa de descubrimiento de contenido que permita a los usuarios explorar materiales fuera de sus patrones habituales de consumo.
3.2. Incorporación de sesgos de identidad en los modelos predictivos
La discriminación algorítmica por identidad, como el sesgo hacia grupos minoritarios, está estrechamente relacionada con cómo los sistemas de machine learning se entrenan.
Los algoritmos a menudo aprenden a partir de grandes volúmenes de datos que reflejan sesgos históricos, lo que puede llevar a la amplificación de las disparidades ya existentes. Ya se ha explicado más en profundidad en los apartados 1 y 2 de este informe.
3.2.1. Posibles soluciones:
- Mejor calidad de los datos de entrenamiento: Los datos que alimentan los modelos de IA deben ser más representativos y equilibrados, para reflejar de manera justa la diversidad de las audiencias y comunidades a las que sirven. Se debe evitar que los modelos se entrenen en datos que contengan sesgos históricos que perpetúan la discriminación, como los que subrepresentan a las mujeres, las comunidades LGBTQ+, o las minorías raciales.
- Desarrollo de técnicas para la eliminación de sesgos: Los investigadores en IA están desarrollando métodos como la normalización de datos y algoritmos de desescalada de sesgos que pueden ayudar a mitigar los efectos de sesgos en la predicción. Estas técnicas permiten «ajustar» los modelos para que no discriminen a ciertos grupos o individuos en función de su identidad demográfica.
- Evaluación constante de sesgos: Las plataformas deberían implementar auditorías de sesgos en los algoritmos de manera regular para detectar cualquier tipo de discriminación, tanto por contenido como por identidad. Estas auditorías externas, basadas en principios éticos, podrían ser llevadas a cabo por organizaciones independientes, garantizando imparcialidad.
3.3. Fomentar la diversidad en el desarrollo de IA y modelos predictivos
Una de las principales causas de la discriminación algorítmica es la falta de diversidad en los equipos que desarrollan estos sistemas.
Los sesgos de los programadores, que generalmente reflejan su propia cultura, experiencia y perspectiva, tienden a ser replicados en los algoritmos que crean.
3.3.1. Posibles soluciones:
- Contratación inclusiva y diversa: Las plataformas deben asegurarse de que sus equipos de desarrollo de IA sean diversos, incluyendo personas de diferentes géneros, razas, orígenes étnicos y culturas. Esto no solo ayudará a crear sistemas de IA más inclusivos, sino que también permitirá que se tomen decisiones más informadas sobre los posibles sesgos que podrían ser introducidos en el proceso de desarrollo.
- Capacitación en ética de IA: Los equipos de IA deben recibir formación en ética de la inteligencia artificial, de manera que comprendan los riesgos de la discriminación algorítmica y sean conscientes de las implicaciones de sus decisiones al diseñar sistemas de recomendación o modelos predictivos. Incluir expertos en ética y derechos humanos en el proceso de desarrollo puede ayudar a evitar la creación de sistemas que perpetúen injusticias.
3.4. Implementación de Políticas y Regulaciones Externas
A medida que la responsabilidad de las plataformas crece, es necesario que se implementen normas regulatorias que obliguen a las empresas tecnológicas a abordar y mitigar la discriminación algorítmica.
Estas regulaciones pueden ser diseñadas no solo para garantizar la equidad en las plataformas, sino también para fomentar la creación de modelos algorítmicos que beneficien a la diversidad.
3.4.1. Posibles soluciones:
- Legislación pro-diversidad e inclusión: Los gobiernos pueden implementar políticas que obliguen a las plataformas digitales a incluir en sus informes de impacto los efectos que sus algoritmos tienen sobre la diversidad y la inclusión. Los informes deben identificar qué medidas están tomando las plataformas para mitigar la discriminación algorítmica y cómo los datos son utilizados para la capacitación de modelos de IA.
- Sistema de responsabilidad: Se puede establecer un sistema en el que las plataformas sean responsables de sus algoritmos. Esto podría incluir sanciones en caso de discriminación identificada, pero también incentivos para crear y mantener sistemas más inclusivos.
3.5. Empoderamiento de los usuarios y creadores de contenido
Los creadores de contenido, especialmente los de grupos minoritarios, deben tener mayor control y autonomía sobre cómo sus contenidos son distribuidos en las plataformas.
Esto puede incluir la posibilidad de ajustar la visibilidad de su contenido mediante configuraciones personalizadas o recibir información detallada sobre cómo los algoritmos deciden qué mostrar.
3.5.1. Posibles soluciones:
- Herramientas de autoadministración de contenidos: Las plataformas podrían ofrecer herramientas que permitan a los creadores de contenido minoritarios ajustar la visibilidad de su contenido en función de la audiencia que desean alcanzar. Esto reduciría su dependencia de los algoritmos, que a menudo no los favorecen.
- Mayor acceso a datos analíticos: Las plataformas pueden proporcionar análisis más detallados sobre cómo se distribuye el contenido y cómo afectan los algoritmos la visibilidad de los creadores. De esta forma, los creadores pueden tomar decisiones informadas y adaptarse mejor a las dinámicas algorítmicas.
4. El riesgo de la sobrerrepresentación: la contradicción en las soluciones a la discriminación algorítmica
Aunque la solución a la discriminación algorítmica pasa, en gran medida, por una mayor diversidad, transparencia y equidad, no todo es tan sencillo.
Existen riesgos inherentes a cómo se abordan las posibles soluciones, especialmente cuando caemos en el populismo o la demagogia.
Las políticas que buscan corregir los desequilibrios de representación en el ámbito digital y algorítmico pueden, sin querer, generar efectos contraproducentes, como la sobrerrepresentación.
Esta sobrerrepresentación no solo crea una visión distorsionada de la realidad, sino que también puede alimentar el rechazo social y la polarización.
Algo que, de hecho, ya sucede y viene siendo cada vez más evidente, al mismo tiempo que las IAs generativas se popularizan y se usan cada vez más, están cada vez más presentes e incluyen cada vez más en nuestras vidas.
Pero que al mismo tiempo es un problema y un riesgo que de las organizaciones que representan a las comunidades minoritarias no se quiere ver ni afrontar, en una búsqueda acelerada por una normalización que al final se convierte en, de nuevo, en excepcionalidad que se percibe con rechazo.
4.1. El peligro de la sobrerrepresentación
El populismo identitario en las decisiones sobre la discriminación algorítmica resulta sumamente tentador. Para los reguladores y diseñadores de políticas, optar por estrategias que «fuerzan»‘» la representación de ciertos grupos en las plataformas digitales puede parecer una solución rápida, dando la falsa impresión de que se están logrando avances significativos en inclusión.
Sin embargo, el problema radica en que esta «inclusión forzada» lleva a una sobrerrepresentación de características identitarias que, en realidad, no son mayoritarias. Este enfoque, aunque bien intencionado, crea una imagen distorsionada de la realidad y, en última instancia, puede generar un rechazo generalizado en la «mayoría social».
Por ejemplo, si las políticas algorítmicas tienden a sobreexponer ciertos grupos identitarios en contenidos digitales o en algoritmos de recomendación, pueden hacer que la mayoría de los usuarios o creadores de contenido sientan que están siendo «empujados» a consumir o aceptar representaciones con las que no se identifican o con las que no están familiarizados.
Este exceso de visibilidad puede llegar a provocar un rechazo hacia las políticas inclusivas, ya que los usuarios pueden interpretar estas acciones como una imposición artificial o una distorsión de lo que consideran normalidad.
4.2. ¿Qué es lo que realmente necesitamos cambiar?
En lugar de crear una sobrerrepresentación, el verdadero objetivo debe ser la normalización de la diversidad.
El problema no es que haya valores atípicos o que existan creadores de contenido que representan una minoría; el verdadero desafío es que nuestra percepción de lo atípico siga siendo negativa o, al menos, vista como algo que necesita ser corregido.
Los valores atípicos deberían poder mantenerse como tales, sin ser «forzados» a encajar en la norma dominante.
Lo que debería cambiar, en realidad, es nuestra percepción de lo atípico, para que sea aceptado como natural en su propia diversidad. De hecho, podemos afirmar que la discriminación algorítmica que afecta a los valores atípicos es el reflejo de nuestra incapacidad para integrar la diversidad en la percepción social.
Cuando forzamos su representación, corremos el riesgo de crear una visión de la realidad que no refleja la complejidad y la multiplicidad de las identidades, sino que promueve un enfoque superficial o tokenista. Las políticas populistas que buscan representar a las minorías en exceso, en lugar de promover la inclusión genuina, pueden tener un efecto negativo al exacerbar las tensiones sociales y crear una falsa dicotomía entre «nosotrxs» y «ellxs», acentuada precisamente por el efecto de «caja de resonancia» que crean los algoritmos.
4.3. El retroceso en la inclusión
Un vistazo a las estadísticas actuales muestra que, en muchos casos, estamos retrocediendo en términos de inclusión, en vez de avanzar. No es que no haya más normativas o que no se esté haciendo más esfuerzo en políticas inclusivas, sino que el enfoque en la sobrerrepresentación está generando efectos contraproducentes. La causa no está en la falta de medidas, sino en la forma en que estas se están implementando.
El tokenismo, como hemos mencionado anteriormente, solo ha servido para explorar identidades de manera superficial, sin hacer un esfuerzo genuino por cambiar las estructuras de poder subyacentes o por mejorar la representación real de esos grupos.
Al priorizar una visibilidad artificial, estamos contribuyendo a la percepción errónea de que las minorías están sobreexpuestas, cuando en realidad, el objetivo debería ser normalizar las experiencias y los valores de estos grupos, permitiendo que sean percibidos como parte del tejido social, sin necesidad de un reconocimiento especial o destacado.
4.4. La gran solución: normalizar lo atípico
Por lo tanto, la solución verdadera a la discriminación algorítmica no es simplemente aumentar la representación de los valores atípicos en los algoritmos. La verdadera solución es normalizar la diversidad, de forma que no sea vista como algo «extraordinario» o «en contra de la norma». Lo atípico no debe dejar de ser atípico; lo que debe cambiar es nuestra forma de verlo, aceptarlo y valorarlo como parte natural de la diversidad de nuestra sociedad.
Esto requiere un cambio profundo en la educación, la cultura y el diseño de los algoritmos. La diversidad no debería ser vista por los algoritmos como algo que deba corregirse o sobrerrepresentarse, sino como un aspecto intrínseco de la normalidad.
La solución no es crear una falsa equidad por medio de una sobrerrepresentación (más visualizaciones puntuales en casos concretos), sino permitir que los valores atípicos se integren y se presenten como algo que no necesita de gestos populistas para ser aceptados.
El desafío de abordar la discriminación algorítmica es profundo y complejo, pero no debemos caer en la trampa de las soluciones simplistas o populistas.
La sobrerrepresentación no es una solución; es una distorsión de la realidad que puede tener efectos adversos. Lo que realmente necesitamos es normalizar la diversidad, permitiendo que los valores atípicos se integren de manera natural en la cultura y en la sociedad digital, sin forzar su visibilidad ni caer en el riesgo del tokenismo.
En última instancia, el verdadero progreso en inclusión no reside en cuántas personas se ven representadas en los algoritmos, sino en cómo percibimos y aceptamos la diversidad en todas sus formas.