Reescribir las reglas colectivas en la era de la ‘algocracia’

La inteligencia artificial plantea dilemas que exigen actualizar el contrato social. Para evitar que los algoritmos erosionen la igualdad y la dignidad, necesitamos un pacto social algorítmico basado en derechos digitales, corresponsabilidad y auditorías transparentes.

Cuando Jean-Jacques Rousseau formuló la idea de contrato social en el siglo XVIII, buscaba responder a un dilema fundamental: cómo los seres humanos podían convivir cediendo parte de su libertad a cambio de seguridad, igualdad y derechos colectivos. Hoy, en pleno siglo XXI, la irrupción de la inteligencia artificial (IA) nos obliga a repensar ese contrato.

Los algoritmos, invisibles pero omnipresentes, median interacciones cotidianas, desde la información que recibimos hasta las oportunidades de empleo que se nos ofrecen. No elegimos a los algoritmos en las urnas, pero moldean nuestras vidas tanto o más que las decisiones de un parlamento. Así nace la era de la algocracia, donde el poder real está en manos de imperceptibles fórmulas matemáticas indescifrables para el común de los mortales, pero milimétricamente diseñadas para los pocos que ostentan ese poder real.

El poder real está en manos de imperceptibles fórmulas matemáticas, indescifrables para el común de los mortales

Por ello, se impone la necesidad de un contrato social digital, un marco normativo y ético que garantice que el desarrollo y el uso de la IA respetan los derechos humanos y fortalecen nuestras debilitadas democracias.

Sabido es que los algoritmos no son neutrales: codifican valores, criterios y prioridades. Al decidir qué noticia aparece primero en nuestra pantalla, qué perfil es digno de una entrevista laboral o qué persona es objeto de vigilancia, los algoritmos ejercen un poder que antes correspondía exclusivamente a actores políticos, económicos o judiciales. La concentración de este poder en manos de pocas empresas tecnológicas plantea un desafío democrático de primer orden.

Pero, lamentablemente, el problema no termina ahí. Uno de los riesgos más evidentes de la IA son los sesgos algorítmicos. Estos se producen cuando los sistemas aprenden de los prejuicios y estereotipos sociales y los reproducen en sus decisiones. Y se agrava aún más cuando los exacerban: desigualdad de género, racismo, clasismo o exclusión cultural a la enésima potencia. Abundan ejemplos, como los algoritmos de contratación que penalizan a mujeres porque el histórico de datos privilegia candidatos masculinos, los sistemas de reconocimiento facial con tasas de error mucho mayores en personas negras, o los motores de búsqueda que perpetúan estereotipos sexistas y más.

Con solo scrollear la página de inicio de cualquier red social, observaremos sociedades absolutamente polarizadas y carentes de diversidad, donde los diabólicos cánones de belleza están a la orden del día modelando, sobre todo, la personalidad de los más jóvenes.

La consecuencia es clara: el impacto en los derechos humanos es total. Quedan afectados los que se refieren a la no discriminación, a la libertad de expresión y de información, al derecho de libre asociación y huelga… ¿Cómo enfrentar esta nueva realidad en clave de derechos humanos?

La gobernanza ética de la IA no puede reducirse a declaraciones de buenas intenciones; requiere reglas vinculantes que equilibren el poder de las plataformas con la protección de los derechos de la ciudadanía. Para ello, se necesitan distintos abordajes y enfoques. Por una parte, es necesario garantizar que los derechos humanos se interpretan y se configuran conforme a la realidad del siglo XXI. Cuando aquellos nacieron, las formas de vulnerarlos eran completamente distintas a las vigentes, ya que acaecían principalmente en el escenario físico. Actualmente, se dan más en la esfera de lo digital, donde detectarlo es sumamente complejo, pero no imposible.

Además, debemos abonar el terreno para una nueva generación de derechos humanos, como son los neuroderechos, que buscan proteger la privacidad de nuestros pensamientos y la integridad de nuestra identidad cognitiva frente a la manipulación tecnológica. Su sola existencia demuestra que la legislación debe evolucionar al compás de las innovaciones para seguir siendo efectivos.

Auditorías

En este escenario, conviene crear herramientas nuevas, acordes con las particularidades que presentan los algoritmos. Las auditorías algorítmicas se presentan como una pieza esencial. Al igual que la contabilidad se somete a revisiones externas para garantizar la transparencia financiera, los sistemas de IA de alto riesgo deben ser examinados por equipos independientes e interdisciplinares, capaces de detectar sesgos, evaluar riesgos y proponer correcciones.

Las auditorías algorítmicas se presentan como una pieza esencial para garantizar la transparencia

Estas auditorías no solo son técnicas, sino también sociales y jurídicas. Deben evaluar el impacto real de los algoritmos, especialmente en sectores críticos como la justicia, la salud, la seguridad y la Administración pública. Sin ellas, no hay confianza ciudadana posible.

La noción de contrato social algorítmico busca trasladar la idea de Rousseau al siglo XXI. No se trata de un contrato firmado entre individuos y Estado, sino de un acuerdo colectivo que define los límites y responsabilidades en el uso de la inteligencia artificial bajo el prisma de la gobernanza ética.

Este pacto debería contemplar al menos cuatro compromisos fundamentales: auditorías obligatorias para los sistemas de alto riesgo; transparencia pública sobre el uso de IA en instituciones y servicios esenciales; responsabilidad humana —ninguna decisión relevante debe recaer exclusivamente en un algoritmo—, e inclusión de la diversidad, es decir, garantizar que en el diseño y la supervisión participen voces plurales que representen género, cultura y contexto social.

Contrato algorítmico

El contrato social algorítmico no pretende frenar la innovación, sino orientarla hacia el bien común, asegurando que la tecnología sea herramienta de emancipación y no de exclusión. Implica reconocer que la gobernanza de la IA es una tarea compartida: los gobiernos deben establecer marcos regulatorios claros, las empresas tecnológicas tienen la obligación ética de diseñar productos que respeten la dignidad humana y la ciudadanía no puede quedar relegada a ser un mero usuario pasivo. No olvidemos que, cada vez que interactuamos con un sistema de IA, estamos entrenando el algoritmo: enseñándole lo que nos gusta y qué descartamos, lo que incluye nuestros sesgos y estereotipos. Es necesario promover la alfabetización digital, exigir transparencia y participar activamente en los debates sobre el futuro tecnológico.

Rousseau imaginó un contrato social para garantizar la libertad y la igualdad en su época. Hoy necesitamos un contrato social digital capaz de responder a los dilemas de nuestro tiempo, que garantice que la inteligencia artificial esté al servicio de la dignidad y no en su contra.

En este contexto, los algoritmos no deben ser demonizados ni idealizados. Son instrumentos poderosos que, mal diseñados, pueden profundizar las injusticias. Sin embargo, gobernados con ética, transparencia y corresponsabilidad, pueden fortalecer la democracia y expandir derechos. La brújula debe ser clara: los derechos humanos, en todas sus generaciones —incluidos los incipientes neuroderechos— son el límite y el horizonte.

Este número de TELOS ha sido realizado en colaboración con:

Bibliografía

Danesi, C. (2022): El imperio de los algoritmos. Buenos Aires, Galerna.

Danesi, C. & Torres, M. Auditing algorithms as a way to prevent algorithmic bias. Brasil, G20, 2024. Disponible en: https://www.global-solutions-initiative.org/publication/auditing-algorithms-as-way-to-prevent-algorithmic-bias

Eubanks, V. (2018): Automating Inequality: how high-tech tools profile, police, and punish the poor. Nueva York, Picador, St Martin’s Press. 

O´Neil, C. (2016): Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia. Madrid, Capitán Swing. 

Rousseau, J. J. (1762): El contrato social. Ámsterdam, Marc-Michel Rey. 

UNESCO. Recommendation on the Ethics of Artificial Intelligence. UNESCO, 2021. Disponible en: https://www.unesco.org/en/articles/recommendation-ethics-artificial-intelligence