¿Un algoritmo es objetivo solo porque trata a todos por igual?

Hasta noviembre de 2020, los repartidores de Deliveroo en Italia accedían a sus turnos según una clasificación basada en su fiabilidad y su participación. El sistema no distinguía por qué alguien faltaba: una huelga, una enfermedad o el cuidado de un hijo enfermo pesaban igual que una ausencia sin motivo. El 31 de diciembre de ese año, el Tribunal de Bolonia concluyó que ese diseño discriminaba de manera indirecta a quienes participaban en una huelga.

Dos años antes, el Tribunal Constitucional peruano había resuelto un caso en el que no intervino ninguna computadora. Una vendedora ambulante de Carhuaz, quechuahablante e iletrada en castellano, había firmado una carta de compromiso redactada en castellano. El Tribunal la declaró nula y calificó la situación como “un típico supuesto de discriminación por indiferenciación” (STC 00889-2017-PA/TC, f. j. 38). En ninguno de los dos casos se identificó a alguien que quisiera perjudicar a los afectados. Las prácticas eran impersonales y uniformes, y por eso podían presentarse como objetivas.

Dos sentidos de una misma palabra

Objetivo puede ser el procedimiento que se aplica igual a todos, sin que intervenga la voluntad de quien decide. Pero el derecho antidiscriminatorio usa la palabra en otro sentido: objetiva es la razón que sostiene una diferencia de trato, una razón que puede exponerse, que se conecta con un fin legítimo y que un tercero puede examinar. Así lo refleja el artículo 38.3 del Código de Protección y Defensa del Consumidor: “El trato diferente de los consumidores debe obedecer a causas objetivas y razonables”. Un algoritmo puede cumplir de sobra el primer sentido y carecer por completo del segundo.

Predecir bien no basta

Obermeyer y sus coautores (2019) analizaron un algoritmo usado en Estados Unidos para identificar a los pacientes que recibirían atención adicional. Predecía el gasto sanitario futuro como sustituto de la necesidad de atención. Como el acceso desigual a la atención hacía que se gastara menos en los pacientes negros, a igual puntaje estos estaban considerablemente más enfermos que los blancos. Según los autores, corregir esa disparidad elevaría la proporción de pacientes negros que reciben ayuda adicional del 17,7 % al 46,5 %. El algoritmo predecía bien lo que se le pidió predecir; el problema estaba en lo que se le pidió.

Qué ocurre en el Perú

El ordenamiento peruano tiene piezas de ambos lados. El artículo 39 del Código del Consumidor ya distribuye la carga: el consumidor acredita el trato desigual y el proveedor debe acreditar una causa objetiva y justificada. El reglamento de la Ley 31814, aprobado por el Decreto Supremo 115-2025-PCM, va por otro camino: define el sesgo algorítmico como un “[e]rror sistemático”, deja voluntario para el sector privado el análisis de impacto y no dice quién debe justificar un efecto desigual.

Una propuesta: el deber de justificar

Quien implementa un sistema automatizado en un ámbito de riesgo alto, como el crédito, el empleo o los programas sociales, debería justificar sus efectos desiguales cuando un afectado aporte indicios de ellos. Tendría que explicar por qué el sistema predice lo que predice, cómo se vincula ese efecto con el fin de la decisión y por qué no había una alternativa con un efecto menor. Responder que el modelo es exacto, o que no usa categorías protegidas, no sería suficiente.

Este deber no obliga a describir cada parámetro del modelo, porque recae sobre decisiones humanas conocibles: la variable elegida, los datos, el umbral y las alternativas descartadas. Si aun así nadie puede dar razón del efecto desigual, este queda sin justificación, por impecable que sea el procedimiento que lo produjo.