El algoritmo en sistemas de salud que discrimina masivamente a pacientes afroamericanos

Jesús Del Toro

El acceso a servicios de salud oportunos y de alta calidad es una tarea frecuentemente difícil en Estados Unidos. Los altos costos de la cobertura médica y los seguros de salud son un obstáculo enorme, pero un nuevo factor introduce ya nuevos factores de desigualdad y prejuicio.

Son los algoritmos de sistemas de inteligencia artificial.

Se trata de cuestiones que suenan arcanas pero que, en realidad, son ya muy comunes, y lo serán cada vez más, en las decisiones sobre qué clase de servicios ofrecer y prestar a ciertos pacientes.

Un médico explica un tratamiento a una paciente afroamericana en Minnesota. (AP)
Un médico explica un tratamiento a una paciente afroamericana en Minnesota. (AP)

Así, de acuerdo a un estudio publicado en la revista Science, el uso de esos algoritmos para determinar qué clase de tratamientos médicos ofrecer a los pacientes ha creado decisiones injustas, con repercusiones ominosas para la salud de los afectados y de la sociedad en general.

De acuerdo a Business Insider, un algoritmo con el que se decide a enorme escala a qué pacientes ofrecer tratamientos más complejos (y por ende más costosos) favorecía a los pacientes de raza blanca en detrimento de los afroamericanos.

Un algoritmo no es sino una fórmula o cadena de instrucciones y reglas usadas por sistemas de cómputo para realizar una tarea, analizar datos, hacer cálculos y llegar a resultados de modo automatizado, lo que es especialmente útil al revisar grandes cantidades de información. Pero cuando una premisa, variable o definición en un algoritmo resulta sesgada o equívoca, el resultado del cálculo de ese algoritmo puede provocar distorsiones, decisiones injustas e incluso problemas estructurales mayores.

Eso sucedió con el citado algoritmo, cuyo objetivo era identificar qué pacientes se beneficiarían más de tratamientos más importantes y complejos y, por ende, de alto costo para atender sus enfermedades. Su análisis predice que el tratamiento de los pacientes afroamericanos sería menos costoso que el de otras personas y con base en ello concluye que sus enfermedades no serían tan severas y por ello se les ofrecen tratamientos menos complejos.

Pero la lógica detrás de ello es errada: un paciente afroamericano parece menos costoso no porque requiera tratamientos menores sino porque esos pacientes en general adquieren en menor cantidad servicios de salud que los de raza blanca.

La conclusión basada en ese supuesto resulta, así, equivocada y discriminatoria, y pone en riesgo la salud de muchos pacientes que no reciben el mismo nivel de tratamiento que otros.

El problema no sería menor: de acuerdo a un investigador que participó en el estudio, citado por The Verge, “casi todos los grandes sistemas de salud” en Estados Unidos lo usan, tanto instituciones médicas como aseguradoras. En los casos de unos 200 millones de pacientes ha tenido participación ese algoritmo.

El objetivo de tal algoritmo es válido: asignar los recursos y personal limitados a los pacientes que más lo requieren y se beneficiarán de ello, pero dado que el cálculo parte de una premisa errónea, ese algoritmo en realidad sólo crea una distorsión sistemática.

Eso puede resultar en riesgos para la salud de los pacientes afectados y es un factor de discriminación e injusticia. Un paciente identificado como beneficiario de mayores tratamientos por ese algoritmo, por ejemplo, logra acceso a tratamientos y recursos más avanzados y recibe mayor atención de los médicos. Quienes caen en la categoría de “menos costosos”, reciben menores recursos y atención, lo que sería válido si en efecto sus padecimientos fueran menores y requirieran menos esfuerzo para tratarlos. En realidad, los afroamericanos sufren como todos los grupos padecimientos severos y han de recibir el mismo nivel de servicio y atención, algo que tal algoritmo habría evitado en muy numerosos casos.

Y dado que cada vez con más intensidad se recurre, y se recurrirá, a sistemas de inteligencia artificial, que actúan con base en algoritmos, la posibilidad de que nuevas distorsiones tengan lugar es también creciente.

Según Business Insider, los sistemas de salud en Estados Unidos usan algoritmos para analizar datos de millones de personas. Eso hace mucho más ágiles los cálculos respectivos pero, cuando algo en un algoritmo resulta erróneo o prejuiciado, se suscitan problemas y se elevan los riesgos para los pacientes afectados.

Por ejemplo, se afirma, un algoritmo sin el citado componente de prejuicio racial ofrecería tratamientos más complejos a pacientes afroamericanos hasta en un 46.5%, de acuerdo al reporte citado. Con base en el algoritmo solo el 17.7% de esos pacientes lo reciben.

La atención médica debe proveerse con base en criterios justos, neutros y científicos, sin distorsiones por cuestiones raciales, de género, de edad u otros factores, y teniendo en cuenta el bienestar y los derechos del paciente. (Reuters)
La atención médica debe proveerse con base en criterios justos, neutros y científicos, sin distorsiones por cuestiones raciales, de género, de edad u otros factores, y teniendo en cuenta el bienestar y los derechos del paciente. (Reuters)

Los algoritmos que alimentan sistemas de inteligencia artificial son, a fin de cuentas, creados por humanos, quienes pueden introducirles, por error, sin darse cuenta o intencionalmente, elementos que conduzcan a cálculos y decisiones erróneas. Y si se considera que el llamado “aprendizaje de máquina”, la capacidad de un sistema de inteligencia artificial de autoajustarse, puede catalizar y amplificar prejuicios o equívocos previos, el problema de sistemas de inteligencia artificial cada vez más utilizados y capaces de desatar injusticias y errores es también mayor.

Algoritmos son usados, por ejemplo, para clasificar la ingente cantidad de información en internet y tomar decisiones de ello. Facebook o Google, por ejemplo, los usan para determinar qué clase de contenido mostrar o qué servicios ofrecer. Sistemas usados en decisiones de contratación y recursos humanos recurren a esos algoritmos y califican a los candidatos que encuentran más apropiados para cierto puesto, o empresas financieras los utilizan para determinar el nivel de riesgo y de crédito de una persona y con ello ofrecerle ciertas condiciones, tasas de interés o montos en préstamos y otros servicios. Mientras más se expanda el uso de sistemas de inteligencia artificial en el análisis y la toma de decisiones, más podrá ser afectada una persona con esas determinaciones.

Y cuando algo en esos algoritmos no es neutral o da un giro equívoco, el resultado puede provocar y reproducir prejuicios, discriminación e injusticias a enorme escala. Eso también pone sobre la mesa el hecho de que aunque los sistemas de inteligencia artificial son de enorme utilidad, no deben desplazar al criterio y la decisión de los humanos, por ejemplo los médicos y enfermeras, a la hora de tomar decisiones que pueden resultar decisivas para una persona o una sociedad.

¿Qué habría pasado con la salud de los miles de pacientes a los que no se les dio un tratamiento más amplio por la determinación prejuiciada del citado algoritmo? ¿Cuánto sufrimiento pudo haber sido evitado si ese algoritmo hubiese sido neutral?

Los sistemas de inteligencia artificial están en auge y serán un elemento de mucho mayor peso en el futuro. Por ello, prestar especial atención en los sistemas de inteligencia artificial y valorar y controlar su actividad y sus resultados para prevenir resultados negativos es clave. Hay esfuerzos importantes al respecto, y más se requerirá en el futuro. No sólo en el ámbito de los especialistas y desarrolladores sino, también, en el de la legislación, las políticas públicas y la conciencia social al respecto.