Algoritmo de protección infantil, bajo escrutinio
El Departamento de Justicia de Estados Unidos escudriña una controvertida herramienta de inteligencia artificial empleada por una agencia de servicios de protección infantil del área de Pittsburgh tras surgir temores de que podría resultar en discriminación contra familias con discapacidades, se enteró The Associated Press.
El interés de los abogados federales en derechos civiles se produce después de que una investigación de la AP revelara posibles problemas de prejuicios y transparencia sobre el opaco algoritmo, que está diseñado para evaluar el nivel de riesgo en una familia cuando es denunciada por preocupaciones por el bienestar de un niño en el condado de Allegheny.
Varias quejas de derechos civiles se presentaron en otoño sobre la llamada Allegheny Family Screening Tool (Herramienta de Análisis Familiar de Allegheny), que se utiliza para ayudar a los trabajadores sociales a decidir a cuáles familias investigar, según supo la AP.
Dos fuentes dijeron que los abogados de la División de Derechos Civiles del Departamento de Justicia citaron la investigación de la AP cuando los instaron a presentar quejas formales que detallaran sus preocupaciones sobre cómo el algoritmo podría agravar los prejuicios contra las personas con discapacidades, entre ellas familias con problemas de salud mental.
Una tercera persona dijo a la AP que el mismo grupo de abogados federales de derechos civiles también habló con ellos en noviembre como parte de una conversación amplia sobre cómo las herramientas algorítmicas podrían exacerbar potencialmente las disparidades, incluso contra las personas con discapacidades. Esa conversación exploró el diseño y la construcción del influyente algoritmo de Allegheny, aunque se desconoce el alcance completo del interés del Departamento de Justicia.
Las tres fuentes hablaron con la AP bajo condición de anonimato y dijeron que el Departamento de Justicia les pidió que no discutieran las conversaciones confidenciales. Dos agregaron que también temían represalias profesionales.
Wyn Hornbuckle, portavoz del Departamento de Justicia, declinó hacer comentarios para este reportaje.
Los algoritmos emplean reservas de información para convertir puntos de datos en pronósticos, ya sea para compras en línea, identificar puntos críticos de la delincuencia o para la contratación de trabajadores. Muchas agencias de bienestar infantil en Estados Unidos consideran adoptar tales herramientas como parte de su trabajo con niños y familias.
Aunque ha habido un debate generalizado sobre las consecuencias morales de utilizar Inteligencia Artificial (IA) en los servicios de protección infantil, el interés del Departamento de Justicia en el algoritmo pionero de Allegheny marca un giro significativo hacia las posibles implicaciones legales.
Para sus partidarios, los algoritmos son una manera prometedora de hacer que un sobrecargado sistema de servicios de protección infantil sea más riguroso y eficiente, y dicen que los funcionarios de protección infantil deberían utilizar todas las herramientas a su disposición para asegurarse de que los niños no sean maltratados. Sin embargo, a los críticos les preocupa que la inclusión de puntos de datos recopilados en gran parte de personas pobres pueda automatizar la discriminación contra las familias por motivos de raza, ingresos, discapacidades u otras características externas.
Robin Frank, una abogada veterana de derecho familiar en Pittsburgh y crítica abierta del algoritmo de Allegheny, dijo que también presentó una queja ante el Departamento de Justicia en octubre a nombre de un cliente con una discapacidad intelectual y que lucha para recuperar a su hija del sistema de acogida. La AP obtuvo una copia de la denuncia, que generó preocupaciones sobre cómo la Herramienta de Análisis Familiar de Allegheny evalúa el riesgo de una familia.
“Creo que es importante que las personas sean conscientes de cuáles son sus derechos, y en la medida en que no tengamos mucha información a pesar de que aparentemente haya preguntas válidas sobre el algoritmo, es importante tener cierta supervisión”, dijo Frank.
Mark Bertolet, vocero del Departamento de Servicios Humanos del condado de Allegheny, escribió por correo electrónico que la agencia no había tenido noticias del Departamento de Justicia y rechazó varias solicitudes de entrevista.
“No tenemos conocimiento de ninguna preocupación sobre la inclusión de estas variables de la evaluación previa de grupos de investigación o la retroalimentación de la comunidad (sobre la Herramienta de Análisis Familiar de Allegheny)”, dijo el condado, al describir estudios anteriores y el alcance con respecto a la herramienta.
El condado de Allegheny agregó que su algoritmo ha utilizado puntos de datos vinculados a discapacidades en niños, padres y otros miembros de los hogares locales porque pueden ayudar a pronosticar el riesgo de que un niño sea retirado de su hogar después de una denuncia de maltrato. El condado agregó que ha actualizado su algoritmo varias veces y que, en ocasiones, ha eliminado puntos de datos relacionados con discapacidades.
La Herramienta de Análisis Familiar de Allegheny fue diseñada específicamente para pronosticar el riesgo de que un niño sea colocado en un hogar de acogida en los dos años posteriores a la investigación de su familia. Ha utilizado una gran cantidad de detallados datos personales recopilados del historial de bienestar infantil, así como registros de nacimiento, el programa gubernamental de asistencia médica para los pobres o discapacitados Medicaid, de abuso de sustancias, salud mental, cárcel y libertad condicional, entre otros conjuntos de datos gubernamentales. Cuando el algoritmo calcula una puntuación de riesgo del 1 al 20, entre mayor sea el número, mayor será el riesgo. La puntuación de riesgo por sí sola no determina lo que sucede en el caso.
La AP fue la primera en revelar las preocupaciones por prejuicios raciales y transparencia en un artículo de abril pasado que se centró en la herramienta de Allegheny y cómo sus cálculos estadísticos ayudan a los trabajadores sociales a decidir a cuáles familias deben investigar por negligencia, un término matizado que puede incluir todo, desde vivienda inadecuada hasta higiene deficiente, pero que es una categoría diferente del abuso físico o sexual, que se investiga por separado en Pensilvania y no está sujeta al algoritmo.
Una investigación de bienestar infantil puede resultar en que las familias vulnerables reciban más apoyo y servicios, pero también puede conducir a que los niños sean colocados en el sistema de acogida y, en última instancia, a la terminación de los derechos parentales.
El condado ha dicho que los trabajadores de una línea telefónica directa determinan qué sucede con el caso de una familia y siempre pueden anular las recomendaciones de la herramienta informática. También ha subrayado que la herramienta solo se aplica al inicio de la participación potencial de una familia en el proceso de bienestar de un niño. Un trabajador social diferente, que después realiza las investigaciones, así como las familias y sus abogados, no tienen permitido conocer los puntajes.
El algoritmo de Allegheny, en uso desde 2016, ha tomado en ocasiones datos relacionados con la Seguridad Social complementaria, un programa de la Administración del Seguro Social que proporciona pagos mensuales a adultos y niños con discapacidades, así como de diagnósticos de trastornos mentales, conductuales y del neurodesarrollo, incluida la esquizofrenia o los trastornos del estado de ánimo, encontró la AP.
El condado dijo que cuando se incluyen datos de discapacidades “pronostica los resultados” y “no debería sorprender que los padres con discapacidades… también puedan tener la necesidad de apoyos y servicios adicionales”. El condado agregó que existen otros programas de evaluación de riesgos que utilizan datos sobre la salud mental y otras condiciones que pueden afectar la capacidad de un padre para cuidar de un niño.
La AP obtuvo registros que muestran cientos de variables específicas que se utilizan para calcular los puntajes de riesgo de las familias que son denunciadas a los servicios de protección infantil, incluidos los datos públicos que utiliza el algoritmo de Allegheny y herramientas similares implementadas en los sistemas de bienestar infantil en otros lugares de Estados Unidos.
El análisis de la AP del algoritmo de Allegheny y aquellos inspirados por él en el condado de Los Ángeles, California; el condado de Douglas, Colorado; y en Oregón revela una variedad de puntos de datos controvertidos que ha analizado a personas con bajos ingresos y otras demografías desfavorecidas, y a veces ha analizado a las familias por su raza, código postal, discapacidades y su uso de las prestaciones de bienestar público.
Desde que se publicó la investigación de la AP, Oregón descontinuó su algoritmo debido a preocupaciones de igualdad racial, y la Oficina de la Casa Blanca para Políticas de Ciencia y Tecnológica enfatizó que los padres y los trabajadores sociales necesitaban más transparencia sobre cómo las agencias gubernamentales implementan algoritmos como parte del primer “Proyecto de Ley de Derechos Relacionados con la IA” de la nación.
El Departamento de Justicia ha mostrado un interés generalizado para investigar algoritmos en los últimos años, dijo Christy Lopez, profesora de Derecho de la Universidad de Georgetown y quien anteriormente dirigió algunos de los litigios e investigaciones de la división de Derechos Civiles del Departamento de Justicia.
Durante un discurso pronunciado hace alrededor de un año, la subsecretaria de Estado Kristen Clarke advirtió que las tecnologías de inteligencia artificial tenían “implicaciones graves para los derechos de las personas con discapacidades”, y su división emitió recientemente una guía para los empleadores que dice que el uso de herramientas de IA en la contratación podría violar la Ley para Estadounidenses con Discapacidades.
“Están haciendo su trabajo como investigadores de derechos civiles a fin de llegar al fondo de lo que está pasando”, añadió Lopez sobre la investigación del Departamento de Justicia sobre la herramienta de Allegheny. “Me parece que esta es una prioridad para la división, investigar hasta qué punto los algoritmos están perpetuando las prácticas discriminatorias”.
Traci LaLiberte, experta en bienestar infantil y discapacidades de la Universidad de Minnesota, dijo que la investigación del Departamento de Justicia llamó su atención porque las autoridades federales han permitido en gran medida que decidan las agencias locales de bienestar infantil.
“El Departamento de Justicia está muy alejado del bienestar infantil”, declaró LaLiberte. “Realmente tiene que llegar al nivel de una preocupación bastante significativa para que le dedique tiempo y se involucre”.
Emily Putnam-Hornstein y Rhema Vaithianathan, las dos desarrolladoras del algoritmo de Allegheny y otras herramientas similares, refirieron a las respuestas del condado de Allegheny sobre el funcionamiento interno del algoritmo. Dijeron en un correo electrónico que desconocían cualquier escrutinio del Departamento de Justicia relacionado con el algoritmo.
Los investigadores y los miembros de la comunidad han expresado desde hace mucho tiempo su preocupación de que algunos de los datos que alimentan a los algoritmos de bienestar infantil pueden aumentar los sesgos históricos contra las personas marginadas dentro de los servicios de protección infantil. Eso incluye a los padres con discapacidades, una comunidad que es un grupo protegido bajo la ley federal de derechos civiles.
La Ley para Estadounidenses con Discapacidades prohíbe la discriminación por motivos de discapacidad, que pueden incluir un amplio espectro de condiciones, desde diabetes, cáncer y pérdida auditiva hasta discapacidades intelectuales y diagnósticos de salud mental y conductual, como el trastorno por déficit de atención e hiperactividad, la depresión y la esquizofrenia.
LaLiberte ha publicado investigaciones que detallan cómo los padres con discapacidades son afectados de manera desproporcionada por el sistema de bienestar infantil. Cuestionó la idea de usar puntos de datos relacionados con discapacidades en cualquier algoritmo porque, dijo, eso evalúa características que las personas no pueden cambiar, en lugar de su comportamiento.
“Si no es parte del comportamiento, tenerlo en el (algoritmo) lo sesga”, recalcó LaLiberte.
