El sistema penitenciario catalán lleva 15 años utilizando un algoritmo, RisCanvi, que probablemente ayude a los jueces a tomar decisiones sensibles, como conceder el tercer grado o la libertad condicional. Una investigación inversa (realizada sin acceso a datos oficiales) concluye que la contribución de este programa al proceso es cuestionable. «El sistema que auditamos parece comportarse de manera agresiva, hasta el punto de que combinaciones similares de factores y comportamientos (de presión) pueden derivar de la asignación de niveles de riesgo muy diferentes», se lee en el comunicado elaborado por la Fundación Eticas, al que he tenido acceso. acceso a EL PAÍS.
Cuando un recluso solicita determinados permisos penitenciarios en España, el tribunal que debe autorizar o denegar la petición recibe una notificación interna. Este documento, elaborado por profesionales del centro donde está alojado, proporciona elementos en los que se basa la decisión (historia, dirección, etc.). En Cataluña, parte de esta información la elabora RisCanvi, que calcula el riesgo de reincidencia de los sujetos a partir de una serie de variables que producen diferentes pesos. Esta información clave, la estructura del algoritmo, no es pública.
Al intervenir en un tema tan sensible como los permisos penitenciarios, RisCanvi en ocasiones no ha participado en un proceso de evaluación de impacto, como exige el Reglamento europeo sobre Inteligencia Artificial. “Aunque el algoritmo de RisCanvi no utiliza inteligencia artificial (IA), ya que es actuarial, durante un proceso técnico que toma decisiones sobre temas de alto riesgo, como la justicia penal y los asuntos penitenciarios, entra dentro de la definición más amplia de IA que hace que regulación y, por lo tanto, cumple en cierta medida con el estándar”, dijo Gemma Galdon, fundadora y directora general de Eticas.ai, una empresa especializada en auditorías algorítmicas bajo la marca Eticas Foundation.
Después de pedir a la Generalité la oferta de una sala de espectáculos convencional gratuita, el equipo de Galdon propuso crear una sala de espectáculos invertida. Este tipo de análisis se llama ingeniería inversa, el proceso de aprender información sobre los componentes y el proceso de fabricación de un producto a partir de un ejemplo dado. En el caso de RisCanvi, los investigadores de Eticas comenzaron a preguntar, en seis ocasiones, quiénes se habían aplicado el algoritmo a ellos mismos, así como a dos educadores sociales familiarizados con él, tres psicólogos especializados, cuatro abogados y un activista. Según la hipótesis, se analizaron datos públicos de 3.600 personas encarceladas en prisiones catalanas en 2015. Utilizando esta información, se evaluaron los efectos del algoritmo en un intento de comprender cómo funciona.
“RisCanvi es un sistema poco conocido por los afectados, los solitarios; que muchos de los que trabajan con él no tienen confianza, que el amortiguador está capacitado sobre su funcionamiento y su peso; «que es opaca y no se ha cumplido la normativa vigente sobre el uso de sistemas automatizados de toma de decisiones en España, donde se exigen audiencias de IA desde 2016», informa el auditorio. “Pero, en general, nuestros datos demuestran que RisCanvi no puede ser justo ni confiable y no ha logrado… estandarizar los resultados y limitar la discreción. En línea con estudios anteriores, no consideramos que RisCanvi sea confiable, ya que requeriría una relación clara entre los factores de riesgo, las conductas de riesgo y los puntos de riesgo.
“Estas son las conclusiones a las que llegamos al analizar los datos que pudimos recuperar. “Si el Departamento de Justicia tiene otros datos, estaremos encantados de comprobarlos y compararlos”, afirma Galdón, que sufre la falta de cooperación de la Generalitat. Su equipo ha estado trabajando en este proyecto durante dos años. “Cuando la justicia asumió que estábamos haciendo este trabajo, prohibió a los trabajadores denunciados en instituciones penitenciarias responder a la primera solicitud de información sobre nuestros hijos”, explica. Hicimos la investigación porque la Conselleria apuesta por hacer un auditorio interno. «Cuando pasamos seis meses sin escuchar ningún movimiento en esta dirección, comenzamos el trabajo de nuevo», dice Galdon.
Una de las psicólogas entrevistadas para elaborar la información dice que muy pocos sabemos que estamos siendo evaluados por RisCanvi. «No sabemos si este algoritmo determina la calidad y circunstancias de los beneficios que recibirán los reclusos», dijo el auditorio. “No creo que ninguna herramienta pueda predecir el comportamiento humano. Aunque pedimos mucha información y el resultado es aparentemente objetivo, estamos hablando de personas”, sostiene un abogado consultado por el equipo de Eticas.
Lo que sabemos sobre RisCanvi
RisCanvi se actualiza cada seis meses con los datos comunicados al sistema por los funcionarios, quienes ingresan en la computadora la información de los detenidos. Se aplica la primera versión del sistema (RisCanvi Screening), el cual se compone de diez elementos, desde el historial violento del recluso (si es el caso) o la edad en que fue delincuente la primera vez hasta si tuvo o Tuvo problemas con las drogas. o alcohol o si tienes recursos y apoyo familiar.
El resultado es que el algoritmo puede ser de alto o bajo riesgo. En el caso de que el mar esté alto se activa la versión extendida de RisCanvi, compuesta por 43 elementos y para su elaboración también falta que un funcionalista realice una entrevista al interior. En la versión completa de RisCanvi se plantean cuestiones como la distancia entre el hogar y la cárcel, antecedentes penales en el entorno, nivel educativo, dificultades de socialización, conocimientos intelectuales, trastornos de la personalidad, si el interés es la principal fuente de ingresos de la familia o su nivel de impulsividad e inestabilidad emocional. Cada uno de estos elementos se pondera automáticamente y su peso varía según el sexo, la edad y la nacionalidad. El veredicto final del algoritmo puede ser de riesgo bajo, medio o alto.
Sin embargo, el peso asignado a cada variable de la fórmula, información clave para saber cómo funciona el algoritmo, no es público. Algunos de los defensores de esta herramienta sostienen que, si murieran de conocimiento, los reclusos sabrían qué hacer para traicionar el resultado de la evaluación RisCanvi con pequeñas acciones a favor de sus intereses. Galdon no comprende esta crítica. “Saber qué papel hay que desempeñar es una norma básica de derecho. Planteando que es un problema, no entiendo cuál es la base de lo que es muy fundamental en nuestro ordenamiento jurídico”, explica.
Una valoración insuficiente
Hay expertos que consideran inútil hacer una audiencia algorítmica, o que incluso realizando algo así, suponen legítimamente una forma de funcionamiento que lleva candelabros en reserva. “Sobre el método actuarial se han escrito ríos de tinta explicando por qué contradice el concepto de justicia de nuestra cultura jurídica, que es metodológicamente individualista, pero que vale para un método estadístico genérico (y no individual) de evaluación de una persona”, sintetizado por Lorena Jaume-Palasí, experta en ética algorítmica y asesora del Parlamento Europeo, entre otras instituciones.
“El algoritmo intenta que todos sean iguales. “Pretende ayudar a los profesionales a hacer más eficaz su trabajo, pero no convence”, afirma en una entrevista Antonio Andrés Pueyo, catedrático de Psicología de la Violencia de la Universidad de Barcelona y director del grupo, al equipo de investigación que desarrolla RisCanvi.
“No es rentable, pero es obligatorio”, responde Jaume-Palasí. El experto cree que es momento de explicar cuál es la tarea de la justicia «y por qué este tipo de sistemas no suponen un cambio en el proceso administrativo, porque es un método antiguo que simplemente se ha digitalizado para seguir haciendo lo que sucede». siempre es verdad”.
puedes seguir EL PAÍS Tecnología fr. Facebook Y X o llámame aquí para recibir nuestra boletín semestral.
Suscríbete para seguir leyendo
leo sin limites
_