Este comentario me hizo pensar en algo similar como son prohibiciones de parte de plataformas tecnológicas, que pueden usar algoritmos para excluir material que no comparten, ya sea por ideología, o por valores morales específicos de quienes los administran y así que concluyen limitando la libertad de expresión. Ciertamente, esas son plataformas tecnológicas privadas y pueden decidir a quién darle el servicio, pero, lo que se está viendo, es que buscan impedir la competencia de otros sitios para que se ajuste a sus deseos regulatorios concretos de la libertad de expresión y, también, de una posible competencia.

LOS PELIGROS DEL CONTROL POLICIAL POR ALGORITMOS

Por Brent Orrell
Law & Liberty
19 de enero del 2021

NOTA DEL TRADUCTOR: Para utilizar los ligámenes de las fuentes del artículo, entre paréntesis y en azul, si es de su interés, puede buscarlo en su buscador (Google) como brent orrell law & liberty algorithm January 19, 2021 y, si quiere acceder a las fuentes, dele clic en los paréntesis azules.

En la película de acción y ciencia ficción del 2002, Minority Report [Sentencia Previa], basada en una breve historia de Phillip K. Dick, famoso por The Man in the High Tower [El hombre en el castillo], se desarrolla una forma de control con la capacidad de predecir, con certeza, quién cometería un asesinato. Como se cuenta en la película, el uso del sistema en Washington D.C. reduce exitosamente la tasa de asesinatos a cero, estimulando que oficiales federales consideraran extenderla a toda la nación. Pero sólo hay un problema: estaba sujeto a la manipulación y mal uso para fines políticos y criminales, encarcelando a inocentes inconvenientes, así como a los pre culpables.

Resulta que los “grandes datos” y algoritmos sofisticados [Nota del traductor: algoritmo es una “secuencia de pasos lógicos que permiten solucionar un problema] nos acerca más a la aplicación de la ley “pre crimen” de Dick, de lo que podíamos haber imaginando, ayudando a erosionar la presunción de inocencia en nombre de prevenir el delito. Las agencias de aplicación de la ley a través del país están acudiendo crecientemente a programas de minería de datos y algoritmos para algo llamado “acción policial guiada por inteligencia” (APGI), que ostensiblemente ayuda al departamento a predecir dónde puede ocurrir un crimen, pero, también, las identidades de criminales potenciales.

La APGI se basa en principios usados en los años noventa como parte de “CompStat” y otras prácticas policiales guiadas por datos. CompStat, acreditada por ayudar a romper la espalda de los problemas de criminalidad en la Ciudad de Nueva York, bajo el entonces alcalde Rudy Giuliani, dirigió los recursos policiales hacia los “sitios calientes” de criminalidad, en que individuos involucrados en ofensas crónicas contra la propiedad y personas, podrían ser arrestados en el acto. El programa, desde ese entonces repetido en jurisdicciones a través del país, tenía la intención de mejorar la seguridad ciudadana por medio de prácticas policiales basadas en datos, que alteraban patrones de comportamiento criminal.

La APGI suena muy parecido a CompStat, pero no lo es. En vez de usar datos agregados para dirigir a la policía hacia áreas de alta actividad criminal, la APGI identifica a individuos quienes, con base en sus registros criminales, estatus socioeconómico, vecindario, y otros factores obtenidos de la actividad en medios sociales, podrían representar un riesgo aumentado para la comunidad. Aquellos individuos, incluyendo a menores, son, entornes, objeto de un escrutinio policial aumentado, que, en algunos casos, bordea o se convierte en un acoso verdadero. Eso va más allá de CompStat en cuanto al monitoreo no del crimen, sino de una amenaza de crimen por individuos específicos, implicados por medio de un análisis de vastos almacenes de datos.

Así que, ¿en la práctica, a qué se parece la acción policial guiada por la inteligencia?

El Tampa Bay Times llevó a cabo una investigación en el uso de APGI por el departamento de policía del condado de Pasco, para aumentar el monitoreo de individuos determinados que eran un riesgo mayor de cometer ofensas criminales. Lo que, a menudo, acompañó al monitoreo fueron visitas frecuentes de oficiales, usualmente no avisadas, y un aumento en las multas o arrestos por delitos menores, tales como permitir a un joven usar nicotina en su hogar o mantener pollos en el patio. Una cantidad de individuos blanco de la APGI y sus familias experimentó eso como un acoso, optando por dejar del todo el condado, para escapar al monitoreo policial. Aún si la estrategia funcionó como se esperaba, parece claro que será, no un asunto de prevenir el crimen, sino de desviar el crimen potencial hacia alguna otra parte.

El departamento de policía de Fresno, California, ha ido más allá, al incorporar prácticas guiadas por la inteligencia al sitio de llamadas del 911. Cuando entra una llamada de emergencia, los operadores consultan un programa que les da una elevada “calificación de amenaza” de las direcciones y residentes involucrados, para preparar antes a oficiales y primeros en responder para problemas posibles. ¨Puede ser que las partes civiles no se den cuenta, o no sepan, del nivel de amenaza asignado a ellos, intensificando las posibilidades de mala comunicación y mal entendimiento entre ellos y la policía. Un concejal de la ciudad de Fresno, quien preguntó en una audiencia acerca de su propia evaluación de arresto, supo que, si bien había sido calificado “verde” (riesgo bajo), su dirección residencial recibió una calificación de “amarillo” (riesgo mediano). Los representantes del departamento no pudieron decir con certeza porqué la dirección del concejal era un riesgo mayor, pero especularon que mucho podía tener que ver con acciones de un residente anterior.

Más allá del potencial para el abuso, error, y uso incrementado de prácticas policiales agresivas, la APGI plantea temas básicos de justicia en torno a la forma en que son usadas, así como preguntas constitucionales serias acerca del debido proceso y la presunción de inocencia.

El primer asunto que debe encararse es si tales programas son inteligibles para las fuerzas policiales que los usan. Como se ha hecho ver más generalmente en el contexto de la inteligencia artificial, a menudo, es difícil para los programadores de algoritmos sofisticados, entender cómo estos sistemas llegan a sus conclusiones. Si el programador no lo sabe (y, a menudo, no compartirá lo que sabe en un esfuerzo por proteger el conocimiento de su propiedad), es posible que los usuarios policíacos de la información no lo sepan, y mucho menos que puedan evaluar independientemente, la validez y confiabilidad de los reportes que reciben.

Este desafío recuerda el debate más amplio acerca del uso de los programas de evaluación del riego guiados por algoritmos en el sistema de justicia criminal. Los vigilantes de las libertades civiles y promotores de reformas a la justicia criminal, han argüido que tales programs están inevitablemente sesgados en materias de raza, vecindario, y clase, conduciendo a decisiones sesgadas acerca de si detener a un sujeto acusado y las duraciones de las sentencias para aquellos quienes fueron declarados convictos. La APGI eleva todavía más las apuestas en este debate. El sesgo potencial basado en características individuales, historia criminal, y otros factores, se está extendiendo a asuntos no relacionados con crímenes que en la realidad se hayan cometido (como decisiones previas al juicio o de sentencia) sino acerca de crímenes que podrían cometerse.

Criminólogos, en ocasiones, describen al sistema de justicia criminal como “pegajoso” ̶ una vez que usted tiene un récord criminal, aumentan sus posibilidades de reencontrarse con la policía y las cortes, debido a violaciones a la libertad condicional o vigilada, o por delitos menores, cualquier de ellos pudiendo enviarlo de regreso a prisión. También, los registros criminales hacen que sea más difícil obtener un trabajo o encontrar vivienda estable. El sistema de justicia criminal, entonces, se convierte en una profecía autocumplida de infracciones criminales futuras. La APGI puede estar llegando a ser parte de esa cada vez más densa red de aplicación de la ley y prosecución, que impulsa la reincidencia y el regreso a la cárcel.

Otro problema con la APGI es que los ciudadanos no se dan cuenta de la extensión y cantidad de datos que está siendo “arañada” de fuentes públicas y cuentas de medios sociales, que luego se usan en la construcción de perfiles de riesgo. ¿Cuánta gente se da cuenta que la terminología o imágenes que usa en sitios populares, como Facebook e Instagram, pueden terminar sirviendo de información para actitudes y comportamientos policiales hacia ellos, sin su consentimiento o conocimiento ̶ y sin una oportunidad de desafiar las conclusiones así logradas? Datos negativos o inferencias de esos datos amenazan con convertirse en una especie de inculpación extrajudicial, que asume el riesgo de barrer y exponer a ciudadanos que no sospechan, sin su conocimiento de encuentros futuros, de mayor riesgo, con las fuerzas policíacas.

Mucho se ha mencionado acerca de cómo los líderes del Partido Comunista de China están usando grandes datos y monitoreo de videos para desarrollar e imponer “calificaciones de crédito social,” que determinan la confianza ideológica y de comportamiento y, distribuir, según aquellas, el privilegio económico y social. En mi mente existe una pregunta seria de si la APGI no comparte algunas de las mismas características de ese sistema, sujetando a individuos a una especie de analítica predictiva, dirigida a decirnos quién es posible que cometa un delito y quién no lo es. Tal sistema amenaza con poner patas arriba a elementos esenciales de la libertad constitucional estadounidense, como presunción de inocencia y debido proceso; a partir de lo cual aquellos con registros criminales están en riesgo de ser acusados de delitos que no han cometido aún (y puedes ser que nunca) y, luego, se les niega la oportunidad de entender de dónde y cómo se originó la acusación o bien para desafiar su estatus de riesgo.

Dadas estas limitantes potenciales, a uno le inquieta por qué no se ha cuestionado más a la APGI y sus implicaciones para la libertad y justicia. Me sospecho que la respuesta se encuentra en dos factores. Primero, la aplicación de la ley ocupa una posición privilegiada en la sociedad estadounidense, como la “tenue línea azul” que yace entre civilización y caos. Lo que para ello la aplicación de la ley exige, se obtiene, y lo que se ha estado pidiendo en los últimos tiempos es recursos que hagan que se parezca más y más a lo militar, con un nivel de armamento siempre creciente. La APGI es otra técnica adaptada de la inteligencia militar y extranjera que borra aún más la línea entre una fuerza de seguridad, que defiende a la nación ante agresores extranjeros, y una fuerza policial con un mandato de servir y proteger. La AGPI es un paso adicional a lo largo de un camino que puede terminar convirtiendo a los ciudadanos en enemigos.

Segundo, la realidad es que la APGI es principalmente una herramienta para combatir los crímenes más serios, y las comunidades que están más afectadas por este tipo de crímenes las pueblan principalmente grupos de bajos ingresos y de minorías. Cuando se dan abusos con la APGI, es más posible que ocurran en vecindarios que están muy alejados de la supervisión y preocupación de la mayoría de los estadounidenses. Este es otro de esos problemas que afectan principalmente a “otros,” en vez de a nosotros mismos, y contribuye y exacerba otras inequidades en comunidades que ya soportan el peso de la discriminación, desventaja social, exceso de vigilancia policíaca y encarcelamiento excesivo. Si queremos un mejor entendimiento de los tipos de prácticas que exacerban las tensiones entre la policía y las comunidades, examinar el uso de la APGI puede ser buen sitio para empezar.

Brent Orrell es compañero residente del American Enterprise Institute.

Traducido por Jorge Corrales Quesada