Uso de algoritmos en organismos públicos
En Chile, un algoritmo puede estar interviniendo ahora mismo en decisiones sobre el acceso de una persona a un beneficio social, la gestión de una licencia médica o la priorización de un caso para una fiscalización.
El problema, advierten los expertos, es que ni la ciudadanía ni los propios organismos públicos cuentan con información completa sobre qué sistemas existen, cómo operan y qué reglas los rigen. (...)
“En este momento puede que te estén aplicando algún tipo de modelo de inteligencia artificial, pero tú no lo sabes ni yo lo sé”, resume Carlos Amunátegui, profesor titular de la Facultad de Derecho UC, abogado y especialista en inteligencia artificial. El uso de algoritmos en la administración pública, dice, avanza “de manera desordenada”, sin resguardos éticos ni certificaciones que descarten sesgos.
Para Amunátegui, el riesgo no es hipotético. Cita el caso COMPAS, una herramienta de evaluación de riesgo utilizada en el sistema penal estadounidense. Un análisis de ProPublica publicado en 2016 encontró diferencias raciales relevantes en los errores de clasificación del sistema: entre las personas que no reincidieron, los acusados afrodescendientes fueron clasificados erróneamente como de alto riesgo con mayor frecuencia que los blancos. La empresa desarrolladora cuestionó posteriormente esa interpretación.
“El algoritmo se hizo racista”, resume el académico. Atribuye el problema a datos de entrenamiento poco diversos respecto de la población donde se aplica el sistema.
Por eso, dice, ninguna decisión que afecte derechos fundamentales debería quedar solo en manos de un sistema automatizado: siempre debe haber una persona que revise y aplique criterio.
No toda tecnología es igual de riesgosa, aclara. Los sistemas simbólicos —como declarar impuestos— no “alucinan” ni son impredecibles. Las redes neuronales que detectan conductas tributarias sospechosas sí requieren certificación previa.
Pero ¿quién responde cuando un algoritmo falla? No hay una regla única, dice Amunátegui. Puede ser quien lo implementa de forma negligente —un juez que use un chatbot para redactar una sentencia—, el organismo que lo adoptó, o la empresa que lo desarrolló, como en la falla de un auto autoconducido. Por eso plantea regulación sectorial específica para ciertos ámbitos, como los vehículos autónomos. (...)
