Bienes Falsos, Modelos Rotos
Armas de Destrucción Matemática – Parte II
You can read and share the Article in English.
Este artículo fue traducido del inglés original con la asistencia de Chay GPT.
Nota editorial: el análisis y la recopilación de fuentes me habrían tomado semanas si no fuera por la asistencia de ChatGPT.
Hay una verdad antigua, silenciosa, que se esconde bajo nuestra presente revolución tecnológica: lo que buscamos revela en qué creemos que está nuestra salvación. En el artículo anterior, Ídolos Falsos, Pérdidas Reales, exploré cómo solemos construir nuestras vidas en torno a sustitutos: dinero, seguridad, validación—bienes que prometen una solución existencial rápida, pero que al final nos dejan tan vacíos como antes de lograrlos. No son reales; son abstracciones de lo que no comprendemos: modelos de lo que no queremos enfrentar, representaciones del bien que usamos en lugar del Bien verdadero. Cuando los confundimos con la verdad última, seducen nuestra dirección, ocultan nuestro vacío y sustituyen el arduo camino del discernimiento por la ilusión de la claridad.
“Los modelos son opiniones incrustadas en matemáticas.”
—Cathy O’Neil
La inteligencia artificial, en su esencia, no es más que otro modelo. Un conjunto de abstracciones. Pero la forma en que la tratamos revela que no solo la usamos… la adoramos. A través de ella, damos poder a aquello en nosotros que aspira a reinar y controlar. Delegamos la responsabilidad moral a una máquina porque “lo sabe todo”, cuando en realidad solo refleja los sesgos que le hemos alimentado.
¿Qué pasaría si la IA no fuera peligrosa por ser demasiado poderosa, sino por ser demasiado obediente a las orientaciones rotas que jamás hemos cuestionado? El algoritmo más peligroso no es el que se equivoca, sino el que refleja nuestros propios sesgos no examinados con perfecta eficiencia—convirtiendo el prejuicio en política y el poder en cadenas invisibles. El pecado original no está en las matemáticas, sino en quien la modela. La primera falla no es técnica, es espiritual… ¡como siempre lo ha sido!
Ahí es donde Weapons of Math Destruction golpea más fuerte. La Dra. Cathy O’Neil sostiene que los algoritmos dañinos comparten tres rasgos: opacidad, escala y daño. Pero debajo de todos ellos hay algo aún más urgente: el desapego moral de sus diseñadores. Creamos modelos que ordenan currículums, determinan la solvencia crediticia, predicen delitos y distribuyen recursos educativos—y, en el proceso, codificamos y automatizamos los ídolos de nuestra sociedad: rendimiento por encima del propósito, control en lugar de comprensión, predicción en lugar de sabiduría.
La crisis ética, entonces, comienza mucho antes de la primera línea de código. Comienza en el corazón humano—cuando elegimos la eficiencia por encima del discernimiento, la abstracción por encima de la verdad y la certeza por encima de nuestra responsabilidad como seres humanos, con todo lo complejo que eso implica.
Hay una apremiante pregunta en el artículo anterior: ¿cuáles eran los ídolos que generaron disparidad e injusticia en el caso de Sarah Wysocki?
CASO: DENEGADA EN SILENCIO
Ella había hecho todo bien—o eso creía. Tenía sus cuentas al día, trabajaba a tiempo completo y buscaba construir un futuro mejor. Cuando solicitó un préstamo para mudarse a un barrio más seguro, no esperaba tener problemas. Pero el banco dijo, “NO.” Y no solo eso: no hubo explicación, ni posibilidad de apelación, ni diálogo—solo una negativa digital.
Lo que no sabía era que había sido calificada por un modelo de crédito alternativo. No solo el FICO, sino un sistema que incluía sus hábitos de compra, su código postal, incluso cuántas veces cambiaba de teléfono. Al modelo no le importaba que pagara el alquiler puntualmente o que estuviera intentando salir de una zona peligrosa. La clasificó como de alto riesgo—porque estadísticamente, las personas que vivían a su alrededor lo eran.
Y eso fue todo.
No solo se le negó un préstamo. Se le negó la movilidad, su seguridad y dignidad—basándose en datos que nunca consintió en compartir, dentro de un sistema cuya existencia desconocía. Aceptamos condiciones en procesos bancarios y páginas web, y sabemos poco sobre los ídolos que cuelgan de ese consentimiento.
Desarmando la estructura del ídolo
El ídolo detrás de este modelo bancario tiene nombre. Incluso tiene fórmula. Y es tan común que hemos dejado de cuestionarlo.
FICO es el acrónimo de Fair Isaac Corporation, “una empresa estadounidense de análisis de datos conocida por haber creado la puntuación FICO, un sistema de calificación crediticia ampliamente utilizado.” (CFPB) Creó el modelo original en 1989. “Una puntuación crediticia que se calcula con base en cinco factores...” (Investopedia)
Historial de pagos: 35%
Cantidad adeudada: 30%
Antigüedad del historial crediticio: 15%
Nuevos créditos: 10%
Tipo de crédito utilizado: 10%
Parece una estructura razonable para evaluar el valor de crédito. Sin embargo, los seres humanos somos complejos, y nuestras vidas también lo son. Permitir que los números definan nuestras decisiones solo trastocará aún más nuestras vidas. FICO evalúa el pasado, no el contexto ni la intención, ni la situación actual o tampoco la determinación de superarse—todas ellas dimensiones humanas fundamentales.
Y para colmo, hay una creciente tendencia en Estados Unidos al uso oscuro de datos personales para modelos de puntuación crediticia, lo que convierte a éste en un cóctel explosivo.
El auge de los modelos alternativos de evaluación
Las instituciones financieras y las fintech están usando cada vez más datos crediticios alternativos—que incluyen transacciones bancarias, pagos de servicios y hasta actividad en redes sociales—para evaluar a prestatarios sin historiales crediticios tradicionales. (Stripe)
De forma similar, la Oficina de Rendición de Cuentas del Gobierno de EE. UU. (GAO) señala que los prestamistas están explorando datos como nivel educativo o historial laboral para evaluar solicitudes de préstamos. (GAO) Además, empresas como RiskSeal ofrecen servicios que ‘analizan huellas digitales, incluidas redes sociales y uso del móvil, para predecir el riesgo crediticio.’ (RiskSeal)
Todo esto tiene un estatus legal ambiguo, ya que el uso de datos alternativos está sujeto a escrutinio regulatorio. En EE. UU., la Ley de Informe Justo de Crédito (FCRA) y la Ley de Igualdad de Oportunidades de Crédito (ECOA) regulan el uso de datos del consumidor. Estas leyes exigen que los modelos crediticios no sean discriminatorios y que los consumidores tengan derecho a conocer los datos utilizados y a impugnar inexactitudes (Stripe), cosa que evidentemente no se está cumpliendo.
La Oficina de Protección Financiera del Consumidor (CFPB) ha expresado preocupación sobre el uso de estos datos, especialmente cuando no se relacionan directamente con el comportamiento financiero del usuario. (Consumer Financial Services Law Monitor) ) Adicionalmente, Goodwin Law señala que, ‘aunque los datos alternativos podrían mejorar el acceso al crédito para poblaciones desatendidas, también plantean riesgos en términos de privacidad y sesgos sistémicos.’ (Goodwin)
Modelo matemático convertido en arma – ¿Qué hay en el centro?
En palabras sencillas, según Cathy O’Neil en Weapons of Math Destruction, los algoritmos o modelos se vuelven peligrosos cuando descansan sobre un sistema de tres patas:
Opacidad – No se sabe cómo funciona ni cómo decide.
Escala – Opera masivamente, afectando a millones de personas.
Daño – Provoca perjuicios reales: negar empleos, créditos o libertad, y muchas veces, afecta con mayor fuerza a los más vulnerables.
En los casos de Sarah Wysocki y Rechazada en Silencio, el sistema de tres patas se transforma en un arma por la intervención humana. Cuando esa parte falla, las otras —la auditoría y la supervisión— son solo maquillaje. Y lo más crucial: incluir a una persona al inicio o al final de la cadena de decisiones no garantiza un resultado justo, si no se ha revelado antes el verdadero objetivo del modelo.
El dilema moral de la IA y los modelos matemáticos
Cuando el corazón humano está desalineado y no sabe lo que realmente busca, la supervisión es solo cosmética. Auditar no corrige lo que la intención pervierte. Incluso poner a un humano al comienzo o final de la cadena de decisión no cambia nada si no nos preguntamos primero: ¿a qué sirve este modelo?
No necesitamos mejores modelos hasta que nosotros seamos mejores modeladores.
Porque todo sistema que diseñamos es solo un espejo—y no podemos culpar al reflejo por lo que nos negamos a enfrentar.
Este artículo es parte de un ciclo que investiga la dimensión ética de la inteligencia artificial. Contrario a lo que muchos creen, lo crucial no son sus logros técnicos, sino el uso que individuos, organizaciones y gobiernos decidan darle. La IA no crea nada: solo amplifica lo que le damos. Si perseguimos objetivos sin examinar las ataduras que los motivan, estaremos programando, en código, la tragedia de nuestras vidas.
