Armas de Destrucción Matemática
una exploración en el libro de Cathy O'Neil.
Si quieres leer o compartir este Atículo en Inglés.
Contrario a la opinión más extendida, el campo más importante de la IA es la ética, por encima de las hazañas técnicas. Cathy O’Neil cita con acierto: “Los modelos son opiniones integradas en matemáticas” (inglés: Models are opinions embedded in mathematics) en su contundente libro Weapons of Math Destruction (escrito antes del auge actual de la IA, pero enfocado en esos mismos modelos opacos y de alto riesgo que ahora suelen estar impulsados por aprendizaje automático). ¿Qué sucede cuando renunciamos la decisión moral a una fórmula opaca?
La IA es una maravilla de nuestra ingeniería que promete potenciar nuestros objetivos y permitirnos alcanzar nuestros sueños. Sin embargo, esta eficiente caja negra —codificada con nuestras creencias, sesgos y defectos de carácter— puede amplificar exponencialmente nuestras limitaciones.
¿Qué ocurrirá con nuestro mundo y nuestras sociedades si híper-potenciáramos nuestros prejuicios?
¿Cómo podemos evitar que nuestros prejuicios y limitaciones menoscaben los emprendimientos con IA?
Investigando problemas reales para cotejar si mi postura sobre la ética estaba bien orientada, hallé una brillante investigación sobre las consecuencias de no usar la ética en el libro de Cathy O’Neil. Profundizaré en dos casos de su obra para que los lectores entiendan mejor por qué un marco ético es esencial al incorporar IA en los procesos de toma de decisiones de las organizaciones.
Para ilustrar cómo la ética debe integrarse en procesos complejos, comparto…
El caso de Sarah Wysocki
Sarah Wysocki era, según toda valoración humana, una excelente maestra. Sus alumnos la adoraban y los padres elogiaban su dedicación. Los supervisores que visitaban su aula valoraban muy positivamente su desempeño. Sin embargo, en 2011 Sarah fue despedida del sistema de escuelas públicas de Washington D. C., no por lo que la gente decía de ella, sino por la decisión de un algoritmo.
El distrito en Washington DC implementó un sistema de evaluación llamado IMPACT, híbrido de observación humana y un modelo estadístico, para detectar a los maestros “ineficientes”. El núcleo de este sistema era el Value-Added Model (VAM), una fórmula diseñada para medir la “efectividad” del maestro analizando año tras año los cambios en las puntuaciones de los exámenes estandarizados de sus alumnos. En teoría, filtraría el “ruido” —pobreza, trauma, inestabilidad— y aislaría el impacto real del maestro.
En la práctica, no cumplió este propósito. Castigó a los docentes por los mismos retos que estaban intentando superar. Como señala Cathy O’Neil, “Estos modelos castigaban a los profesores que asumían los trabajos más difíciles”. Los alumnos de Sarah, muchos de entornos desfavorecidos, mejoraban, pero no en formatos captables por un examen estándar. El modelo no registró su aliento, su paciencia ni las largas noches dedicadas a preparar clases. Solo vio números, y los números no daban.
Al ser opaco y propietario, Sarah nunca supo qué había hecho mal. Fue despedida con la misma frialdad con que un banco ejecuta una hipoteca—a una persona convertida en una estadística. En el mundo de Weapons of Math Destruction, esto no fue un fallo, fue el sistema funcionando exactamente según su diseño.
¿Por qué ocurrió esta injusticia? La fórmula del VAM extrapoló cifras sin considerar el contexto: no tuvo en cuenta a qué alumnos enseñaba Sarah, sus circunstancias ni la dedicación de ella. El sistema no se vinculó con los órganos escolares encargados de evaluar el rendimiento de estudiantes o maestros—grupos como el Comité de Asuntos Académicos, el Equipo de Evaluación y Medición, los Comités de Evaluación Docente o la Administración Escolar.
Esto demuestra que, sin transparencia ni supervisión humana, un modelo matemático puede destruir la dignidad de todo un proceso.
Miedos y atajos
Del caso de Sarah inferimos dos motivaciones: evitar responsabilidad legal y buscar cobertura política. En el distrito escolar de D. C., ¿en qué medida el temor a rendir cuentas impulsó la externalización de las evaluaciones a un algoritmo? Y no dudo que las organizaciones privadas están exentas de las mismas presiones.
Cuando los humanos eluden la responsabilidad,
la cola termina meneando al perro.
Podría parecer que basta con alimentar el modelo con más datos sobre el contexto. Pero Cathy O’Neil no ofrece recetas rápidas: advierte que cualquier sistema de decisión de alto impacto debe estar rodeado de salvaguardias éticas o arruinará vidas. Según ella, antes de dejar que un algoritmo toque la carrera, el crédito o la reputación de alguien, es imprescindible:
· Recoger contexto: combinar las perspectivas de la IA con la retroalimentación de los interesados
· Evaluar sesgos: realizar pruebas de equidad y revisiones éticas
· Decidir humanamente: reservar la decisión final a una persona, con explicación clara y posibilidad de apelación
La cita de O’Neil, “Los modelos son opiniones integradas en matemáticas”, resulta inquietante porque muestra cómo los usuarios se esconden tras una caja negra matemática — pero la responsabilidad por sus decisiones recae completamente en el ser humano.
La IA, como cualquier arma, depende de la ética para ser empuñada adecuadamente.
No hay atajos hacia el éxito.
No se puede eludir la responsabilidad cuando una meta es realmente valiosa. Al ejercer poder sin sabiduría, desencadenamos fuerzas en nuestra psique que nos impulsan momentáneamente, pero sin guía; ese impulso causa disociación y daños colaterales.
La IA es el vehículo; los humanos deben ser los conductores.
Sin responsabilidad, no hay verdadero progreso.
Si entregas tu decisión a una máquina, los sesgos programados en la IA te conducirán al mismo callejón sin salida que un vehículo mal dirigido.
Este artículo es parte de un ciclo que investiga la dimensión ética de la inteligencia artificial. Contrario a lo que muchos creen, lo crucial no son sus logros técnicos, sino el uso que individuos, organizaciones y gobiernos decidan darle. La IA no crea nada: solo amplifica lo que le damos. Si perseguimos objetivos sin examinar las ataduras que los motivan, estaremos programando, en código, la tragedia de nuestras vidas.
