Cathy O’Neil - Armas de destrucción matemática

Quiero dar las gracias a mi marido y a mis hijos por su increíble apoyo. Gracias también a John Johnson, Steve Waldman, Maki Inada, Becky Jaffe, Aaron Abrams, Julie Steele, Karen Burnes, Matt LaMantia, Martha Poon, Lisa Radcliffe, Luis Daniel y Melissa Bilski. Y también gracias a las personas sin las que este libro no existiría: Laura Strausfeld, Amanda Cook, Emma Berry, Jordan Ellenberg, Stephen Baker, Jay Mandel, Sam Kanson-Benanav y Ernie Davis.

Este libro está

dedicado a todos los

desamparados

E n este recorrido a lo largo de una vida virtual, hemos ido al instituto y a la universidad, hemos estado en los tribunales y en el lugar de trabajo, e incluso hemos visitado las urnas. A lo largo del camino hemos sido testigos de la destrucción que causan las ADM. Las ADM, con su promesa de eficiencia y justicia, distorsionan la educación superior, acrecientan la deuda, incitan a las penas de prisión en masa, golpean a los pobres en prácticamente todas las coyunturas y socavan la democracia. Parece que la respuesta lógica debe ser desarmar estas armas una a una.

El problema es que se alimentan mutuamente. Las personas pobres tienen más probabilidades de tener malos historiales crediticios y de vivir en barrios con altas tasas de delincuencia, rodeadas de otras personas pobres. Una vez que el universo oscuro de las ADM ha digerido estos datos, cubre a esas personas de anuncios depredadores de préstamos de alto riesgo o de universidades privadas con ánimo de lucro. Envía más agentes de policía a arrestarlas y, cuando son declaradas culpables, las condena a penas más largas. Estos datos alimentan a otras ADM, que califican a las mismas personas como de alto riesgo o como blancos fáciles y pasan a excluirlas de las vacantes en las empresas, al tiempo que inflan los tipos de interés de sus hipotecas o de sus préstamos para comprarse un coche, así como las primas de todos los seguros imaginables. Esto reduce aún más su calificación de solvencia crediticia, con lo que se crea una espiral mortal en la modelación. Ser pobre en un mundo de ADM resulta cada vez más peligroso y caro.

Las mismas ADM que maltratan a los pobres también colocan a las clases acomodadas de la sociedad en sus propios silos de marketing. Las envían en jets privados de vacaciones a Aruba y las inscriben en la lista de espera de la prestigiosa escuela de negocios Wharton. Seguro que muchos tienen la sensación de que el mundo es más inteligente y más fácil. Los modelos les muestran descuentos en prosciutto y vinos Chianti, les recomiendan una película fantástica en Amazon Prime o los dirigen, uno a uno, hasta una cafetería de moda en lo que antes era un barrio «oscuro». El carácter tranquilo y personal de esta segmentación evita que los ganadores de la sociedad vean cómo esos mismos modelos están destruyendo vidas, en ocasiones a solo unas cuantas manzanas de distancia.

El lema nacional de Estados Unidos, «E Pluribus Unum», significa «de muchos, uno», pero las ADM han invertido la ecuación. Operando en las sombras, dividen un todo en muchos, al tiempo que nos ocultan el daño que están infligiendo a nuestros vecinos más o menos cercanos. Esos daños son incalculables. Se producen cuando una madre soltera no consigue encontrar a alguien que cuide de su hija con la suficiente rapidez para adaptarse a su horario de trabajo cambiante, o cuando un joven con dificultades es excluido del proceso de selección para un trabajo por horas por un test de personalidad. Los vemos cuando un adolescente de una minoría pobre es detenido, amenazado y amonestado por la policía local, o cuando un trabajador de una gasolinera que vive en un código postal de un barrio pobre recibe la mala noticia de que le han subido la prima del seguro. Es una guerra silenciosa, que golpea con más dureza a los pobres, aunque también afecta a la clase media. Sus víctimas, en su mayoría, no tienen el suficiente poder económico, ni acceso a abogados o a organizaciones políticas bien financiadas para poder ganar las batallas. El resultado es un daño generalizado, que con demasiada frecuencia es percibido como algo inevitable.

No podemos contar con que el mercado libre corrija estos males. Y para entender por qué, vamos a comparar las ADM con otra lacra contra la que nuestra sociedad ha estado luchando: la homofobia.

En septiembre de 1996, dos meses antes de su reelección, el presidente Bill Clinton firmó la Ley de Defensa del Matrimonio. Esta ley, que definía el matrimonio como la unión entre un hombre y una mujer, prometía consolidar el apoyo al presidente en los reductos conservadores de los estados en disputa en las elecciones, incluidos Ohio y Florida.

Justo una semana después, el gigante tecnológico IBM anunciaba que daría cobertura médica a las parejas del mismo sexo de sus trabajadores. Podríamos preguntarnos por qué IBM, un pilar del establishment corporativo, se decidía a abrir esta vía e invitar a la polémica precisamente en el momento en que un presidente estadounidense supuestamente progresista daba un paso en la dirección opuesta.

La respuesta a esto tiene que ver con la cuenta de resultados de las empresas. En 1996, la fiebre de Internet estaba justo arrancando e IBM competía por los mejores cerebros con Oracle, Microsoft, Hewlett-Packard y montones de start-ups, entre las que se encontraban Amazon y Yahoo. La mayoría de estas otras empresas ya daban cobertura sanitaria a las parejas del mismo sexo de sus empleados, con lo que habían atraído a gais y lesbianas con talento. IBM no pedía permitirse quedar fuera, «En términos de competitividad empresarial tenía sentido hacerlo», declaró entonces un portavoz de IBM a Businessweek.

Si pensamos en las políticas de recursos humanos de IBM y otras empresas como si fueran algoritmos, podemos decir que han estado codificando la discriminación durante décadas. El paso de igualar la cobertura médica las impulsó a ser más justas. Desde entonces, los gais y las lesbianas han conseguido impresionantes avances en muchos campos. El avance es desigual, evidentemente. Muchos estadounidenses gais, lesbianas y transgénero siguen siendo víctimas del prejuicio, la violencia y las ADM. Y esto es especialmente cierto entre las poblaciones pobres y en las minorías. Pese a todo, según redacto estas líneas, un gay, Tim Cook, Y si así lo desea, tiene el derecho constitucional de casarse con un hombre.

Ahora que hemos visto cómo las grandes corporaciones pueden dar pasos decisivos para corregir un error en sus algoritmos de contratación, ¿por qué no hacer ajustes similares en los modelos matemáticos que están causando estragos en nuestras sociedades, las ADM?

Desgraciadamente, existe una diferencia evidente. Los derechos de los gais se beneficiaron de muchas formas de las fuerzas del mercado. Existía un grupo de gais y lesbianas con gran talento y formación académica superior que se hacía valer cada vez más y que las empresas deseaban contratar. De modo que las compañías optimizaron sus modelos para atraerlos. Lo hicieron pensando en su cuenta de resultados y, en la mayoría de los casos, el hecho de que sus modelos fueran así más justos no fue más que un efecto colateral. Al mismo tiempo, empresas de todo el país empezaron a centrar su atención en pudientes consumidores LGTB, a los que ofrecen cruceros, bares con su hora feliz y programas de televisión de temática gay. Aunque sin duda la inclusión estaba provocando ciertas quejas en algunos focos de intolerancia, también estaba produciendo altos dividendos.

El desmantelamiento de un ADM no siempre ofrece una compensación tan evidente. Aunque es cierto que una mayor ecuanimidad y justicia beneficiaría a la sociedad en su conjunto, las empresas individuales no están en posición de cosecharlos frutos de algo así. De hecho, a la mayoría de ellas les parece que las ADM son altamente efectivas. Modelos de negocios enteros, como las universidades privadas con ánimo de lucro y los préstamos rápidos, se han construido sobre esa base. Y cuando un programa informático identifica con éxito a las personas que están lo suficientemente desesperadas como para pagar un tipo de interés del 18 % al mes, los que recogen los beneficios piensan que el programa funciona a la perfección.