la relación entre el alto modernismo y el modernismo de alta tecnología es una lucha entre dos élites: una nueva élite de codificadores, que afirman mediar en la sabiduría de las multitudes, y una élite más antigua que basaba sus pretensiones de legitimidad en conocimientos profesionales, científicos o burocráticos especializados
Esa es la portada del libro de Scott en el que se describe como el Estado moderno (el que surge a partir de la Ilustración) llevó a su máxima expresión la "visibilidad" de los ciudadanos para el gobierno permitiendo a éste actuar más eficazmente sobre los subgrupos sociales y estandarizar las relaciones sociales. En el ensayo que extracto a continuación, Henry Farrell & Marion Fourcade aplican las categorías de James C. Scott a la inteligencia artificial a los algoritmos. Contra la primera impresión, creo que hay razones para el optimismo, también respecto a los efectos de la inteligencia artificial sobre la libertad individual y la "economía moral" de nuestras sociedades: la competencia entre las empresas que producen y controlan los algoritmos y el enorme poder del Estado hacen mucho menos peligrosa para aquellas la inteligencia artificial de lo que lo era el Estado potencialmente absoluto o totalitario.
"Las personas tienen agencia. No se someten simplemente como producto del engaño a las categorías que los cosifican. Pueden reaccionar ajustándose a esas descripciones o saliéndose de ellas. O pueden rechazar ser definidos así... Hay, en definitiva, retroalimentación...... de modo q los q clasifican (funcionarios, mercado, expertos) pueden reaccionar a su vez ajustando las categorías correspondientes… La sociedad humana se desestructura y reestructura continuamente por las interacciones entre instituciones clasificadoras y las personas clasificadas"
"Los mecanismos políticos y sociales a través de los cuales las personas respondían en el pasado... a su categorización... han sido reemplazados por bucles cerrados en los que los algoritmos asignan a las personas a categorías, evalúan sus respuestas a las señales y... las actualizan y reclasifican continuamente sin q las personas sean conscientes. Las clasificaciones producidas por el aprendizaje automático son cibernéticas... es decir, se autocorrigen... se ajustan automática y dinámicamente a la luz de las reacciones que provocan"
Un ejemplo: “La clasificación crediticia sobre la base de la solvencia del grupo al que un individuo pertenecía… ayuda a iluminar estas diferencias. Hasta la década de 1970, las características demográficas amplias, como el género o la raza o el estado civil o el barrio (pobre o rico) de residencia… se usaban habitualmente para determinar la solvencia de una persona. Sólo cuando se prohibió la discriminación, nuevas técnicas actuariales dirigidas a calificar con precisión el "riesgo" de individuos específicoscomenzaron a florecer en el dominio del crédito.
Esto no solo cambió la forma en que los prestamistas "veían" a los individuos y a los grupos, sino también cómo los individuos y los grupos pensaban sobre sí mismos y qué podían hacer políticamente… Redlining era racismo explícito, visible para cualquiera que se molestara en mirar un mapa. Pero las nuevas técnicas de calificación crediticia convirtieron la evaluación del riesgo crediticio en un proceso cuantitativo, individualizado y abstracto. Impugnar las clasificaciones resultantes o actuar colectivamente contra ellas se hizo más difícil. Más tarde, el despliegue del aprendizaje automático, que utiliza señales aún más débiles para hacer sus juicios, como usar el nivel promedio de batería del teléfono para determinar la probabilidad deque alguien devuelva un préstamo, hizo que el proceso de medición de la solvencia crediticia fuera aún más opaco y, por tanto, más difícil la reacción por parte de los individuos clasificados… se evita la discriminación racial flagrante (pero… no se)… eliminan las disparidades raciales, simplemente las hacen más difíciles de ver…
Los algoritmos… fomentan una visión de lo que es un trato justo o equitativo fundado en el mercado… La amenaza de ser automatizado se cierne sobre todos los trabajadores. Las tecnologías algorítmicas también se pueden implementar para contratar y despedir, para predecir el rendimiento, la influencia y el riesgo, o para vigilar, disciplinar y arrestar. Lo hacen ordenando por rango de acuerdo con sus propias versiones particulares de mérito.
El modernismo de alta tecnología, por el contrario, socava sistemáticamente el juicio de la élite y pone en crisis la superioridad de los expertos… Los algoritmos pretenden leer las radiografías mejor que los radiólogos, predecir las compras mejor que los expertos en marketing, comprender la sexualidad de las personas mejor que ellas mismos y producir nuevo texto o código mejor que muchos escritores o programadores profesionales. Mientras tanto, elevan una especie de sabiduría de abajo hacia arriba. La red deja que la multitud juzgue lo que vale la pena saber, generando sentimientos colectivos a través de me gusta, clics y comentarios. Las tendencias virales y las multitudes en línea proporcionan una especie de vox populi pseudodemocrático, aunque extremadamente volátil.
(Pero)… la jerarquía no ha desaparecido. Solo se ha vuelto menos visible… Las prioridades comerciales de las empresas de plataformas determinan los algoritmos que se emplean, así como sus "funciones objetivas", los objetivos ponderados que se supone que deben maximizar. Las corporaciones de redes sociales emplean algoritmos que maximizan el "compromiso", manteniendo a los consumidores desplazándose por los feeds o viendo videoclips para que sigan viendo contenido pagado que puede ser engañoso… la invisibilidad de la jerarquía permite a estos intermediarios del conocimiento justificarse en los principios del laissez-faire, sin decirle al público en qué confiar, incluso mientras se hunden silenciosamente más profundamente en el estiercol de Augías de moderar contenido ofensivo, engañoso o falso.
Al igual que las burocracias… la alta tecnología y sus diseñadores categorizan y ordenan cosas, personas y situaciones. Pero lo hacen de manera diferente. Al incorporar la vigilancia en todo, nos han hecho dejar de preocuparnos…. Al producir categorizaciones a medida pero incomprensibles… han hecho que sea más difícil para las personas identificar su destino común. Al confiar en bucles de retroalimentación opacos y automatizados, han remodelado las vías posibles para reaccionar políticamente o resistirse a los cambios. Al aumentar la eficiencia de la coordinación en internet han hecho que la movilización sea más emocional, ad hoc y colectivamente inestable. Y al insistir en la equidad del mercado y la sabiduría de las masas como conceptos sociales organizadores, han transformado fundamentalmente nuestras intuiciones morales sobre la autoridad, la verdad, la objetividad y el merecido.
No hay comentarios:
Publicar un comentario