lunes, 14 de febrero de 2022

Heurísticas “que siempre funcionan” menos cuando no lo hacen

El siempre interesante Scott Alexander incluye en una reciente entrada numerosos ejemplos de agentes humanos que podrían ser sustituidos por una piedra que se comportase en todo caso siguiendo una regla. Por ejemplo, un vigilante nocturno de una fábrica situada en la meseta castellana que nunca desde que se construyó ha sufrido un robo. El vigilante nocturno podría dormir plácidamente en la seguridad de que tampoco esa noche se produciría un robo. La heurística ‘actúa según la máxima: aquí no hay ladrones’ funciona en el 99 % de los casos.

A menudo, hay una heurística que casi siempre funciona, como "esta tecnología no cambiará todo" o "no habrá un huracán mañana".

Y, a veces, las raras excepciones son tan importantes de detectar que encargamos a los expertos la tarea. Pero las heurísticas son tan difíciles de ‘mejorar’ que los propios expertos podrían verse tentados a confiar en ellas en secreto, mientras pretenden públicamente utilizar formas más sutiles de pericia. “Mi modelo estadístico, que tiene en cuenta la teoría del caos, la presión barométrica y el precio del té en China, dice que mañana no habrá un huracán. ¡Alégrense!"

Tal vez esto se deba a que los expertos son estúpidos y vagos. O tal vez sea la presión social: fallar porque no seguiste una conocida heurística… es más humillante que fallar porque no predijiste un fenómeno sutil que nadie más predijo tampoco. O tal vez sea porque los falsos positivos son más comunes (aunque menos importantes) que los falsos negativos y, por lo tanto, en cualquier escala de tiempo "razonable", las personas que nunca dan falsos positivos parecen más precisas y son seleccionadas.

Esto es malo por varias razones.

Primero, porque significa que todos están perdiendo su tiempo y dinero teniendo expertos.

Pero segundo, porque genera una falsa confianza. Tal vez la heurística produce un previo del 99,9% de que la cosa no sucederá en general. Pero luego consulta a un grupo de expertos, quienes afirman tener evidencia adicional de que la cosa no sucederá, y eleva su probabilidad al 99.999%. Pero, en realidad, los expertos estaban usando la misma heurística que tú y deberías haberte quedado en el 99,9 %. ¡ Falso consenso a través de la cascada de información !

Este nuevo invento no cambiará todo. Esta enfermedad emergente no se convertirá en una pandemia mundial. Esta teoría de la conspiración es tonta. Este forastero no ha refutado a los expertos. Este nuevo medicamento no funcionará. Este candidato caballo negro no ganará las elecciones. Esta amenaza potencial no destruirá el mundo. Todas estas cosas son casi siempre ciertas. Pero las heurísticas que casi siempre funcionan nos tientan a estar más seguros de lo que deberíamos de cada uno.

Creo que Scott Alexander no plantea un problema nuevo. Lo planteó él mismo con ocasión del inicio de la pandemia. Di cuenta de sus ideas aquí (v., entradas relacionadas). A mi juicio, lo que allí se decía sigue siendo verdad. Es una cuestión de ‘ajustar’ la heurística a los datos disponibles teniendo en cuenta, especialmente, la envergadura de los daños que causaría seguir la heurística estando equivocados. No es lo mismo que los ladrones roben en la fábrica a que un volcán entre en erupción y destruya una isla o que se desate una pandemia que provoque la saturación de los hospitales y haya miles de muertos. La sociedad ha de ser mucho menos aversa al riesgo en el primer ejemplo y mucho más, hasta la paranoia, en el segundo, y en una medida intermedia entre la displicencia y la paranoia en el caso de la pandemia.

En fin, cuando el fallo de la heurística no provoca un mal sino un bien, esto es, cuando no se trata de gestionar un ‘siniestro’ sino de apreciar el valor de una innovación (‘este medicamento no funcionará’; el nuevo método ARN mensajero de fabricación de vacunas es un bluff’), el cálculo coste-beneficio debe hacerse en otros términos que son los de la diversificación. Será un bluff pero ¿supera el corte de probabilidad de éxito como para que merezca la pena dedicar una parte de nuestro patrimonio a explorar la idea?

Scott Alexander, Heuristics That Almost Always Work, Astral Codex Ten, 2022


Entradas relacionadas

No hay comentarios:

Archivo del blog