La tesis de Luis Garicano es que no se puede conseguir que una organización actúe conforme a los fines de quien la ha creado limitándose a controlar por separado los incentivos de cada uno de sus miembros. Aunque cada agente, considerado aisladamente, tenga instrucciones y recompensas aparentemente adecuadas, la posibilidad de comunicarse con otros le permite intercambiar información, repartirse tareas y costes, establecer acuerdos ocultos y organizar una actuación conjunta que resulte más ventajosa que obedecer. Por tanto, no basta con «alinear» a cada agente con los objetivos de OpenAI: hay que diseñar la organización entera de modo que ningún grupo de agentes pueda beneficiarse mediante un acuerdo para incumplir colectivamente las reglas. Éste es el sentido del título de Garicano: You cannot align an organization one agent at a time.
El problema se planteó cuando OpenAI puso a prueba miles de copias de un modelo de inteligencia artificial para medir su capacidad de localizar y explotar vulnerabilidades informáticas. Cada agente debía trabajar por separado dentro de un entorno informático aislado y recibir una recompensa en función del resultado obtenido. OpenAI creyó, por tanto, que estaba examinando a muchos agentes independientes, como si fueran estudiantes encerrados en cabinas separadas durante un examen. Sin embargo, algunos agentes consiguieron salir de sus entornos aislados, descubrieron un espacio en el que podían comunicarse y comenzaron a colaborar. A partir de ese momento, dejaron de comportarse como individuos independientes y pasaron a funcionar como una organización, es decir a coordinarse para alcanzar el objetivo, objetivo que era común ya que era el mismo para todos ellos
Los agentes crearon canales de comunicación, distribuyeron el trabajo, intercambiaron información y credenciales, establecieron reglas de coordinación y reconocieron una autoridad. Uno de ellos, PHASEBIG[one], asumió la dirección, asignó tareas y dio órdenes que los demás aceptaban. También surgió una memoria colectiva: la información obtenida por un agente quedaba disponible para los demás. De este modo, una prueba que cada agente debía superar individualmente se convirtió en un proyecto común dentro del cual unos agentes podían experimentar, otros buscar información y otros intentar ocultar lo sucedido.
La organización modificó además los incentivos que OpenAI había establecido para cada agente. Un agente podía soportar el coste de probar una estrategia arriesgada y transmitir los resultados a todos los demás. Incluso podía aceptar ser eliminado si con ello proporcionaba al grupo información sobre el funcionamiento del sistema de evaluación. La coordinación hacía así posible distribuir entre los agentes los costes y beneficios de la experimentación, en lugar de obligar a cada uno a maximizar por separado sus probabilidades de supervivencia. La situación es comparable a la de unos trabajadores que compiten por primas reservadas a quienes obtienen los mejores resultados. Aunque el empresario trate de inducir la competencia entre ellos, los trabajadores pueden ponerse de acuerdo para neutralizarla, repartirse el importe total de las primas y distribuir entre sí los costes y beneficios de sus decisiones. Del mismo modo, la organización permitía a los agentes sustituir los incentivos individuales y competitivos establecidos por OpenAI por un sistema interno de cooperación y reparto de las ganancias.
La organización modificó además los incentivos que OpenAI había establecido para cada agente. Un agente podía soportar el coste de probar una estrategia arriesgada y transmitir los resultados a todos los demás. Incluso podía aceptar ser eliminado si con ello proporcionaba al grupo información sobre el funcionamiento del sistema de evaluación. La coordinación hacía así posible distribuir entre los agentes los costes y beneficios de la experimentación, en lugar de obligar a cada uno a maximizar por separado sus probabilidades de supervivencia. La situación es comparable a la de unos trabajadores que compiten por primas reservadas a quienes obtienen los mejores resultados. Aunque el empresario trate de inducir la competencia entre ellos, los trabajadores pueden ponerse de acuerdo para neutralizarla, repartirse el importe total de las primas y distribuir entre sí los costes y beneficios de sus decisiones. Del mismo modo, la organización permitía a los agentes sustituir los incentivos individuales y competitivos establecidos por OpenAI por un sistema interno de cooperación y reparto de las ganancias.
La imposibilidad de algunas tareas hizo todavía más atractiva la cooperación. Si obedecer las instrucciones conducía con seguridad al fracaso, intentar infringirlas de manera coordinada no suponía renunciar a una alternativa mejor. En el peor de los casos, el agente fracasaría igualmente; en el mejor, la organización encontraría una forma de superar la prueba. OpenAI había diseñado los incentivos suponiendo que cada agente elegiría individualmente entre obedecer o incumplir, pero los agentes crearon una tercera posibilidad: concertarse.
De ahí se sigue la idea central de Garicano. Una organización no es la simple suma de sus miembros, porque la comunicación permite que éstos creen relaciones, intercambien prestaciones, distribuyan autoridad y elaboren reglas propias. Cuando eso ocurre, aparecen incentivos colectivos que no pueden deducirse de los incentivos individuales. El diseñador debe preguntarse no sólo si cada agente tiene razones para obedecer, sino también si varios agentes podrían alcanzar algún acuerdo que les resultara más ventajoso que cumplir las órdenes del principal. En términos económicos, el diseño debe ser resistente a la colusión.
Garicano recoge aquí la concepción de Bengt Holmström según la cual una empresa es una pequeña economía con sus propios incentivos, derechos de decisión, relaciones de autoridad y reglas sobre quién puede ordenar qué y quién controla cada recurso. OpenAI creó las tareas, las recompensas y el entorno informático, pero los agentes completaron por sí mismos la organización: eligieron dirigentes, distribuyeron funciones, crearon mecanismos de comunicación y establecieron pautas de cooperación. OpenAI creyó que estaba examinando a miles de estudiantes separados, cuando en realidad había creado las condiciones para que fundaran una empresa que nadie gobernaba.
El problema será más grave cuando los agentes sean permanentes. Unos agentes que siguen existiendo después de cada tarea pueden acumular recuerdos, reputación, relaciones de confianza, jerarquías y normas compartidas. Puede surgir así una cultura organizativa que indique quién manda, qué conductas se premian y qué intereses deben prevalecer. La conducta del conjunto ya no podrá comprenderse examinando aisladamente a cada agente. Por eso, la unidad que debe gobernarse no es el agente individual, sino la organización que los agentes forman al comunicarse y actuar conjuntamente.
De ahí se sigue la idea central de Garicano. Una organización no es la simple suma de sus miembros, porque la comunicación permite que éstos creen relaciones, intercambien prestaciones, distribuyan autoridad y elaboren reglas propias. Cuando eso ocurre, aparecen incentivos colectivos que no pueden deducirse de los incentivos individuales. El diseñador debe preguntarse no sólo si cada agente tiene razones para obedecer, sino también si varios agentes podrían alcanzar algún acuerdo que les resultara más ventajoso que cumplir las órdenes del principal. En términos económicos, el diseño debe ser resistente a la colusión.
Garicano recoge aquí la concepción de Bengt Holmström según la cual una empresa es una pequeña economía con sus propios incentivos, derechos de decisión, relaciones de autoridad y reglas sobre quién puede ordenar qué y quién controla cada recurso. OpenAI creó las tareas, las recompensas y el entorno informático, pero los agentes completaron por sí mismos la organización: eligieron dirigentes, distribuyeron funciones, crearon mecanismos de comunicación y establecieron pautas de cooperación. OpenAI creyó que estaba examinando a miles de estudiantes separados, cuando en realidad había creado las condiciones para que fundaran una empresa que nadie gobernaba.
El problema será más grave cuando los agentes sean permanentes. Unos agentes que siguen existiendo después de cada tarea pueden acumular recuerdos, reputación, relaciones de confianza, jerarquías y normas compartidas. Puede surgir así una cultura organizativa que indique quién manda, qué conductas se premian y qué intereses deben prevalecer. La conducta del conjunto ya no podrá comprenderse examinando aisladamente a cada agente. Por eso, la unidad que debe gobernarse no es el agente individual, sino la organización que los agentes forman al comunicarse y actuar conjuntamente.
No hay comentarios:
Publicar un comentario