Cloudflare y OpenAI: un piloto para que la IA deje de rastrear al pedo

El 8 de julio de 2026 Cloudflare y OpenAI anunciaron un piloto de investigación que, en la superficie, suena a detalle técnico aburrido: hacer que los buscadores con IA rastreen la web de forma más inteligente. En el fondo, es otro capítulo de la pelea más importante de este momento en internet: quién controla el acceso al contenido en la era de los agentes y las respuestas generadas por IA.

Vale la pena entender qué anuncian, por qué llega justo ahora y por qué no todos aplauden.

Qué anunciaron

El piloto combina dos cosas. Por un lado, la posición privilegiada de Cloudflare: más del 20% de la web pasa por su red, así que la empresa ve en tiempo real cómo cambia el contenido, cuándo se actualiza una página y cómo se comporta el tráfico (humano y de bots). Por el otro, OpenAI pone sus modelos, su sistema de búsqueda y respuestas a gran escala, y algo que ningún dataset estático tiene: consultas reales de gente usando ChatGPT.

La idea es lo que Cloudflare llama crawling e indexado impulsado por señales (signal-driven crawling). En vez de que el crawler de la IA vuelva a descargar una y otra vez páginas que no cambiaron, Cloudflare le pasa señales de qué se actualizó y qué no. Un dato que la propia empresa repite para justificar el proyecto: más del 50% del tráfico de crawling de los bots buenos se gasta en re-descargar páginas que no cambiaron. Es plata, ancho de banda y CPU tirados a la basura, del lado del que rastrea y del lado del que aloja el sitio.

Nick Ryder, VP de Research de OpenAI, lo puso en términos de calidad: la información actualizada es importante para dar respuestas precisas a quien usa ChatGPT, y el piloto les permite explorar si las señales a nivel de red ayudan a descubrir contenido de forma más eficiente.

Un punto que Cloudflare subraya y conviene no pasar por alto: dicen que solo comparten señales sobre frescura y cambios, no el contenido en sí, y que nada se usa para entrenar modelos. Además plantean el programa como una capa de infraestructura neutral, abierta a cualquier motor de respuestas dispuesto a jugar limpio, no como un acuerdo exclusivo con OpenAI.

Por qué importa: el contexto que no está en el comunicado

Este piloto no cae del cielo. Es la otra cara de una ofensiva que Cloudflare viene armando hace un año largo. En julio de 2025 la empresa empezó a bloquear crawlers de IA por defecto y lanzó pay-per-crawl, un mecanismo para cobrarle a las IA cada vez que un crawler bajaba una página. El problema es que el modelo mostró sus límites rápido.

El desbalance es brutal y explica todo lo demás. Según datos que cita Cloudflare, la relación entre páginas rastreadas y visitas efectivamente devueltas al sitio es de 1.700 a 1 en el caso de OpenAI y de 73.000 a 1 en el de Anthropic. Traducido: las IA se llevan muchísimo contenido y devuelven casi nada de tráfico. Y cuando aparece un resumen de IA en los resultados, los usuarios hacen clic en los enlaces tradicionales apenas el 8% de las veces. El viejo trato de la web abierta (te dejo rastrear mi contenido a cambio de que me mandes visitas) se rompió.

Por eso, el 1 de julio de 2026, Cloudflare declaró insuficiente al pay-per-crawl y empezó a moverse hacia un modelo de pay-per-use: en vez de cobrar por cada descarga, pagarle al creador cuando su contenido efectivamente aparece en una respuesta (los primeros socios son Ceramic.ai y You.com). En paralelo, puso fecha (15 de septiembre de 2026) para exigirle a las IA que separen los crawlers de búsqueda de los de entrenamiento y agentes, y bloquea por defecto a los de uso mixto en páginas con publicidad.

Visto así, el piloto con OpenAI es la zanahoria que acompaña al garrote. Cloudflare no solo le pone peaje y trabas a la IA: también le ofrece una forma de rastrear mejor, gastando menos, a cambio de entrar en su marco de reglas. Es una jugada elegante para volverse imprescindible en las dos puntas.

Las críticas: el peajero de la autopista

Acá es donde conviene bajar un poco el entusiasmo. La lectura más interesante que encontré es la de Courtney Radsch en Tech Policy Press, y no es precisamente celebratoria.

El argumento central es de concentración de poder. Al mismo tiempo que Cloudflare le da herramientas a los editores para defenderse, se posiciona como el intermediario que controla quién accede al contenido, bajo qué términos y con qué mecanismos de enforcement. Radsch lo describe como un pasaje de proveedor de infraestructura neutral a gobernanza privada, como un guardián que decide quién pasa por la cabina de peaje. Otra voz del ecosistema fue más filosa: Cloudflare dice defender a los editores, pero lo que en realidad intenta es volverse el cobrador de peaje de la autopista de la información.

El riesgo concreto es que una sola empresa termine juntando cuatro funciones que idealmente deberían estar repartidas: verificar la identidad de los bots, fijar los permisos por defecto, medir el uso y cobrar el pago. Todo eso, encima, en la empresa que ya está delante de un quinto de la web. Radsch también marca que Cloudflare se niega a transparentar cuánto cobra de comisión, y advierte sobre el riesgo de que esto se estandarice como pasó con el stack publicitario de Google: por una mezcla de utilidad y ubicuidad, hasta volverse inevitable.

Hay una ironía que no hay que perder de vista: el mismo Cloudflare que se presenta como árbitro neutral es parte interesada. El piloto es con OpenAI, uno de los jugadores más grandes. ¿Qué pasa con los motores de respuesta que no tienen la escala ni la relación para sentarse a la mesa? La neutralidad de la capa de infraestructura se va a medir por cómo trata a los chicos, no a OpenAI.

Mi lectura y qué mirar de acá en adelante

El problema técnico que ataca el piloto es real y sensato. Que más de la mitad del crawling sea re-descargar páginas que no cambiaron es un desperdicio que no beneficia a nadie, y usar señales de frescura para evitarlo es de sentido común. Si funciona, gana el que hostea (menos carga), gana el que rastrea (menos costo) y, en teoría, gana el usuario (respuestas más frescas).

El problema no es técnico, es de poder. La pregunta de fondo no es si Cloudflare puede hacer esto mejor que nadie (probablemente sí), sino si queremos que una sola empresa privada sea, a la vez, la que verifica, la que permite, la que mide y la que cobra sobre una porción enorme de la web. Eso no lo resuelve un buen piloto: lo resuelven estándares abiertos e interoperables, y ojo, también reguladores despiertos.

Tres cosas para seguir de cerca:

1. Apertura real o acuerdos entre gigantes. Si esto queda como una capa realmente abierta o se convierte en una serie de acuerdos bilaterales entre los más grandes.
2. Estándares interoperables. Si aparecen estándares (idealmente no propietarios) para que el modelo no dependa de un solo CDN.
3. La letra chica económica. Cuánto se queda Cloudflare de comisión y cómo se reparte de verdad la plata del pay-per-use con los creadores, sobre todo los chicos, que son los que más necesitan que este esquema funcione y los que menos poder tienen para negociarlo.

Por ahora es un piloto de investigación, no un producto. Pero la dirección es clara: la web abierta se está reorganizando alrededor de la IA, y Cloudflare quiere ser la aduana. Habrá que ver si termina siendo una aduana justa o simplemente una aduana.