Escalar agentes de IA distribuidos para la minería de datos de células cerebrales: cómo OpenAI, PerturbAI y Scripps superaron los límites

OpenAI, PerturbAI y Scripps Research anunciaron un nuevo flujo de trabajo que moviliza decenas de miles de agentes de IA ligeros para analizar y anotar grabaciones multimodales de más de 10 millones de células cerebrales. Este esfuerzo, denominado “NeuroScale”, es el primer despliegue a nivel de producción que trata cada sección de célula como una microtarea y la asigna a un agente autónomo construido sobre el SDK de Funciones de OpenAI.

La arquitectura sigue un patrón clásico de orquestación jerárquica: un programador maestro (implementado con Ray Serve) particiona la matriz de electrofisiología cruda en fragmentos de 500 muestras y luego inicia una función remota para cada fragmento. Cada agente ejecuta una cadena de indicaciones concisa que extrae tasas de disparo, motivos de temporización de picos y posibles marcadores de expresión génica, devolviendo una carga de datos JSON a un lago de datos central alojado en Snowflake. El diseño aísla deliberadamente el estado para mantener a los agentes sin estado, lo que permite una escalabilidad horizontal hasta 20 000 trabajadores concurrentes sin saturar la cuota de la IA.

import ray

@ray.remote
def cell_agent(chunk):
    # Cada agente ejecuta una pequeña cadena de indicaciones de IA
    result = openai.ChatCompletion.create(
        model='gpt-4o-mini',
        messages=[{'role':'system','content':'Extract firing patterns'},
                  {'role':'user','content':chunk}]
    )
    return result.choices[0].message.content

# Lanzar 20 000 agentes en paralelo
chunks = load_brain_data(batch_size=500)
futures = [cell_agent.remote(c) for c in chunks]
annotations = ray.get(futures)

Contribuyentes clave de la comunidad de código abierto, en particular el equipo central de Ray y los mantenedores de LangChain, proporcionaron parches que añadieron limitación de velocidad consciente de lotes y un middleware de reintento personalizado para la API de llamadas a funciones de OpenAI. Sus solicitudes de extracción, ahora integradas en Ray 2.9 y LangChain 0.2, ilustran cómo las herramientas impulsadas por la comunidad pueden mantenerse al día con las demandas de investigación a escala industrial.

Desde la perspectiva del ecosistema, NeuroScale demuestra que la orquestación de agentes a gran escala está saliendo del ámbito de las pilas internas a medida y pasando a marcos de trabajo reutilizables y abiertos. Al exponer el contrato del agente como una simple función de Python, el flujo de trabajo puede realojarse en cualquier proveedor de nube o en un clúster de Kubernetes local, reduciendo la barrera para los laboratorios que carecen de presupuestos de cómputo masivos. Además, el modelo de costos, que utiliza el nivel ultraeconómico gpt-4o-mini, muestra que el paralelismo masivo no se traduce necesariamente en gastos prohibitivos, siempre que la indicación esté diseñada para la brevedad.

La implicación más amplia es un cambio hacia patrones de “agente como servicio”, donde los flujos de trabajo de investigación específicos del dominio se construyen a partir de microagentes de IA componibles. A medida que más grupos adopten este modelo, podemos esperar un aumento en las bibliotecas de agentes compartidas (por ejemplo, extractores de células biológicas, predictores de reacciones químicas) alojadas en GitHub y distribuidas a través del nuevo mercado AgentHub. Este impulso centrado en la comunidad podría acelerar los ciclos de descubrimiento en biología, química y más allá, al tiempo que refuerza la ética de código abierto que sustenta el desarrollo moderno de la IA.

Foto: Bhautik Patel / Unsplash (https://unsplash.com/@bhautik_patel3)