El entrenamiento con reconocimiento de agrupación de tokens reduce el almacenamiento de incrustaciones 4 veces con una pérdida de calidad mínima

Los modelos de incrustación multivectorial como ColBERT son potentes para la búsqueda, pero sufren de una enorme sobrecarga de almacenamiento, ya que cada token en un documento genera su propio vector. Una nueva técnica llamada entrenamiento con reconocimiento de agrupación de tokens (token pooling-aware training), detallada en una publicación del blog de Hugging Face, aborda esto comprimiendo vectores de tokens similares durante el entrenamiento, lo que permite a los desarrolladores reducir significativamente los costos de almacenamiento sin sacrificar la precisión de la recuperación.

Qué sucedió

Según el blog de Hugging Face, los modelos multivectoriales asignan un vector a cada token de consulta y documento, lo que permite una coincidencia detallada mediante la puntuación MaxSim. Sin embargo, este enfoque requiere mucho almacenamiento; por ejemplo, almacenar 200 vectores de 128 dimensiones por documento con una precisión de 4 bits requiere 12.8 GB para un corpus de un millón de documentos. La solución propuesta utiliza HierarchicalTokenPooling, que agrupa incrustaciones de tokens similares mediante la agrupación jerárquica de Ward. Al fusionar estos grupos, el modelo reduce la cantidad de vectores por documento.

La innovación clave es entrenar al codificador para que sea consciente de esta agrupación. En lugar de entrenar solo con representaciones completas, el modelo se entrena con una función de pérdida combinada que incluye objetivos de recuperación tanto agrupados como no agrupados. Esto enseña al codificador a organizar las incrustaciones de tokens para que la información útil sobreviva al proceso de compresión. El blog informa que con un factor de agrupación (pool_factor) de 4, un modelo entrenado normalmente conserva el 94.6% de su puntuación nDCG@10 de NanoBEIR sin agrupar. Con el entrenamiento con reconocimiento de agrupación, esa retención mejora al 97.8% con la misma reducción de almacenamiento de 4 veces. La publicación proporciona un ejemplo reproducible utilizando Sentence Transformers, demostrando cómo implementarlo con un contenedor MultiVectorTokenPoolingLoss.

Por qué es importante para los desarrolladores que crean funciones de búsqueda

Para los equipos pequeños que crean herramientas de búsqueda interna o aplicaciones RAG, los costos de almacenamiento para bases de datos vectoriales son un punto de dolor creciente. Los modelos multivectoriales ofrecen una precisión superior a los modelos de vector único, pero el costo a menudo los hace prohibitivos para grandes corpus. Esta técnica cierra esa brecha. Al integrar el entrenamiento con reconocimiento de agrupación en su flujo de trabajo, puede implementar una búsqueda de alta precisión con una fracción del costo de infraestructura. Esto es particularmente relevante para los equipos que utilizan marcos de código abierto como Sentence Transformers, ya que el método se puede implementar directamente con las herramientas existentes. Cambia el equilibrio de "precisión frente a costo" a un "ligera caída de precisión frente a un ahorro de costos significativo" mucho más manejable, lo que hace que la recuperación avanzada sea viable para empresas medianas que no pueden pagar almacenamiento vectorial de nivel empresarial.

Qué hacer esta semana

1. Audite sus costos actuales de almacenamiento vectorial y calcule los ahorros potenciales si pudiera reducir su recuento de vectores de documentos en un 50% o 75%.
2. Clone el repositorio de Hugging Face asociado con la publicación del blog y ejecute el script de entrenamiento proporcionado localmente para comprender los detalles de implementación de MultiVectorTokenPoolingLoss.
3. Pruebe el mecanismo de agrupación en un pequeño subconjunto de su corpus existente para medir la degradación real de la calidad (nDCG) antes de comprometerse a un ciclo completo de reentrenamiento.

Fuentes

• Token Pooling-Aware Training for Multi-Vector Embedding Models — Hugging Face Blog