L'entraînement tenant compte du regroupement de jetons réduit le stockage des embeddings de 4x avec une perte de qualité minime

Les modèles d'embedding multi-vecteurs comme ColBERT sont puissants pour la recherche mais souffrent d'un surcoût de stockage massif, car chaque jeton d'un document génère son propre vecteur. Une nouvelle technique appelée entraînement tenant compte du regroupement de jetons (token pooling-aware training), détaillée dans un article de blog de Hugging Face, résout ce problème en compressant des vecteurs de jetons similaires lors de l'entraînement, permettant aux développeurs de réduire considérablement les coûts de stockage sans sacrifier la précision de recherche.

Ce qui s'est passé

Selon le blog de Hugging Face, les modèles multi-vecteurs attribuent un vecteur à chaque jeton de requête et de document, permettant une correspondance fine via le score MaxSim. Cependant, cette approche est gourmande en stockage ; par exemple, stocker 200 vecteurs de 128 dimensions par document en précision 4 bits nécessite 12,8 Go pour un corpus d'un million de documents. La solution proposée utilise HierarchicalTokenPooling, qui regroupe les embeddings de jetons similaires à l'aide du clustering hiérarchique de Ward. En fusionnant ces groupes, le modèle réduit le nombre de vecteurs par document.

La principale innovation consiste à entraîner l'encodeur à être conscient de ce regroupement. Au lieu de s'entraîner uniquement sur des représentations complètes, le modèle est entraîné avec une fonction de perte combinée qui inclut des objectifs de recherche non regroupés et regroupés. Cela apprend à l'encodeur à organiser les embeddings de jetons afin que les informations utiles survivent au processus de compression. Le blog indique qu'avec un pool_factor de 4, un modèle entraîné normalement conserve 94,6 % de son score NanoBEIR nDCG@10 non regroupé. Avec l'entraînement tenant compte du regroupement, cette conservation s'élève à 97,8 % pour la même réduction de stockage par 4. L'article fournit un exemple reproductible utilisant Sentence Transformers, démontrant comment implémenter cela avec un wrapper MultiVectorTokenPoolingLoss.

Pourquoi c'est important pour les développeurs qui créent des fonctionnalités de recherche

Pour les petites équipes qui construisent des outils de recherche interne ou des applications RAG, les coûts de stockage pour les bases de données vectorielles sont un problème croissant. Les modèles multi-vecteurs offrent une précision supérieure aux modèles à vecteur unique, mais le coût les rend souvent prohibitifs pour les grands corpus. Cette technique comble cette lacune. En intégrant l'entraînement tenant compte du regroupement dans votre pipeline, vous pouvez déployer une recherche de haute précision avec une fraction du coût d'infrastructure. Ceci est particulièrement pertinent pour les équipes utilisant des frameworks open-source comme Sentence Transformers, car la méthode est directement implémentable avec les outils existants. Elle fait passer le compromis de « précision vs coût » à un « léger recul de précision vs économies de coûts significatives » beaucoup plus gérable, rendant la recherche avancée viable pour les entreprises de taille moyenne qui ne peuvent pas se permettre un stockage vectoriel de niveau entreprise.

Que faire cette semaine

1. Auditez vos coûts actuels de stockage vectoriel et calculez les économies potentielles si vous pouviez réduire votre nombre de vecteurs de documents de 50 % ou 75 %.
2. Clonez le dépôt Hugging Face associé à l'article de blog et exécutez le script d'entraînement fourni localement pour comprendre les détails d'implémentation de MultiVectorTokenPoolingLoss.
3. Testez le mécanisme de regroupement sur un petit sous-ensemble de votre corpus existant pour mesurer la dégradation réelle de la qualité (nDCG) avant de vous engager dans un cycle de réentraînement complet.

Sources

• Token Pooling-Aware Training for Multi-Vector Embedding Models — Hugging Face Blog