Le projet Palette apprend aux petits modèles open-weight à créer des présentations

Les modèles de pointe sont excellents pour générer des présentations, mais ils finissent inévitablement par revenir à leurs styles par défaut et nécessitent d'envoyer des données professionnelles sensibles à des serveurs externes. Pour résoudre ce problème sans sacrifier la qualité, IBM Research a introduit Palette, une technique permettant d'apprendre à de petits modèles open-weight à concevoir des présentations selon le langage de design spécifique d'une organisation. Selon le Hugging Face Blog, les chercheurs ont affiné un modèle de 20B à l'aide de données synthétiques et d'un harnais de vérification, permettant ainsi aux équipes de conserver la propriété de leurs styles de marque et de leurs données.

Ce qui s'est passé

Comme le détaille le Hugging Face Blog, la génération de diapositives force généralement un modèle à gérer simultanément le jugement éditorial et la géométrie précise, une tâche où les petits modèles échouent souvent, ce qui entraîne des formes qui se chevauchent, des titres manquants et du texte qui dépasse des diapositives. Palette résout ce problème en divisant le travail en deux rôles distincts assurés par un seul adaptateur LoRA : un designer qui gère la planification éditoriale et un codeur qui dessine chaque diapositive via le placement de code.

En l'absence de corpus public de raisonnement sur la création de présentations, l'équipe a généré environ 1 000 présentations (soit environ 10 000 diapositives) à l'aide d'un grand modèle enseignant ouvert. Chaque exemple d'entraînement synthétique comprend un raisonnement contrefactuel expliquant pourquoi certains choix de design, tels que le type de graphique ou la taille de la police, ont été faits ou rejetés. De plus, chaque diapositive générée passe par un harnais déterministe qui rend le résultat, vérifie les dépassements de mise en page ou les erreurs géométriques, et fait appel à un modèle d'éditeur séparé pour corriger le code défectueux tout en s'assurant que la correction a réellement amélioré la diapositive.

Lors de son évaluation sur PresentBench à partir de plans tirés de documents sources, un modèle de 20B affiné et équipé du harnais a obtenu des scores compétitifs par rapport aux systèmes de pointe, se classant premier dans deux des trois domaines mesurés.

Pourquoi c'est important pour les petites équipes

Pour les petites entreprises et les équipes produit, cette architecture représente une avancée majeure vers l'automatisation IA auto-hébergée et spécifique à un domaine. Lorsque vous créez des documents destinés aux clients, des feuilles de route internes ou des revues financières, vous ne pouvez pas vous permettre de fuite de données vers des fournisseurs de LLM externes, et vous ne pouvez pas non plus gaspiller des heures facturables à corriger des modèles d'IA génériques et hors-marque.

Palette démontre comment construire des boucles d'agents prêtes pour la production pour des formats de sortie contraints. En dissociant la planification éditoriale du rendu programmatique – et en enveloppant la sortie dans un harnais de validation déterministe – vous pouvez déployer de manière fiable des modèles open-weight plus petits et moins chers qui respectent strictement les directives de la marque interne. L'inclusion de directives en langage naturel entre crochets (par exemple, [[make this a timeline]]) offre également aux équipes un moyen léger de piloter les sorties des agents sans ingénierie de prompt complexe.

Que faire cette semaine

1. Auditez vos modèles de documents internes et vos directives de design pour identifier les tâches de mise en page répétitives qui nécessitent actuellement une intervention manuelle de développeur ou de designer.

1. Expérimentez la division de vos flux de travail d'agents en phases explicites de planification et d'exécution, en séparant la logique structurelle de haut niveau de la génération de code ou de l'exécution d'API.

1. Implémentez une étape de validation post-génération ou un harnais dans vos pipelines locaux pour détecter par programmation les erreurs de mise en page, de syntaxe ou de fidélité des données avant que les résultats n'atteignent votre équipe.

Sources

• Palette: teaching a small model to build decks in your design language — Hugging Face Blog