1. La découverte : deux réglages, un saut quantitatif

Lors de nos tests internes avec le benchmark ARC-AGI-3, nous avons observé une augmentation notable des scores en modifiant deux paramètres spécifiques dans l'API de GPT-5.6 Sol. Le changement n'a nécessité aucun ajustement du prompt ni de l'architecture du système ; il a suffi d'activer la conservation de la chaîne de raisonnement et d'activer la compaction du contexte. Le résultat a été un bond de 3,2x dans le score moyen, passant de 18,4 à 58,9 points sur 100. Ce comportement, bien que contre-intuitif pour certains, a une explication technique solide que nous détaillons ci-dessous.

2. Contexte technique : qu'est-ce qu'ARC-AGI-3 et pourquoi est-ce pertinent

ARC-AGI-3 est une évolution de l'ensemble de tests ARC (Abstraction and Reasoning Corpus), conçu pour évaluer la capacité d'un modèle à résoudre des tâches de raisonnement abstrait qui ne dépendent pas de connaissances préalables. Contrairement aux benchmarks traditionnels comme MMLU ou GSM8K, ARC-AGI-3 exige une généralisation à partir de peu d'exemples, ce qui en fait un indicateur plus fidèle des capacités de raisonnement émergent. Dans l'état de l'art actuel (juillet 2026), les modèles de pointe comme GPT-5.6 Sol, Claude Opus 5 et Kimi K3 sont en concurrence directe sur ce type de tests, et les différences de scores sont généralement attribuées à l'architecture interne et aux hyperparamètres d'inférence.

3. Le premier réglage : conserver la chaîne de raisonnement

Le premier paramètre que nous avons modifié était le contrôle de conservation de la chaîne de raisonnement (chain-of-thought). Par défaut, l'API de GPT-5.6 Sol élimine les étapes intermédiaires de raisonnement une fois la réponse finale générée, optimisant ainsi l'utilisation de la mémoire. Cependant, en activant la conservation de ces étapes, le modèle peut réutiliser le contexte raisonné lors d'itérations ultérieures de la même tâche. Cela est particulièrement utile dans ARC-AGI-3, où chaque problème nécessite la construction d'une hypothèse structurelle qui peut être affinée avec une rétroaction partielle. La conservation a non seulement amélioré la précision, mais a également réduit la latence de 12 % dans les tâches séquentielles, car le modèle n'avait pas à recalculer le même chemin de raisonnement à partir de zéro.

4. Le deuxième réglage : activer la compaction du contexte

Le deuxième paramètre était la compaction du contexte, une fonction qui compresse l'historique des jetons en représentations plus denses sans perte significative d'informations. Dans GPT-5.6 Sol, cette option est désactivée par défaut pour préserver la fidélité littérale du contexte, mais dans ARC-AGI-3, nous avons découvert que la compaction améliore la capacité du modèle à abstraire des schémas généraux. En compactant le contexte, le modèle privilégie les relations structurelles plutôt que les détails superficiels, ce qui s'aligne avec la nature du benchmark. La combinaison des deux réglages a produit un effet synergique : la conservation du raisonnement a fourni la matière première, et la compaction l'a distillée en représentations plus utiles pour la résolution de problèmes.

5. Résultats mesurés et considérations d'efficacité

Sur un échantillon de 200 problèmes d'ARC-AGI-3, la configuration par défaut de GPT-5.6 Sol a obtenu une moyenne de 18,4 points. Avec la conservation du raisonnement activée, la moyenne est passée à 34,7 points. Avec la compaction du contexte, elle a atteint 41,2 points. Avec les deux réglages combinés, la moyenne s'est élevée à 58,9 points, soit une augmentation de 3,2x. De plus, le coût par jeton a été réduit de 17 % en moyenne, car la compaction diminue le nombre de jetons traités lors des appels ultérieurs. Ces résultats sont cohérents avec les observations d'autres équipes travaillant avec des modèles de raisonnement agentique, comme ceux qui utilisent Claude Sonnet 5 ou DeepSeek-V4-Flash, bien que l'ampleur de l'effet varie selon l'architecture.

6. Conclusion pour les CTO et directeurs techniques

Pour les équipes d'ingénierie qui déploient GPT-5.6 Sol en production, ces deux réglages représentent une optimisation à faible effort et à rendement élevé. La conservation du raisonnement et la compaction du contexte améliorent non seulement la précision dans les tâches de raisonnement abstrait, mais réduisent également la latence et le coût par jeton dans les flux agentiques. Nous recommandons d'évaluer ces paramètres dans un environnement de préproduction avec des charges de travail représentatives, en mesurant à la fois la qualité des réponses et la consommation de jetons. La configuration optimale dépendra de l'équilibre entre fidélité contextuelle et abstraction requis par chaque cas d'utilisation.

D'un point de vue de gouvernance d'entreprise des données, ces réglages ont également des implications. La compaction du contexte réduit la surface des données personnelles dans les journaux d'inférence, ce qui facilite la conformité aux réglementations sur la confidentialité. Cependant, il est crucial de documenter le comportement du modèle avec ces paramètres activés, car l'abstraction peut masquer des biais subtils dans les réponses. En ce qui concerne l'architecture, nous recommandons de concevoir des systèmes modulaires permettant d'alterner entre les modes d'inférence selon la tâche, plutôt que d'appliquer une configuration globale. Cela maximise l'efficacité économique et maintient l'interopérabilité avec d'autres modèles de pointe, comme Claude Opus 5 ou Gemini 3.6 Flash, qui peuvent compléter GPT-5.6 Sol dans des tâches spécifiques sans créer de dépendances rigides à un seul fournisseur.