OpenAI Publie BioBasicsBench pour les Tests de Preuves en Laboratoire d'IA
BioBasicsBench teste les agents IA sur l'interprétation des données expérimentales, l'identification des problèmes et la détermination de quand une conclusion manque de preuves suffisantes, selon OpenAI. La société a publié le benchmark de 100 tâches le 6 novembre 2026 et a déclaré avoir développé l'évaluation avec Ligo, une entreprise de biotechnologie axée sur la conception d'enzymes.
OpenAI a rapporté que GPT-6 Astra a obtenu en moyenne 66,7 % du crédit disponible au réglage d'effort de raisonnement xhigh, contre 43,8 % pour GPT-5.6 Sol. Ces chiffres mesurent le crédit gagné selon les critères de notation, plutôt que la proportion de tâches complètement résolues. La société a déclaré que de meilleurs scores de benchmark à eux seuls n'établissent pas qu'un modèle peut faire des jugements de laboratoire fiables.
Selon la méthode de notation d'OpenAI, une réponse peut recevoir un crédit séparé pour ses mesures, sa conclusion, son raisonnement et sa reconnaissance d'une preuve insuffisante. La récompense moyenne rapportée est le score moyen des tâches. Pour calculer les intervalles de confiance à 95 %, la société a rééchantillonné les tâches en unités complètes, en gardant les cinq tentatives associées à chaque tâche ensemble.
Deux exemples dans le compte rendu d'OpenAI décrivent la gestion des preuves expérimentales par les modèles. Pour un exercice de clonage, GPT-6 Astra a identifié un décalage entre une plaque marquée kanamycine et une expérience utilisant de l'ampicilline, et a rejeté la plaque comme un contrôle fiable. GPT-5.6 Sol, quant à lui, a utilisé l'absence de colonies sur cette plaque dans son évaluation.
Un exercice distinct de comptage de colonies a produit des erreurs de la part de GPT-6 Astra, selon OpenAI. Son total a dépassé le compte de référence du benchmark d'environ 12 %. Le modèle a omis certaines colonies visibles, n'a pas distingué certaines colonies voisines les unes des autres et a inclus des zones d'agar vide dans son comptage.
Le benchmark couvre le clonage moléculaire et les méthodes d'acides nucléiques, ainsi que les méthodes protéiques, l'imagerie et la cytométrie, et la quantification et les tests. OpenAI a déclaré que les tâches peuvent nécessiter plusieurs types de preuves ensemble. Les matériaux incluent des données de séquençage, des images de gel, de la microscopie, des plaques de colonies et des sorties d'instruments de laboratoire.
Au cours de l'évaluation, OpenAI a rapporté 18 500 résultats provenant de 37 combinaisons de modèles et d'efforts de raisonnement, avec cinq tentatives par tâche pour chaque combinaison. Sept modèles ont été testés : GPT-6 Astra, GPT-6 Luna, GPT-6.1 Sol, GPT-5.6 Sol, GPT-5.5, GPT-5.4 et GPT-5.2.
Selon OpenAI, les scientifiques ont utilisé les résultats de leurs propres expériences pour construire les exercices, des experts fournissant les critères de notation pour chacun. Le processus de révision a inclus un scientifique de Ligo autre que l'auteur de la tâche et un scientifique externe avec un doctorat et une expertise en laboratoire humide, suivi d'une révision interne finale.
* Cet article est basé sur des informations publiquement disponibles au moment de la rédaction.