ChatGPT o1 : meilleur que GPT 4o pour la création de contenu ?

Le secteur de l’IA continue sa révolution, et à chaque semaine sa nouveauté. Après le lancement des Gemini Gem il y a quelques jours, OpenAI revient en force avec une nouvelle lignée de modèles dotée de capacités de réflexion boostées : ChatGPT o1. [Edit du 06/10/2024 : Et les améliorations de ChatGPT continuent de pleuvoir en cette rentrée, avec le lancement de Canvas, l’interface dédiée aux taches d’écriture].

Lancée il y a quelques jours, la version initiale, « o1-preview », est accessible pour les utilisateurs payants, bien que toujours en phase de test. Une version plus légère et moins coûteuse, « o1-mini », est également déployée, et dispose de limites d’utilisations moins élevées, mais aussi de connaissances générales moins étoffées.

Dans les deux cas, ces nouveaux modèles qui « réfléchissent plus fort » se destinent à des tâches complexes. Mais cette évolution s’avère-t-elle vraiment utile pour les créateurs de contenu ? Dans ce cadre, que valent réellement ces modèles par rapport à ChatGPT 4o ?

Réponse dans cet article !

Comment accéder à ChatGPT o1 ?

o1-preview et o1-mini sont accessibles aux utilisateurs ChatGPT Plus, Team, Enterprise et Edu. Si vous êtes un de ces utilisateurs, accédez à chat.openai.com et sélectionnez le modèle directement via le menu déroulant :

Actuellement, vous disposez d’une limite hebdomadaire d’utilisation : 30 messages pour o1-preview et 50 pour o1-mini, ces taux étant susceptibles d’augmentation.

ChatGPT o1 : quelles nouveautés par rapport à ChatGPT 4o ?

GPT o1 Preview et GPT o1 Mini utilisent un processus de réflexion avancé avant de répondre aux demandes des utilisateurs. Ces modèles ont été formés pour adopter une approche de réflexion similaire à celle d’un humain. Cela est rendu possible grâce à l’usage d’un apprentissage par renforcement optimisé pour les scénarios de « chain of thought » (CoT), une technique d’entraînement qui diffère de celles de leurs prédecesseurs.

Ainsi, pour chaque demande que vous envoyez au modèle, une phase de « réflexion en cours » se déclenche. Pouvant durer plusieurs secondes, elle structure les différentes tâches que le modèle doit suivre pour atteindre l’objectif demandé.

Résultat : les tâches complexes sont complétées avec une marge d’erreur moindre par rapport aux modèles précédents, aussi récents soient-ils (exemples : GPT 4, GPT 4o).

Ainsi, ChatGPT o1 Preview a par exemple obtenu un score de 83 % sur un examen de qualification pour l’Olympiade internationale de mathématiques (IMO), contre 13 % pour GPT-4o (source : OpenAI). Par extension, ces nouvelles intelligences artificielles disposent d’une excellente aptitude à résoudre des problèmes de programmation.

⚠️ Attention : les modèles o1-preview et o1-mini n’ont pas accès aux fonctionnalités avancées suivantes :

• Mémoire
• Instructions personnalisées
• Analyse de données
• Téléchargement de fichiers
• Navigation sur le web
• Découverte et utilisation de GPTs
• Vision
• Voix

Vous devrez toujours passer par GPT 4 ou GPT-4o pour en bénéficier.

ChatGPT o1 : il raisonne en profondeur

Qu’il soit « mini » ou « preview », le GPT o1 d’Open AI appartient à une nouvelle série de modèles d’IA qui prédisposent de meilleures performances que leurs prédécesseurs grâce à des capacités de réflexion augmentées.

Concrètement, cela se traduit par une phase d’interprétation plus longue et approfondie du prompt utilisateur. Cette étape de raisonnement supplémentaire permet d’obtenir une compréhension plus fine de votre besoin par rapport aux modèles les plus récents, pourtant déjà très performants.

👍Bonus de ces nouvelles capacités intellectuelles : pour les deux nouvelles moutures, ladite phase de réflexion vous est fournie en détail ! Vous pouvez donc contrôler le cheminement de pensée de l’IA, et ainsi vous assurer qu’elle a bien interprété votre demande.

Dans les 2 cas, cette étape de réflexion est accessible en haut de l’output du modèle, par un accordéon dépliable :

Ici, j’ai proposé à ChatGPT o1 de résoudre un problème mathématique simple. Simple mais pas simpliste, le problème en question nécessitait toutefois plusieurs étapes de réflexion. Plus que le résultat, c’est davantage la décomposition de la réflexion qui nous intéresse donc ici.

On constate que pour le même problème, GPT o1 preview procède à une analyse plus minutieuse des éléments du prompt :

Tandis que GPT o1 mini, qui propose un « raisonnement plus rapide », réfléchit effectivement en moins de temps et moins d’étapes :

Quelles différences entre GPT o1-preview et o1-mini ?

On l’a vu dans le premier chapitre de cet article, la nouvelle série de modèles « o1 » est beaucoup plus performante sur des taches de mathématique et de codage. Mais ses aptitudes ne s’arrêtent pas là. Même entre o1 mini et o1 preview, on perçoit de sensibles différences.

Voici un résumé qui vous permet de comprendre plus finement les talents de ces nouveaux modèles, ainsi que les usages vers lesquels ils se destinent :

• Coût :
  • o1-preview : Modèle plus coûteux en raison de sa large capacité.
  • o1-mini : 80 % moins cher que o1-preview, offrant une alternative plus économique.
• Vitesse :
  • o1-mini : 3 à 5 fois plus rapide que o1-preview sur les tâches de raisonnement.

• Capacités en Raisonnement STEM (Sciences, Technologie, Ingénierie, Mathématiques) :
  • o1-preview : Large connaissance du monde et de solides compétences en raisonnement STEM
  • o1-mini : Optimisé pour le raisonnement en STEM
• Connaissances Générales (Non-STEM) :
  • o1-preview : Connaissances plus larges sur des sujets non-STEM grâce à un pré-entraînement sur de vastes ensembles de données textuelles.
  • o1-mini : Moins performant sur des tâches nécessitant des connaissances générales, comme les dates, biographies et trivia, se rapprochant de modèles LLM de plus petite taille.
• Sécurité :
  • o1-preview vs GPT-4o : o1-preview présente une forte amélioration avec un score de 0.83 sur le StrongREJECT jailbreak eval, contre 0.22 pour GPT-4o. Nettement plus robuste face aux tentatives de contournement.
• Accès et Disponibilité :
  • o1-preview : Disponible pour les utilisateurs de ChatGPT Plus, Team, Enterprise, et Edu avec des limites de messages.
  • o1-mini : Accessible aux mêmes utilisateurs, avec des limites de taux plus élevées et une latence plus faible, et à un coût réduit pour les utilisateurs de l’API de niveau 5.

Légende des couleurs

• 🟢 : Avantage pour o1-mini
• 🔴 : Avantage pour o1-preview
• 🟠 : Similaire ou peu de différence

GPT o1 Preview vs. GPT o1 mini : résumé comparatif

• o1-preview excelle dans des tâches complexes avec une connaissance générale étendue, mais est plus coûteux et plus lent que o1-mini.

• o1-mini offre une alternative plus rapide et économique, optimisée pour le raisonnement STEM, tout en présentant des limites dans les domaines de connaissances non-STEM par rapport au modèle « preview ».

Quel usage de ChatGPT o1 pour la création de contenu ?

Cette nouvelle série d’IA proposée par OpenAI ne semble pas étudiée pour performer particulièrement dans la génération de textes automatisés.

Ainsi, si vous utilisez l’IA et chatGPT pour vous aider dans vos taches de rédaction marketing (articles de blog, posts réseaux sociaux, pages de vente, emailings…), conservez vos habitudes.

GPT 4o reste plébiscité pour les tâches qui relèvent du langage naturel.

Pas besoin de migrer vers ces « GPT o1 », ils n’ont pas été conçus pour cela. Les tests menés par OpenAI attestent surtout d’excellents résultats à des examens académiques de haut niveau dans le domaine des sciences et des mathématiques.

Cela va même plus loin : gpt o1-preview et o1-mini peuvent s’avérer trop « coûteux » et « lents » pour des applications de la vie de tous les jours.

Pour autant, OpenAI a tout de même intégré une dimension humaine dans ses analyses de performance. Des évaluateurs humains ont comparé o1-mini et o1-preview à GPT-4o sur des questions ouvertes et complexes dans différents domaines.

Les résultats concordent : les modèles « o1 » sont largement préférés à gpt-4o dans les catégories nécessitant beaucoup de raisonnement, mais GPT 4o reste plébiscité pour les tâches qui relèvent du langage naturel.

Pour aller plus loin : créer (tout de même) du contenu avec GPT o1

Parce que la curiosité n’est pas toujours un vilain défaut, poussons l’analyse un cran plus loin en comparant tout de même les résultats de GPT 4o et GPT o1 (mini et preview) pour un seul et unique prompt lié à la création de contenu.

Pour ce faire, imaginons que je veuille créer 3 posts Instagram différents à partir d’un article déjà écrit. En substance, je veux « repurposer » le contenu de mon article en 3 publications instagram inspirantes, et à destination des créateurs d’entreprise.

Je vais demander aux 3 modèles en compétitions de s’éxécuter en partant de ce prompt :

Résultats de GPT 4o :

Résultats de GPT o1-preview :

Résultats de GPT o1-mini :

Personnellement, je dirais « CQFD » après ce rapide comparatif : les propositions de GPT 4o sont à mes yeux les plus exploitables.

En conclusion : quand choisir ChatGPT o1 ?

Moins coûteux, plus rapide et polyvalent, GPT 4o a encore de belles heures devant lui pour accomplir toutes vos taches de création de contenu.

D’un point de vue rédactionnel, je pense que les nouveaux modèles GPT o1 pourraient tirer leur épingle du jeu si vous avez besoin de créer des textes avec des consignes extrêmement précises, qui nécessitent une phase de compréhension en amont.

Par exemple, les GPT o1 seront plus performants que ChatGPT 4o si vous essayez de rédiger un paragraphe cohérent qui fait exactement 80 mots de long, et inclus le mot « bicyclette » au 4e, 12e et 36e emplacements du texte.

En d’autres termes, si vous demandez au modèle quelque chose de spécifique qui semble difficile à réaliser en une seule tentative, sans expérimenter, utilisez 01-preview.

En revanche, pour des demandes plus ouvertes ou exploratoires, tournez-vous vers les autres modèles.