OpenAI avoue que ChatGPT 4 a le niveau débutant en programmation

 https://codeforces.com/blog/entry/113910

ChatGPT 4 a obtenu un rating de 392 seulement après sa participation à dix compétitions de programmation sur le célèbre site CodeForces. Le meilleur être humain a un rating de 3783. ChatGPT 4 se classe dans les 5% les plus nuls, et fait partie de la catégorie Newbie ! ChatGPT 3.5 avait obtenu un score de 260.

Il y a un an, DeepMind (appartenant à Google) avait obtenu un rating de 1300 avec son AI DeepCode :
 https://codeforces.com/blog/entry/99566

Mais attention, la moitié des réponses de DeepCode seraient des faux positif :
<< Many (most?) of the "correct" solutions from alphacode.deepmind.com are incorrect, see this comment for details:  https://codeforces.com/blog/entry/99566?#comment-883642
The paper mentions this in a way, and Table 2 estimates that 46% are "False Positive or Slow Rate", which is probably an underestimate judging from a quick test. >>
Le vrai score de DeepCode serait donc plus proche de 650, et DeepCode appartiendrait comme ChatGPT4 à la catégorie Newbie.

c'est pas de la programmation, mais de la résolution de problèmes théoriques informatiques. et oui chatgpt pue la merde en math en général

 https://en.wikipedia.org/wiki/Codeforces
<< According to Daniel Sleator, professor of Computer Science at Carnegie Mellon University, competitive programming is valuable in computer science education, because competitors learn to adapt classic algorithms to new problems, thereby improving their understanding of algorithmic concepts. >>

Le score de ChatGPT 4 montre que cette IA ne sait pas réellement réfléchir à un niveau d'abstraction élevé.

c'est ce que j'ai dit, et c'est pas étonnant, je lui ai demandé maintes fois de me démontrer des trucs, elle commence a dire de la merde et a déduire des trucs qui ne doivent pas être déduits. Pour le moment c'est la principale limitation de chatgpt

À noter que malgré les progrès de ChatGPT4 à Leetcode, son niveau est toujours médiocre.