Která AI je nejlepší pro programování? Nejlepší je Claude 3.7 Sonnet, ale Google Gemini se přibližuje

Služba Chatbot Arena, ve které lidé anonymně srovnávají výstupy AI, má oddělený projekt zaměřený na využití chatbotů pro vývoj. Ve WebDev Arena (web.lmarena.ai) pomocí stejných principů porovnává jejich schopnosti samostatného kódování.

Oživeno 26. března 2025 | Ve výsledcích se objevil nový Google Gemini 2.5 Pro.

Na webu uvidíte jen pole, do kterého napíšete zadání, co má AI naprogramovat. Běží pod ním návrhy, na které stačí kliknout, kdyby vás zrovna nic nenapadalo. Služba potom vybere dva modely, problém jim předhodí, vy sledujete, jak pracují a v závěru ukážou spustitelný výsledek.

Až bude hotovo, posoudíte a označíte, který model si se zadáním poradil lépe. Nebo že jsou na tom oba podobně, případně že oba dva výsledky jsou špatné. Aby srovnání bylo neovlivněné, teprve potom zjistíte, které konkrétní modely v aréně soupeřily.

Lépe programuje, hůře mluví

Takhle vypadá aktuální žebříček. Na prvním místě, s pěkným náskokem před ostatními, je aktuální model Claude 3.7 Sonnet. Ale podívejte se na druhé místo, kam se mezi dva Claudy na konci března dostal Gemini 2.5 Pro od Googlu.

Claude se v globálním žebříčku Chatbot Areny neumísťuje příliš vysoko, začíná se z něj stávat specializovaný model pro vývojáře. Jeho schopnosti v této oblasti mohu potvrdit. Zatímco standardní ChatGPT se do problému tu a tam zamotá a nenabídne správnou cestu ven, s Claudem bývám často úspěšný hned na první pokusy. Také ladění je uspokojivější.

 Na obrázku je zobrazeno pořadí modelů s vyznačeným 95% intervalem spolehlivosti. Claude 3.7 má pěkný náskok před ostatními

Tento graf srovnává modely podle jejich úspěšnosti v duelech (vynechává nerozhodné souboje). Claude 3.7 Sonnet v 76 % případech zvítězil

Která AI je nejlepší? Google všechny přeskočil a Gemini 2.5 Pro má teď pěkný náskok