METR studija pokazuje da AI može usporiti programere
AI je uzdrmao svijet programiranja i pojavile su se tvrdnje da veliki dio koda postaje AI-generisan. Ipak, nova studija neprofitne organizacije Model Evaluation and Threat Research (METR) sugeriše da AI često narušava efikasnost razvoja softvera. U eksperimentu 16 programera je obavilo oko 250 zadataka koristeći ili bez AI ili uz "early-2025 AI tools" poput Anthropic Claude i Cursor Pro. Korištenje AI alata povećalo je ukupno vrijeme rada za 19 posto.
Praćenje ekrana otkrilo je da su uz AI programeri manje vremena provodili pišući kod i debugujući, jer su umjesto toga bavili se "reviewing AI outputs, prompting AI systems, and waiting for AI generations." Manje od 44 posto predloga AI alata prihvaćeno je bez izmjena, a 9 posto ukupnog vremena utrošeno je na popravljanje AI izlaza. Iako su programeri prije očekivali skraćenje vremena od oko 25 posto, nakon testiranja su još uvijek smatrali da im AI ubrzava rad za 20 posto.
Benchmarkovi koji hvale modele često koriste sintetičke zadatke koji ne odražavaju stvarne izazove kodiranja. Ranija istraživanja su pokazala da čak i najsnažniji modeli "are still unable to solve the majority" stvarnih problema. Pojava "vibe coding," gdje neiskusni programeri oslanjaju rješenja na opise za AI, dodatno povećava rizik u vidu sigurnosnih propusta. Usljed automatizacije i otpuštanja, kvalitet i bezbjednost AI-generisanog koda postaju ozbiljna briga za razvoj softvera.
