Ontwikkelaars die Copilot gebruiken zijn statistisch beter in GitHub's laatste onderzoek

In een recent onderzoek van GitHub werd GitHub Copilot getest om te bepalen of de AI-codeerassistent ontwikkelaars helpt code te schrijven die objectief beter of slechter is dan code die zonder AI is geschreven. Om dit te doen, werkte GitHub met 202 Python-ontwikkelaars, 104 codeerden met Copilot en 98 zonder. De ontwikkelaars kregen de taak om een webserver van restaurantbeoordelingen te maken en de functionaliteit te beoordelen met 10 unit tests.

Voor elk van de voltooide inzendingen gingen minstens tien ontwikkelaars regel voor regel door de code, zonder te weten of deze met of zonder hulp van AI was geschreven. Alle 1.293 resulterende beoordelingen evalueerden de leesbaarheid, betrouwbaarheid, onderhoudbaarheid en beknoptheid van de codevoorbeelden. Daarnaast beoordeelden de beoordelaars of de code uiteindelijk goedgekeurd zou moeten worden.

De resultaten van het onderzoek voorspellen veel goeds voor het gebruik van AI bij het coderen, waarbij GitHub vier belangrijke bevindingen benadrukt.

1. Copilot hielp ontwikkelaars om 56 procent vaker voor alle tien unit tests te slagen dan niet-AI-ontwikkelaars, wat leidde tot meer functionaliteit.
2. De door Copilot geassisteerde code is beter leesbaar en helpt ontwikkelaars gemiddeld 13,6 procent meer regels te schrijven zonder leesbaarheidsproblemen tegen te komen.
3. Leesbaarheid, betrouwbaarheid, onderhoudbaarheid en beknoptheid verbeterden met gemiddeld 3,29 procent, waarbij beknoptheid de grootste verbetering van 4,16 procent kreeg.
4. Copiloot-gesteunde code werd 5 procent vaker goedgekeurd dan niet-AI code. Dit betekent dat er minder tijd nodig is voordat de code klaar is voor productie.

Voor meer gedetailleerde informatie over de methodologie en resultaten van het onderzoek, kunt u de officiële GitHub blogpost bezoeken waarnaar hieronder gelinkt wordt.