In un recente studio su GitHub, GitHub Copilot è stato testato per determinare se l’assistente di codifica AI aiuta gli sviluppatori a scrivere codice oggettivamente migliore o peggiore del codice scritto senza AI. Per fare ciò, GitHub ha lavorato con 202 sviluppatori Python, 104 codificando con Copilot e 98 senza. Agli sviluppatori è stato assegnato il compito di creare un server web per le recensioni di ristoranti e di valutarne la funzionalità utilizzando 10 test unitari.
Per ciascuna delle proposte completate, almeno dieci sviluppatori hanno esaminato il codice riga per riga, senza sapere se fosse stato scritto con o senza l’aiuto dell’intelligenza artificiale. Le 1.293 revisioni risultanti hanno valutato la leggibilità, l’affidabilità, la manutenibilità e la concisione degli esempi di codice. Inoltre, i revisori hanno valutato se il codice dovesse alla fine essere approvato.
I risultati dello studio fanno ben sperare per l’uso dell’intelligenza artificiale nella codifica, con GitHub che evidenzia quattro risultati chiave.
- Copilot ha aiutato gli sviluppatori a superare tutti e dieci i test unitari il 56% più spesso rispetto agli sviluppatori senza intelligenza artificiale, con conseguente miglioramento delle funzionalità.
- Il codice assistito da Copilot è più leggibile e consente agli sviluppatori di scrivere in media il 13,6% di righe in più senza riscontrare problemi di leggibilità.
- Leggibilità, affidabilità, manutenibilità e concisione sono migliorate in media del 3,29%, con la concisione che ha registrato il miglioramento maggiore (4,16%).
- Il codice assistito dal copilota è stato approvato il 5% più spesso rispetto al codice senza AI. Ciò significa che ci vuole meno tempo per preparare il codice per la produzione.
Per ulteriori informazioni sulla metodologia e sui risultati dello studio, consultare il post sul blog ufficiale di GitHub collegato di seguito.
