ChatGPT kod yazabilir. Şimdi araştırmacılar, hataları düzeltmede de iyi olduğunu söylüyor.

OpenAI'nin ChatGPT sohbet botu, yazılım hatalarını oldukça iyi düzeltebilir, ancak diğer yöntemlere ve yapay zeka modellerine göre önemli bir avantajı, insanlarla diyaloğa geçme yeteneğiyle cevabın doğruluğunu iyileştirebilmesidir.

Johannes Gutenberg Üniversitesi Mainz ve University College London'dan araştırmacılar, OpenAI'nın ChatGPT'sini "standart otomatik program onarım teknikleri" ve program onarımları için iki derin öğrenme yaklaşımı olan CoCoNut'u - Kanada'daki Waterloo Üniversitesi'ndeki araştırmacılardan - ve GitHub'ın Copilot eşli programlama otomatik kod tamamlama hizmetine temel olan OpenAI'nin GPT-3 tabanlı modeli olan Codex ile karşılaştırdılar.

Ayrıca: ChatGPT'yi kullanmaya nasıl başlayacağınız

"Araştırmacılar yeni bir arXiv makalesinde şöyle yazmaktadır: 'ChatGPT'nin hata düzeltme performansının, yaygın derin öğrenme yaklaşımları CoCoNut ve Codex'e kıyasla rekabetçi olduğunu ve standart program onarım yaklaşımları için bildirilen sonuçlardan önemli ölçüde daha iyi olduğunu buluyoruz,'".

En İyi AI Chatbotlar: ChatGPT ve denemek için diğer ilginç alternatifler

AI chatbotlar ve yazarlar, yapay zeka kullanarak metin oluşturabilir veya kullanıcı girişine dayalı olarak sorgulara cevap verebilir. E-postaları, denemeleri hatta matematik problemlerini yazarak iş yükünüzü azaltmanıza yardımcı olabilirler. ChatGPT, bunun için popüler bir örnektir, ancak diğer dikkate değer chatbotlar da mevcuttur.

Şimdi oku

ChatGPT'nin kodlama sorunlarını çözmek için kullanılabileceği yeni bir şey değil, ancak araştırmacılar, insanlarla diyalog kapasitesinin diğer yaklaşımlar ve modeller karşısında potansiyel bir avantaj sağladığını vurguluyor.

Araştırmacılar, ChatGPT'nin performansını QuixBugs hata düzeltme ölçütü kullanarak test etti. Otomatik program onarımı (APR) sistemleri, 2018'den önce geliştirildiği için dezavantajlı görünüyor.

ChatGPT, Meta'nın yapay zeka başkanı Yann LeCunn tarafından vurgulanan bir şekilde, Google tarafından geliştirilen transformer mimarisi üzerine kuruludur. Microsoft Research'ten CodeBERT ve öncüsü BERT dahil olmak üzere Codex, Google'ın transformer yöntemine dayanmaktadır.

OpenAI, ChatGPT'in diyalog becerisini vurguluyor. Örneklerde ise ChatGPT, kod hata ayıklama için açıklama isteyebiliyor ve bir kişiden ipuçları alarak daha iyi bir yanıt elde edebiliyor. ChatGPT'nin arkasındaki büyük dil modelleri (GPT-3 ve GPT 3.5), İnsan Geribildiriminden Takviyeli Öğrenme (RLHF) kullanılarak eğitildi.

ChatGPT'nin tartışma yeteneği, daha doğru bir cevaba ulaşmasına yardımcı olabilirken, önerilerinin kalitesi hala belirsizdir, araştırmacılar belirtiyor. İşte bu nedenle, ChatGPT'nin hata düzeltme performansını değerlendirmek istedik.

Araştırmacılar, ChatGPT'yi yalnızca Python sorunları içeren QuixBugs'a karşı test etti ve ardından önerilen çözümün doğru olup olmadığını manuel olarak kontrol etti. ChatGPT'nin cevaplarının güvenirlikte bazı rastlantısal faktörler olduğunu bir Wharton profesörü, MBA benzeri bir sınavdan geçirdikten sonra fark ettiği için sorguyu dört kez tekrarladı.

ChatGPT, CoCoNut (19) ve Codex (21) ile eşit durumda olacak şekilde 40 Python hatasının 19'unu çözdü. Ancak standart APR yöntemleri sadece yedi sorunu çözdü.

Araştırmacılar, ChatGPT'nin takip eden etkileşimlerle başarı oranının %77,5 olduğunu buldular.

Geliştiriciler için çaba ve üretkenlik açısından sonuçlar belirsizdir. Stack Overflow son zamanlarda ChatGPT tarafından üretilen yanıtları düşük kaliteli fakat ikna edici şekilde olması dolayısıyla yasakladı. Wharton profesörü ChatGPT'nin MBA öğrencileri için harika bir yol arkadaşı olabileceğini keşfetti çünkü "zeki bir danışman" gibi davranabilir - zarif fakat çoğu zaman yanlış yanıtlar üreten ve eleştirel düşünmeyi teşvik eden biri olabilir.

"Bu, insan katkısının otomatik bir APR sistemi için çok yardımcı olabileceğini gösteriyor ve ChatGPT'nin bunu yapma imkanını sağladığını" araştırmacılar yazıyor.

"ChatGPT'in sunduğu avantajların, ChatGPT yanıtlarını doğrulamak için gereken zihinsel maliyetin üstesinden gelip gelmediği sorusu ortaya çıkmaktadır."