Yeni Açık Kaynaklı ChatGPT Klonu - Dolly adında

Açık Kaynaklı GPT Sohbet, Databricks kurumsal yazılım şirketi tarafından oluşturulan Dolly Büyük Dil Modeli (DLL) ile bir adım daha ileriye gitti.

Yeni ChatGPT klonu Dolly olarak adlandırılıyor, ismini, klonlanan ilk memeli olan ünlü koyundan alıyor.

Açık Kaynak Büyük Dil Modelleri

Dolly LLM, büyük şirketler tarafından tekeline alınmayıp kontrol edilmeyişi hedefleyen büyüyen açık kaynaklı yapay zeka hareketinin en son örneğidir.

Açık kaynaklı yapay zeka hareketini destekleyen endişelerden biri, işletmelerin yapay zeka teknolojisini kontrol eden bir üçüncü tarafa hassas verilerini vermek istememeleridir.

Açık Kaynak Temelinde

Dolly, kar amacı gütmeyen EleutherAI araştırma enstitüsü ve Stanford Üniversitesi Alpaka modeli tarafından oluşturulan açık kaynaklı bir modele dayanılarak yaratıldı. Bu model de Meta tarafından oluşturulan 65 milyar parametreli açık kaynaklı LLaMA modeline dayanmaktadır.

LLaMA, Large Language Model Meta AI olarak geçer, kamuoyunda mevcut verilere dayalı olarak yetiştirilen bir dil modelidir.

Weights & Biases'ye göre bir makaleye göre, LLaMA, daha küçük olmasına rağmen birçok üst düzey dil modeline (OpenAI GPT-3, Deep Mind tarafından Gopher ve DeepMind tarafından Chinchilla) üstün gelebilir.

Daha İyi Bir Veri Seti Oluşturma

Başka bir ilham kaynağı, (KENDİYİ ÖĞRET: Kendi üretilmiş talimatlarla Dil Modelini Hizalamak PDF) adlı bir akademik araştırma makalesinden geldi. Bu makale, sınırlı kamu verilerinden daha iyi bir otomatik soru-cevap eğitim verisi oluşturmanın bir yolunu açıkladı.

Self-Eğitim araştırma raporu şunları açıklar:

“...yeni görevler için uzmanlar tarafından yazılan bir dizi talimatı özenle seçiyoruz ve insan değerlendirmesiyle kanıtlıyoruz ki, SELF-INSTRUCT kullanarak GPT3'ü ayarlamanın, mevcut genel talimat veri setlerini kullanmaktan önemli ölçüde daha iyi performans sağladığını gösteriyor; InstructGPT'nin sadece %5 mutlak bir fark gerisinde kalıyor...

...Vanilya GPT3'e yöntemimizi uygulayarak, SUPERNATURALINSTRUCTIONS üzerinde orijinal modele göre %33 mutlak bir iyileşme gösteriyoruz, InstructGPT'nin performansıyla aynı seviyede olan özel kullanıcı verileri ve insan etiketlemesiyle eğitilen bir modeldir.”

Dolly'nin önemi, daha küçük ancak yüksek kaliteli bir veri kümesi ile kullanışlı bir büyük dil modelinin oluşturulabileceğini göstermektedir.

Databricks gözlem yapıyor:

“Dolly, EleutherAI'den mevcut açık kaynaklı 6 milyar parametreli bir modeli alarak, Alpaca'dan gelen verileri kullanarak orijinal modelde bulunmayan beyin fırtınası ve metin oluşturma gibi talimat izleme yetenekleri için biraz değiştirerek çalışır."

...Herkesin, tarihli bir hazır açık kaynaklı büyük dil modelini (LLM) alıp, yüksek kaliteli eğitim verileri kullanarak 30 dakika içinde tek bir makinede eğiterek ona sihirli ChatGPT benzeri talimat takip yeteneği kazandırılabilir.

Şaşırtıcı bir şekilde, yönerge takip etme işlemi için en son veya en büyük modellere ihtiyaç duyulmuyor gibi görünüyor: modelimiz yalnızca 6 milyar parametreye sahip, GPT-3 için ise 175 milyar parametre bulunuyor."

Databricks Açık Kaynak Yapay Zeka

Dolly'nin yapay zeka'yı demokratikleştirdiği söyleniyor. Bu, yakın zamanda Mozilla.ai'nin kuruluşuyla Mozilla örgütünün katıldığı büyüyen bir hareketin bir parçasıdır. Mozilla, Firefox tarayıcısının yayıncısı ve diğer açık kaynak yazılımların sahibidir.