Yedi Ücretsiz Açık Kaynaklı GPT Modeli Yayınlandı

Silikon Vadisi yapay zeka şirketi Cerebras, bugüne kadar sıkı bir şekilde kontrol edilen ve özel sistemlere alternatif oluşturmak için yedi adet açık kaynaklı GPT modeli yayınladı.

Sanayiye dayalı yapay zeka uygulamaları şirketi Cerebras tarafından son derece serbest Apache 2.0 lisansı altında yayınlanan GPT modelleri için telifsiz açık kaynaklı ağırlıklar ve eğitim tarifi yayınlandı.

Cerebras Andromeda AI süper bilgisayarı için yedi GPT modeli, belirli bir ölçüde bir kavram kanıtıdır.

Cerebras altyapısı, Jasper AI Copywriter gibi müşterilerine kendi özel dil modellerini hızlı bir şekilde eğitme imkanı sağlar.

Bir Cerebras blog yazısı donanım teknolojisi hakkında şunları belirtti:

"Tüm Cerebras-GPT modellerini Andromeda olarak adlandırılan 16x CS-2 Cerebras Wafer-Ölçekli Küme üzerinde eğittik."

"Bu küme, geleneksel GPU küme üzerinde gereken dağıtılmış sistemler mühendisliği ve model paralel ayarlamaları olmadan tüm deneylerin hızlı bir şekilde tamamlanmasını sağladı."

"En önemlisi, araştırmacılarımızın dağıtılmış sistem yerine ML tasarımına odaklanmasını sağladı. Büyük modellerin kolayca eğitilmesi yeteneğinin geniş bir toplum için önemli bir etkinleyici olduğuna inanıyoruz, bu nedenle Cerebras Wafer-Ölçekli Küme'yi Cerebras AI Model Studio aracılığıyla buluttan erişilebilir kıldık."

Cerebras GPT Modelleri ve Şeffaflık

Cerebras, yalnızca birkaç şirketin yapay zeka teknolojisinin sahiplenmemesi nedeniyle yedi açık kaynaklı GPT modeli oluşturmanın önemini vurguluyor.

OpenAI, Meta ve Deepmind, sistemleri hakkında büyük miktarda bilgiyi gizli tutuyor ve sıkı bir kontrol altında tutuyor, bu da diğerlerinin verileriyle ne yapabileceklerine karar veren üç şirketin sınırlamalarına bağlı olarak yeniliği sınırlıyor.

Kapalı kaynak kodlu bir sistem, yapay zeka alanında yenilik için en iyisi midir? Yoksa açık kaynak kodlu sistemler mi gelecektir?

Cerebras yazar:

"LLM'lerin açık ve erişilebilir bir teknoloji olması için, araştırma ve ticari uygulamalar için açık, tekrarlanabilir ve telifsiz, son teknikler ve açık veri setleri kullanılarak eğitilmiş, Cerebras-GPT adını verdiğimiz bir transförmer model ailesine erişimin önemli olduğuna inanıyoruz."

"Bu modeller, Chinilla formülü kullanılarak eğitilen ve Apache 2.0 lisansıyla yayınlanan ilk GPT model ailesidir."

Bu nedenle, bu yedi model, AI teknolojisine açık erişim sağlayarak daha fazla araştırmayı teşvik etmek için Hugging Face ve GitHub üzerinde yayınlandı.

Bu modeller Cerebras'ın Andromeda AI süper bilgisayarı ile eğitildi ve bunu gerçekleştirmek sadece haftalar sürdü.

Cerebras-GPT tamamen açık ve şeffaftır, OpenAI'nin (GPT-4), Deepmind ve Meta OPT'nin en yeni GPT modelleri gibi değildir.

OpenAI ve DeepMind Chinchilla, modelleri kullanmak için lisans sunmamaktadır. Meta OPT sadece ticari olmayan bir lisans sunmaktadır.

OpenAI'nın GPT-4'ünün eğitim verileri hakkında tamamen şeffaf değil. Common Crawl verisini kullandılar mı? İnterneti kazıyarak kendi veri setlerini mi oluşturdular?

OpenAI bu bilgileri (ve daha fazlasını) gizli tutmaktadır ki bu, tamamen şeffaf olan Cerebras-GPT yaklaşımıyla zıtlık oluşturmaktadır.

Aşağıdaki her şey açık ve şeffaftır:

• Model mimarisi
• Eğitim verileri
• Model ağırlıkları
• Kontrol noktaları
• Hesaplama-optimizasyonlu eğitim durumu (evet)
• Kullanma lisansı: Apache 2.0 Lisansı

Yedi versiyon 111M, 256M, 590M, 1.3B, 2.7B, 6.7B ve 13B modellerde bulunuyor.

Bu duyuruldu:

"Yapay zeka donanım şirketleri arasında bir ilk olan Cerebras araştırmacıları, Andromeda yapay zeka süper bilgisayarı üzerinde 111M, 256M, 590M, 1.3B, 2.7B, 6.7B ve 13B parametreye sahip yedi adet GPT modelini eğitmiştir."

Genellikle aylar süren bir çalışma olan bu işlem, Cerebras CS-2 sistemlerinin inanılmaz hızı ve Cerebras'ın ağırlık akışı mimarisi sayesinde birkaç haftada tamamlanmıştır, bu da dağıtılmış hesaplamanın zorluklarını ortadan kaldırmaktadır.

Bu sonuçlar, Cerebras'ın sistemlerinin bugün mevcut en büyük ve en karmaşık yapay zeka yüklerini eğitebilme becerisini göstermektedir.

Bu, en son eğitim verimlilik teknikleri kullanılarak eğitilmiş bir GPT model süitinin ilk defa halka açık olarak sunulduğu zamandır.

Bu modeller, belirli bir hesaplama bütçesi için en yüksek doğrulukla eğitildiği için (yani Çinçilla tarifi kullanarak eğitim verimli), mevcut halka açık modellerden daha düşük eğitim süresi, daha düşük eğitim maliyeti ve daha az enerji tüketimi sunar."

Açık Kaynak Yapay Zeka

Mozilla vakfı, açık kaynak yazılım Firefox'un yapımcıları, güvenilir ve gizliliğe saygı gösteren açık kaynaklı GPT ve öneri sistemleri oluşturmak amacıyla Mozilla.ai adında bir şirket kurmuştur.

Databricks ayrıca yakın zamanda halka açık bir kaynak kodlu Dolly adında GPT Klonu yayınladı ve "ChatGPT'nin sihrini demokratikleştirmeyi" amaçlıyor.

Yedi Cerebras GPT modeline ek olarak, Nomic AI adlı başka bir şirket, laptop üzerinde çalışabilen açık kaynaklı bir GPT olan GPT4All'ı piyasaya sürdü.

Açık kaynaklı YZ hareketi henüz başlangıç aşamasında ancak ivme kazanıyor.

GPT teknolojisi, endüstrilerde büyük değişikliklere yol açıyor ve bu değişimi yönlendiren endüstrilerin yüzünü değiştirebilecek, belki de kaçınılmaz bir şekilde açık kaynak katkıları olabilir.

Eğer açık kaynak hareketi bu hızda ilerlemeye devam ederse, birkaç şirketin elinde yoğunlaşmasını engelleyen bir yapay zeka yenilik dalgasının eşiğinde olabiliriz.

Resmi duyuruyu okuyun:

Cerebras Systems CS-2 Yonga Boyutlu Sistemler Üzerinde Eğitilmiş Yedi Yeni GPT Modelini Yayınlıyor