OpenAI ve Microsoft Distilasyonu Nasıl Kullanıyor?
Geliştiriciler, OpenAI’nin platformunu kullanarak büyük dil modellerinden öğrenme sürecini sürdürebiliyor. OpenAI’nin en büyük yatırımcısı Microsoft, GPT-4’ü kullanarak küçük dil modelleri ailesi Phi’yi oluşturmak için distilasyon sürecini kullandı. Microsoft, OpenAI’ye bugüne kadar yaklaşık 14 milyar dolar yatırım yaptı ve bu teknolojiye olan bağlılığını sürdürüyor.
Ancak, OpenAI yetkilileri, DeepSeek’in OpenAI’nin modellerini distile ederek kendi rakip modelini eğittiğini düşünüyor. Eğer bu iddia doğruysa, bu durum OpenAI’nin kullanım şartlarını ihlal ediyor. DeepSeek henüz bu iddialara resmi bir yanıt vermedi.
Distilasyon Güçlü Ama Sınırlı Bir Teknoloji mi?
Her ne kadar distilasyon yüksek performanslı modeller yaratmak için kullanılabilse de bazı sınırlamaları var. Microsoft Research’ten Ahmed Awadallah, bu sürecin belirli avantajlar sunduğunu ancak her durumda ideal olmadığını belirtiyor:
“Distilasyon ilginç bir denge sunuyor; modelleri küçülttüğünüzde kaçınılmaz olarak yeteneklerini de azaltmış oluyorsunuz. Örneğin, bir distile model e-postaları özetleme konusunda çok iyi olabilir, ancak başka bir şeyde pek iyi olmayacaktır.”
IBM Research’ün yapay zekâ modellerinden sorumlu başkan yardımcısı David Cox da birçok işletmenin büyük dil modellerine ihtiyacı olmadığını belirtiyor. Distile modeller, müşteri hizmetleri chatbotları veya mobil cihazlar gibi daha küçük sistemlerde çalışmak için yeterli güce sahip.
“Eğer bir modeli daha ucuza oluşturabilir ve ihtiyacınız olan performansı elde edebilirseniz, bunu yapmamanız için pek bir neden yok.”
Ancak bu durum, yapay zekâ sektörünün büyük oyuncuları için bir iş modeli sorununa yol açıyor. Çünkü distile modeller daha az işlem gücü gerektiriyor, daha az maliyetle geliştiriliyor ve dolayısıyla daha az gelir sağlıyor. OpenAI gibi şirketler genellikle bu tür modellerin kullanım ücretlerini düşürmek zorunda kalıyor, çünkü daha düşük donanım gereksinimleri nedeniyle işletme maliyetleri azalıyor.
Buna rağmen, OpenAI yetkilisi Godement, büyük modellerin hâlâ önemli bir rol oynayacağını savunuyor:
“Yüksek zekâ gerektiren ve hassasiyetin çok önemli olduğu görevlerde büyük dil modellerine olan ihtiyaç sürecek. İş dünyasında doğruluk ve güvenilirlik için daha fazla ödeme yapmaya istekli olan şirketler var.”
Ayrıca, büyük modellerin keşfettiği yeni yeteneklerin, distile modellerin gelişimine de katkı sağladığını ekliyor.
