Model minimalizmi: Şirketlere milyonlarca dolar kazandıran yeni yapay zeka stratejisi

Bu makale, VentureBeat'in "Yapay Zekanın Gerçek Maliyeti: Ölçekte Performans, Verimlilik ve Yatırım Getirisi" adlı özel sayısının bir parçasıdır. Bu özel sayıdan daha fazlasını okuyun .

Büyük dil modelleri (LLM) kavramının ortaya çıkması, işletmelerin üstlenebilecekleri proje türlerini öngörmelerini kolaylaştırdı ve bu da şu anda dağıtıma geçen pilot programların sayısında artışa yol açtı.

Ancak bu projeler ivme kazandıkça, işletmeler daha önce başvurdukları LLM programlarının kullanışsız ve daha da kötüsü pahalı olduğunu fark ettiler.

Küçük dil modelleri ve damıtmaya girin. Google'ın Gemma ailesi , Microsoft'un Phi ve Mistral'in Small 3.1 gibi modeller, işletmelerin belirli görevler için çalışan hızlı ve doğru modeller seçmesine olanak sağladı. İşletmeler, belirli kullanım durumları için daha küçük bir model seçebilir, bu da AI uygulamalarını çalıştırma maliyetlerini düşürmelerine ve potansiyel olarak daha iyi bir yatırım getirisi elde etmelerine olanak tanır.

LinkedIn'in seçkin mühendisi Karthik Ramgopal, VentureBeat'e yaptığı açıklamada, şirketlerin birkaç nedenden dolayı daha küçük modelleri tercih ettiğini söyledi.

Ramgoapl, "Daha küçük modeller daha az hesaplama, bellek ve daha hızlı çıkarım süreleri gerektirir, bu da GPU maliyetleri, kullanılabilirlik ve güç gereksinimleri göz önüne alındığında doğrudan daha düşük altyapı OPEX'i (işletme harcamaları) ve CAPEX'i (sermaye harcamaları) anlamına gelir," dedi. "Göreve özgü modeller daha dar bir kapsama sahiptir, bu da karmaşık ve hızlı mühendislik olmadan davranışlarını zaman içinde daha uyumlu ve sürdürülebilir hale getirir."

Model geliştiricileri küçük modellerini buna göre fiyatlandırırlar. OpenAI'nin o4-mini'si girdiler için milyon token başına 1,1 dolar ve çıktılar için milyon token başına 4,4 dolara mal olurken, tam o3 sürümünde girdiler için 10 dolar ve çıktılar için 40 dolar harcanır.

Günümüzde işletmeler , aralarından seçim yapabilecekleri daha büyük bir küçük model, göreve özgü model ve saflaştırılmış model havuzuna sahiptir. Günümüzde, çoğu amiral gemisi modeli çeşitli boyutlar sunmaktadır. Örneğin, Anthropic'in Claude model ailesi, en büyük model olan Claude Opus , çok amaçlı model olan Claude Sonnet ve en küçük versiyon olan Claude Haiku'dan oluşmaktadır. Bu modeller, dizüstü bilgisayarlar veya cep telefonları gibi taşınabilir cihazlarda çalışacak kadar kompakttır.

Ancak yatırım getirisi tartışılırken, soru her zaman şudur: ROI neye benzer? Katlanılan maliyetlerin getirisi mi yoksa nihayetinde tasarruf edilen dolarlar anlamına gelen zaman tasarrufu mu olmalıdır? VentureBeat'in görüştüğü uzmanlar, ROI'nin değerlendirilmesinin zor olabileceğini, çünkü bazı şirketlerin bir göreve harcanan zamanı azaltarak ROI'ye zaten ulaştıklarına inandıklarını, diğerlerinin ise yapay zeka yatırımlarının gerçekten işe yarayıp yaramadığını söylemek için gerçek dolar tasarrufunu veya daha fazla iş getirilmesini beklediklerini söyledi.

Normalde, işletmeler Cognizant baş teknoloji uzmanı Ravi Naarla'nın bir gönderisinde açıkladığı gibi basit bir formülle yatırım getirisini hesaplar: yatırım getirisi = (Faydalar-Maliyet)/Maliyetler. Ancak yapay zeka programlarında, faydalar hemen belirgin değildir. İşletmelerin elde etmeyi bekledikleri faydaları belirlemelerini, bunları geçmiş verilere dayanarak tahmin etmelerini, işe alım, uygulama ve bakım dahil olmak üzere yapay zekanın genel maliyeti konusunda gerçekçi olmalarını ve uzun vadede bu işte olmanız gerektiğini anlamalarını öneriyor.

Uzmanlar, küçük modellerin, özellikle işletmeniz için daha fazla bağlam sağlamak amacıyla modellerin ince ayarını yaparken, uygulama ve bakım maliyetlerini azalttığını savunuyor.

Aible'ın kurucusu ve CEO'su Arijit Sengupta, insanların modellere bağlam getirme biçimlerinin, ne kadar maliyet tasarrufu elde edebileceklerini belirlediğini söyledi. Uzun ve karmaşık talimatlar gibi istemler için ek bağlam gerektiren kişiler için bu, daha yüksek token maliyetleriyle sonuçlanabilir.

"Modellere bir şekilde bağlam vermelisiniz; bedava öğle yemeği yoktur. Ancak büyük modellerde, bu genellikle komut istemine eklenerek yapılır," dedi. "İnce ayar ve eğitim sonrası işlemleri, modellere bağlam vermenin alternatif bir yolu olarak düşünün. Eğitim sonrası 100 dolarlık maliyete katlanabilirim, ancak bu astronomik bir şey değil."

Sengupta, sadece eğitim sonrası maliyetlerde 100 kata yakın düşüş gördüklerini, model kullanım maliyetinin "tek haneli milyonlardan 30.000 dolar gibi bir seviyeye" düştüğünü söyledi. Bu rakamın yazılım işletme giderlerini ve model ve vektör veri tabanlarının devam eden maliyetini de içerdiğini belirtti.

"Bakım maliyeti açısından, bunu insan uzmanlarla manuel olarak yaparsanız, bakımı pahalı olabilir çünkü büyük modellerle karşılaştırılabilir sonuçlar üretmek için küçük modellerin sonradan eğitilmesi gerekir" dedi.

Aible'ın gerçekleştirdiği deneyler, görev özelinde, ince ayarlı bir modelin, tıpkı Hukuk Yüksek Lisansı (LL.M) gibi bazı kullanım durumları için iyi performans gösterdiğini gösterdi; bu da her şeyi yapmak için büyük modeller kullanmak yerine, birden fazla kullanım durumuna özgü model kullanmanın daha uygun maliyetli olduğunu ortaya koyuyor.

Şirket, Llama-3.3-70B-Instruct'un sonradan eğitilmiş bir versiyonunu aynı modelin daha küçük bir 8B parametre seçeneğiyle karşılaştırdı. 11,30 dolara sonradan eğitilen 70B modeli, otomatik değerlendirmelerde %84 ve manuel değerlendirmelerde %92 doğruydu. 4,58 dolarlık bir maliyete ince ayar yapıldığında, 8B modeli manuel değerlendirmede %82 doğruluğa ulaştı; bu da daha küçük, daha hedefli kullanım durumları için uygun olurdu.

Modelleri doğru boyutlandırmak performans pahasına olmak zorunda değildir. Günümüzde, kuruluşlar model seçiminin yalnızca GPT-4o veya Llama-3.1 arasında seçim yapmak anlamına gelmediğini; özetleme veya kod üretimi gibi bazı kullanım durumlarının küçük bir model tarafından daha iyi karşılandığını bilmek anlamına geldiğini anlıyor.

İletişim merkezi yapay zeka ürünleri sağlayıcısı Cresta'nın baş teknoloji sorumlusu Daniel Hoske, LLM derecesiyle geliştirmeye başlamanın potansiyel maliyet tasarruflarını daha iyi bilgilendirdiğini söyledi.

"Hayal ettiğiniz şeyin işe yarayıp yaramadığını görmek için en büyük modelle başlamalısınız. Çünkü en büyük modelde işe yaramıyorsa, daha küçük modellerde de işe yarayacağı anlamına gelmez." dedi.

Ramgopal, LinkedIn'in de benzer bir yol izlediğini, çünkü bu sorunların ortaya çıkmasının tek yolunun prototipleme olduğunu söyledi.

LinkedIn'den Ramgopal, "Ajans kullanım durumları için tipik yaklaşımımız, genel amaçlı LLM'lerle başlar, çünkü bunların geniş genelleştirilebilirliği, hızlı bir şekilde prototip oluşturmamıza, hipotezleri doğrulamamıza ve ürün-pazar uyumunu değerlendirmemize olanak tanır," dedi. "Ürün olgunlaştıkça ve kalite, maliyet veya gecikme konusunda kısıtlamalarla karşılaştıkça, daha özelleştirilmiş çözümlere geçiş yapıyoruz."

Deney aşamasında, kuruluşlar AI uygulamalarından en çok neye değer verdiklerini belirleyebilir. Bunu anlamak, geliştiricilerin tasarruf etmek istedikleri şeyleri daha iyi planlamalarını ve amaçlarına ve bütçelerine en uygun model boyutunu seçmelerini sağlar.

Uzmanlar, geliştirdikleri şeyle en iyi şekilde çalışan modellerle inşa etmenin önemli olduğu konusunda uyarıda bulunurken, yüksek parametreli LLM'lerin her zaman daha pahalı olacağı konusunda uyardılar. Büyük modeller her zaman önemli bir hesaplama gücü gerektirecektir.

Ancak, küçük ve göreve özgü modellerin aşırı kullanımı da sorunlara yol açar. AWS'de veri ve AI GTM başkan yardımcısı Rahul Pathak, bir blog yazısında maliyet optimizasyonunun yalnızca düşük işlem gücü gereksinimleri olan bir model kullanmaktan değil, bir modeli görevlerle eşleştirmekten kaynaklandığını söyledi. Daha küçük modeller, daha karmaşık talimatları anlamak için yeterince büyük bir bağlam penceresine sahip olmayabilir ve bu da insan çalışanlar için artan iş yüküne ve daha yüksek maliyetlere yol açabilir.

Sengupta ayrıca bazı damıtılmış modellerin kırılgan olabileceği, bu nedenle uzun vadeli kullanımda tasarruf sağlanamayabileceği konusunda uyardı.

Modelin boyutundan bağımsız olarak, sektör oyuncuları olası sorunları veya yeni kullanım durumlarını ele alma esnekliğini vurguladı. Bu nedenle, büyük bir modelle ve benzer veya daha iyi performansa ve daha düşük maliyete sahip daha küçük bir modelle başlarlarsa, kuruluşlar seçtikleri model konusunda hassas olamazlar.

Marka pazarlama şirketi Mod Op'un CTO'su ve inovasyon başkanı Tessa Burg, VentureBeat'e yaptığı açıklamada, kuruluşların şu anda inşa ettikleri her şeyin her zaman daha iyi bir versiyonuyla yer değiştireceğini anlamaları gerektiğini söyledi.

" Yarattığımız iş akışlarının, daha verimli hale getirdiğimiz süreçlerin altında yatan teknolojinin değişeceği zihniyetiyle başladık. Kullandığımız modelin, bir modelin en kötü versiyonu olacağını biliyorduk."

Burg, daha küçük modellerin şirketinin ve müşterilerinin konseptleri araştırma ve geliştirmede zamandan tasarruf etmesine yardımcı olduğunu söyledi. Zamandan tasarruf edildiğini, bunun zamanla bütçe tasarrufuna yol açtığını söyledi. Hafif modeller için yüksek maliyetli, yüksek frekanslı kullanım durumlarını ayırmanın iyi bir fikir olduğunu ekledi.

Sengupta, tedarikçilerin artık modeller arasında otomatik geçişi kolaylaştırdığını belirterek, kullanıcıları ek maliyetlere katlanmamak için ince ayar yapmayı da kolaylaştıran platformları bulmaları konusunda uyardı.