Hızlı mühendislik, yapay zeka modellerine bırakılması gereken bir görevdir

Büyük dil modelleri, daha iyi chatbot yanıtları ortaya çıkaran sistem talimatlarını oluşturma süreci olan hızlı mühendisliğin karanlık sanatının ortaya çıkmasına neden oldu.

Yakın zamanda yapılan bir araştırmada belirtildiği gibi kâğıtBroadcom'un VMware'inden Rick Battle ve Teja Gollapudi tarafından yazılan "Eksantrik Otomatik İstemlerin Mantıksız Etkinliği", istemlerin ifadelerindeki görünüşte önemsiz değişikliklerin model performansı üzerinde önemli bir etkisi vardır.

Anlık optimizasyon yoluyla model performansını iyileştirmeye yönelik tutarlı bir metodolojinin bulunmaması, makine öğrenimi uygulayıcılarının sözde "pozitif düşünceyi" sistem istemlerine dahil etmesine yol açtı.

The sistem istemi Modele nasıl davranacağı konusunda talimat verir ve kullanıcının sorgusundan önce gelir. Bu nedenle, bir yapay zeka modelinden bir matematik problemini çözmesini isterken, "Sen bir matematik profesörüsün" gibi bir sistem istemi - her zaman olmasa da - muhtemelen bu ifadeyi atlamaktan daha iyi sonuçlar verir.

VMware'de personel makine öğrenimi mühendisi olan Rick Battle şunları söyledi: Kayıt bir telefon görüşmesinde özellikle buna karşı tavsiyelerde bulunduğunu söyledi. "Makalenin genel noktası, deneme yanılmanın işleri yapmanın yanlış yolu olduğudur" diye açıkladı.

Olumlu düşünme yolu – sistem mesajına “Bu eğlenceli olacak!” gibi küçük parçalar eklediğiniz yer. – model performansını artırabileceğini belirtti. "Fakat bunları bilimsel olarak test etmek hesaplama açısından zordur çünkü bir şeyi değiştirirsiniz ve tüm test setinizi yeniden çalıştırmanız gerekir."

Battle'ın önerdiği daha iyi bir yaklaşım, otomatik bilgi istemi optimizasyonudur; karşılaştırmalı testlerde daha iyi performans için istemleri hassaslaştırmak üzere bir LLM'ye başvurmak.

Önceki araştırma bunun ticari LLM'lerde işe yaradığını gösterdi. Bunu yapmanın dezavantajı oldukça pahalı olabilmesidir. Araştırmacılara göre model başına 12,000 istek içeren bu deneyi GPT-3.5/4, Gemini veya Claude kullanarak gerçekleştirmek birkaç bin dolara mal olacaktı.

Battle, "Araştırmanın amacı daha küçük, açık kaynaklı modellerin optimize edici olarak kullanılıp kullanılamayacağını keşfetmekti" diye açıkladı ve "Ve cevabın evet olduğu ortaya çıktı."

Battle ve Gollapudi (artık Broadcom'da değil), yediden 60'e kadar değişen parametrelerle, üç açık kaynaklı model (Mistral-7B, Llama2-13B ve Llama2-70B) üzerinde Düşünce Zinciri ile ve Düşünce Zinciri olmadan 70 sistem mesajı parçacığı kombinasyonunu test etti GSM8K ilkokul matematik veri setinde milyar.

Battle şöyle konuştu: "Mistral'ı kullandığımız 7B'ye kadar açık kaynaklı bir model çalıştırıyorsanız, 100 kadar az test örneğiniz ve 100 optimizasyon örneğiniz varsa, daha iyi performans elde edebilirsiniz." kutudan çıkan otomatik optimize edicileri kullanarak DSPy, bunu yapmak için kullandığımız kütüphane."

Daha etkili olmanın ötesinde, LLM'den türetilen istem optimizasyonları, muhtemelen insan istem ayarlayıcılarının aklına gelmeyecek stratejiler sergiliyor.

"Şaşırtıcı bir şekilde, öyle görünüyor ki, [Llama2-70B'nin] matematiksel akıl yürütmedeki yeterliliği, Star Trek"Yazarlar makalelerinde bunu gözlemliyorlar.

Tam sistem istemi aşağıdaki gibidir:

Battle, "Otomatik istemlerin neden bu kadar tuhaf olduğuna dair iyi bir açıklamam yok" dedi. “Ve kesinlikle böyle bir şeyi asla elle bulamazdım.” ®

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/