Geniş Dil Modelleri "Yapay Zeka" anlamına gelmez

OpenAI tarafından geliştirilen ve Geniş Dil Modellerini (LLM) son kullanıcı arasında popülerleştiren ChatGPT modelleri çoğu son kullanıcı tarafından "yapay zeka" terimi altında sadeleştirilir, hatta bazı durumlarda yapay zekanın kendisi olarak görülür. Bu çok yanlış bir yaklaşımdır; Transformers adlı oldukça basit bir altyapı kullanan Geniş Dil Modelleri, yapay zeka türlerinden sadece biridir, ama bu durum anlaşılabilir; çünkü Geniş Dil Modelleri, insanımsı olarak tasarlandıkları için "eski" diyebileceğimiz yapay zekaların ve otomatik işlemlerin yerini çabucak alabilir, alma sürecindedir, ve bazı konumlarda almıştır. Geniş Dil Modelleri, insanımsıdır, ve anlaşılması ve bir işe katılması bir insan eğitmekten farklı değildir.

Bu yüzden, günümüzde yapılan Yapay Genel Zeka (AGI)'yı icat etme, -yani Tanrıyı dünyada yeniden yaratmak- çabaları yanlış buluyorum. Geniş Dil Modelleri hakkında, yada toplumun ağzı ile "Yapay Zeka" hakkında yazılmış bir akedemik yazıdan alıntı yapacak olursak; "Kullanıcılar, Yapay Zekâ'nın geleneksel bir arama motorundan çok farklı olduğunu, ChatGPT'nin ise bir sohbet robotundan daha fazlasını sunarak çeşitli işlevleri yerine getirebildiğini ve saatlerce insanlarla etkileşimde bulunabildiğini görmüşlerdir "¹ buna benzer bir bilinç alt yapısı görürüz; icadına şaşırılmış, ortaya aniden çıkmış bir tanrı gücünde model. İnsanımsı olan Geniş Dil Modelleri, Tanrı konumuna gelemezler, her insan gibi kusurludurlar. Bunu anlamak için öncelikle Geniş Dil Modellerinin tarihçesine bakalım.

"In this work we propose the Transformer, a model architecture eschewing recurrence and instead relying entirely on an attention mechanism to draw global dependencies between input and output."² ("Bu çalışmada, yinelemeyi ortadan kaldıran ve bunun yerine girdi ve çıktı arasındaki küresel bağımlılıkları kurmak için tamamen bir dikkat mekanizmasına dayanan bir model mimarisi olan Transformer'ı öneriyoruz.") 2017'de yazılmış "Attention is All You Need" adlı kağıt, özellikle RNN (Yinelemeli sinir ağı) ve LSTM (Uzun kısa süreli bellek) gibi verimli olmayan önceki denemeler ile karşılaştırıldığında tartışmasız olarak "Attention" (dikkat) mekanizması ve özelliğini etkili kullanımı ile modern Geniş Dil Modellerinin başlangıcı sayılabilir. İlk kesin bilgimizi buradan ediniriz; Bir insan doğduğunda çevresine dikkat eder ve öğrenir, Geniş Dil Modelleri de bu konuda çok farklı değildir.

Bu önemli kağıda bakarak Geniş Dil Modelleri hakkında ikinci kesin bilgiye ulaşabiliriz; Geniş Dil Modelleri, yine tıpkı bir bebek ve konuşmaya başlayan bir çocuk gibi "completion" (tamamlama) mekanızmasına göre çalışır. Girdi ve çıktı arasındaki ilişkiyi bulur, ve sıradaki token (sembol)'ü dikkatlice tahmin ederek belirlenmiş sona doğru kelimeler ve cümleler oluşturmaya devam eder. Ama bu girdi ve çıktılar her zaman mantıklı olmayabilir, örneğin GPT-2 modelini tanıtan "Language Models are Unsupervised Multitask Learners" adlı kağıt'ta aşağıdaki cümleler göze çarpar; "Investigating GPT-2's errors showed most predictions are valid continuations of the sentence, but are not valid final words. "³ ("GPT-2'nin hataları incelendiğinde, çoğu tahminin cümlenin geçerli devamı olduğu, ancak geçerli bir son kelime olmadığı görülmüştür." ) ve "While GPT-2's performance is exciting for a system without any supervised training, some inspection of its answers and errors suggests GPT-2 often uses simple retrieval based heuristics such as answer with a name from the document in response to a who question." ⁴ ("GPT-2'nin performansı, herhangi bir denetimli eğitim almayan bir sistem için heyecan verici olsa da, cevaplarının ve hatalarının incelenmesi GPT-2'nin genellikle 'kim' sorusuna yanıt olarak belgeden bir isim alarak basit bir geri çağırma tabanlı sezgi kullandığını göstermektedir." ). Bu cümlelerden de anlaşıldığı üzere Geniş Dil Modelleri, hallucination (halüsinasyon) dediğimiz durumdan etkilenir, bu etki bir çocuğun beyninde öğrendiği ve işlediği bilgiler gibidir, öğrendikçe, pekiştikçe, çeşitlilik kaliteli bir şekilde arttıkça artar, ve halüsinasyon (bilgi uydurma, halüsinasyon, modellerin yeterli bilgi olmadan "mantıklı" görünen ama yanlış olan sonuçlar ürettiği sürece verilen isimdir) azalır (ama yok olmaz).

Bu durum, GPT-3 ü tanıtan "Language Models are Few-Shot Learners" adlı kağıt ile pekiştirilmiştir; "Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning ("Özellikle, 175 milyar parametreli, önceki yoğun olmayan dil modellerinden 10 kat daha büyük olan, oto-regresif bir dil modeli olan GPT-3'ü eğitiyoruz ve modelin performansını az örnekle öğrenme (few-shot) senaryosunda test ediyoruz. Tüm görevler için GPT-3, herhangi bir gradyan güncellemesi veya ince ayar yapılmadan uygulanmaktadır." ) Kağıtta alınan alıntıda "ince ayar" kelimesi geçmektedir. İnce Ayar, teknik bir kelime gibi dursada aslında bir insanın kendi iradesi ile mantıklı cümleler kurması ve sentezlemesi, anlaması durumu ile direk karşılaştırılabilir. DialoGPT bunun ilk ve insanlığa açık (GPT-2 bazlı) örneklerinden biridir, ama günümüzde önemi olan modeller kapalı olan InstructGPT ve ChatGPT 3.5 tir.

İlk bahsettiğimiz ve eleştirdiğimiz kağıda geri dönelim; "Yapay Zekâ dil modeli ChatGPT'nin 3.5 versiyonunun 2023 yılında ücretsiz olarak kullanıma sunulması, bu kavramın hem ülkemizde hem de dünyada hızla gündeme oturmasını sağlamıştır "⁵ Bu bilgi hem yanlış hem yanıltıcıdır. Öncelikle GPT 3.5, 2022 yılının sonlarında son kullanıcı erişimine açılmıştır. Bundan önce NLP (Doğal Dil İşlemi) gibi alanlar da dahil olmak üzere HuggingFace Transformers (2017'de tanıtılan Transformers kütüphanesini hatırlayacak olursak) zaten gündemde olan -ama henüz teknoloji gerekli erişkinliğe ulaşmadığı için deneysel- bir teknoloji idi.

Geniş Dil Modelleri, 2020'li yıllardan itibaren ince ayar konusunda, tıpkı bir insanın okula başlaması gibi bir gelişim yaşamıştır, aşağıdaki alıntıları inceleyecek olursak; "To make our models safer, more helpful, and more aligned, we use an existing technique called reinforcement learning from human feedback (RLHF). On prompts submitted by our customers to the API,A our labelers provide demonstrations of the desired model behavior, and rank several outputs from our models. We then use this data to fine-tune GPT-3."⁶ (Modellerimizi daha güvenli, daha faydalı ve daha uyumlu hale getirmek için, insan geri bildiriminden elde edilen takviyeli öğrenme (RLHF) adlı mevcut bir tekniği kullanıyoruz. Müşterilerimiz tarafından API'ye gönderilen istemler üzerinde, etiketleyicilerimiz istenilen model davranışının gösterimlerini sağlar ve modellerimizin birkaç çıktısını sıralar. Daha sonra bu veriyi kullanarak GPT-3'ü ince ayar yaparız) "Supervised fine-tuning (SFT). We fine-tune GPT-3 on our labeler demonstrations using supervised learning. We trained for 16 epochs, using a cosine learning rate decay, and residual dropout of 0.2. [...] Despite overfitting after 1 epoch, additional training improves both RM scores and human preference ratings"⁷ (Denetimli ince ayar (SFT). GPT-3'ü, etiketleyici gösterimlerimiz üzerinde denetimli öğrenme ile ince ayar yaparız. 16 dönem boyunca, kosinüs öğrenme oranı azalışı ve 0,2 rezidüel dropout kullanarak eğittik. [...] Bir dönemden sonra aşırı öğrenme olmasına rağmen, daha fazla eğitimin hem RM puanını hem de insan tercih değerlendirmelerini iyileştirdiğini bulduk. ) InstructGPT'nın ince ayar durumunun "okula başlama" benzetmesi ile tam uyuşma gösterdiğini görürüz. InstructGPT'nin tek Geniş Dil Modeli olmadığını hatırlatmak gerekir, BLOOM gibi (Sınıf arkadaşı benzetmesi kullanabiliriz) başka Geniş Dil Modelleri aynı dönemde ortaya çıkmış ve Geniş Dil Modelleri üzerinde gelişmeler hız ve çeşitlilik kazanmaya başlamıştır. Bu çeşitlilikler günümüzde LlaMa ve Mistral ile bilinir.

Günümüzden bir blog gönderisinden alıntı yapacak olursak; "In our tests, the next model update performs similarly to PhD students on challenging benchmark tasks in physics, chemistry, and biology. We also found that it excels in math and coding. In a qualifying exam for the International Mathematics Olympiad (IMO), GPT-4o correctly solved only 13% of problems, while the reasoning model scored 83%. Their coding abilities were evaluated in contests and reached the 89th percentile in Codeforces competitions. You can read more about this in our technical research post."⁸ (OpenAI, yeni model güncellemelerinin fizik, kimya ve biyoloji gibi zorlu benchmark testlerinde doktora öğrencileriyle benzer performans gösterdiğini duyurdu. Özellikle matematik ve kodlama alanlarında başarılı olan bu model, Uluslararası Matematik Olimpiyatı'nın (IMO) elemelerinde önceki model GPT-4o'nun sadece %13'lük başarı oranına kıyasla %83 oranında doğru sonuçlar verdi. Kodlama yetenekleri ise Codeforces yarışmalarında %89'luk dilime ulaştı. ) "Geniş Dil Modelleri insanımsıdır" benzetmemizde Geniş Dil Modellerinin artık doktora öğrencisi olduğunu, ve bu karşılaştırmanın OpenAI tarafındanda yapıldığını görüyoruz.

Geniş Dil Modelleri, günümüzde İnce Ayar, Almayla Arttırılmış Üretim (RAG, Retrieval Augmented Generation), Düşünce Zinciri (Chain of Though) gibi tekniklerle insanımsı kökenleri ile insanımsı görevlerini kusurlu bir şekilde, ama büyük bir başarı ile, yerine getirmektedir, ama henüz Geniş Dil Model tabanlı veya Geniş Dil Modellerinden evrilmiş bir AGI model, yada tekil "YAPAY ZEKA" ortada yoktur; çünkü Geniş Dil Modelleri insanımsıdır. Tanrı değildir, buna bağlı olarak ise Geniş Dil Modelleri, yapay zeka anlamına gelmez; çünkü bir insan gibi kusurludur.