大規模言語「モデル」者「人工知能」乎不意味

「OpenAI」我開発為而、大規模言語「モデル」乎利用者之間於流行使矣「ChatGPT」之「モデル」者、多之利用者於「人工知能」登言言葉之下於単純化被、時々人工知能其自身登茂見被。此者甚誤之接近也。「トランスフォーマー」登言比較的単純之基盤乎使大規模言語「モデル」者、唯人工知能之一種也。然、此誤解者理解可能也。人間猶設計被矣大規模言語「モデル」者、「旧」登言得人工知能與自動的処理之代乎速取得而、取過程於有而、若干之場合於既取矣故也。大規模言語「モデル」者人間猶也。其等乎理解為事與仕事之過程於統合為事者、人間乎教育為事與不違也。

故於、今日之汎用人工知能（AGI）乎発明為試——即世界於神乎再創造為試——乎、吾者誤登思。大規模言語「モデル」、或者世間之言葉於「人工知能」就、一之学術論文我言：「利用者等者、人工知能我伝統的検索『エンジン』與大違事、與『ChatGPT』我会話『ロボット』以上之物乎提供為而、多様之機能乎遂行為而、数時間人々與交流為事乎見矣」¹。此処於似之意識之基盤乎見：発明於驚被而、突然現矣、神之力之「モデル」。人間猶之大規模言語「モデル」者、神之地位於不能到達。毎人間如、欠点我有也。此乎理解為之為於、先大規模言語「モデル」之歴史的発展乎見不可不。

「In this work we propose the Transformer, a model architecture eschewing recurrence and instead relying entirely on an attention mechanism to draw global dependencies between input and output.」²（此研究於吾等者、再帰乎捨而、入力與出力之間之大域的依存関係乎導之為於、全注意機構於依「モデル」構造、「トランスフォーマー」乎提案。） 2017年於発表被矣「Attention is All You Need」登言論文者、特於「RNN」（再帰型神経網）與「LSTM」（長短期記憶）如非効率之前之試與比較為時、「注意」機構與特徴之疑無効果的利用於因而、現代大規模言語「モデル」之起源登能言也。吾等之第一之確実之理解者此処於現：人間我生時、周囲於注意為而学。大規模言語「モデル」茂、此点於大不違也。

此重要之論文乎見而、大規模言語「モデル」就之第二之確実之理解於能到達：大規模言語「モデル」者、丁度乳児與話始子供如、「補完」機構於従而動。入力與出力之間之関係乎発見為而、次之「トークン」（記号）乎注意深予測為而、決被矣結末於向而言葉與文乎生成為事乎続。然、此等之入力與出力者常於論理的非也。例、「GPT-2」乎紹介矣「Language Models are Unsupervised Multitask Learners」登言論文於、次之注目之文我有： 「Investigating GPT-2's errors showed most predictions are valid continuations of the sentence, but are not valid final words.」³（「GPT-2」之誤之調査者、大半之予測我文之有効之継続也然、有効之最終之言葉非事乎示矣。） 與 「While GPT-2's performance is exciting for a system without any supervised training, some inspection of its answers and errors suggests GPT-2 often uses simple retrieval based heuristics such as answer with a name from the document in response to a who question.」⁴（「GPT-2」之性能者、監督訓練無之体系之為於興奮的也然、其回答與誤之検査者、「GPT-2」我屡「誰」之質問於対而文書自之名前於答如、単純之検索的発見法乎使事乎示唆。） 此等之文我示如、大規模言語「モデル」者、幻覚登言現象於影響被。此効果者、子供之脳我学而処理為情報猶也——学習我起愈、強化我起愈、多様性我質的於増愈、幻覚（情報之捏造、即「モデル」我十分之情報無於「論理的」於見得然誤之結果乎生産為過程）者減（然、完全於不消滅）。

此現象者、「GPT-3」乎紹介矣「Language Models are Few-Shot Learners」登言論文於強化被矣： 「Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning.」（具体的於吾等者、前之非疎言語「モデル」之十倍、千七百五十億之「パラメータ」乎持自己回帰言語「モデル」、「GPT-3」乎訓練為而、少数例之設定於其性能乎試験為。全之課題之為於、「GPT-3」者勾配更新與微調整無於適用被。） 引用矣文於「微調整」登言言葉我有。微調整者、技術的言葉如聞得然、実者、人間我自之意志於論理的文乎構築為而統合為能力、與意味乎理解為能力與、直接於比較可能也。「DialoGPT」者此之最初之公開之例之一也（「GPT-2」基盤）然、今日重要之「モデル」者、非公開之「InstructGPT」與「ChatGPT 3.5」也。

最初於言及為而批判矣論文於帰将： 「『ChatGPT』之3.5版我2023年於無料之『サービス』登為而公開被事者、此概念我我国於茂世界於茂速話題於成事乎可能使矣」⁵ 此情報者誤也而、誤導的也。第一於、「GPT 3.5」者2022年之末於利用者於公開被矣。此之前於、「NLP」（自然言語処理）如分野茂、「HuggingFace Transformers」（2017年於紹介被矣「トランスフォーマー」之構造乎思出而）茂、既確立被矣技術也矣——然、技術我必要之成熟於未到達故、実験的也矣。

大規模言語「モデル」者、2020年代自、丁度人間我学校於入如、微調整於発展乎経験矣。次之引用乎検討為時： 「To make our models safer, more helpful, and more aligned, we use an existing technique called reinforcement learning from human feedback (RLHF). On prompts submitted by our customers to the API, our labelers provide demonstrations of the desired model behavior, and rank several outputs from our models. We then use this data to fine-tune GPT-3.」⁶（吾等之「モデル」乎更安全、更有用、更整合為之為於、人間之「フィードバック」自之強化学習（RLHF）登言既存之技術乎使。顧客我「API」於送信矣指示於、吾等之評価者我望之「モデル」之行動之実演乎提供為而、「モデル」之若干之出力乎順位付為。其後、此「データ」乎使而「GPT-3」乎微調整為。） 「Supervised fine-tuning (SFT). We fine-tune GPT-3 on our labeler demonstrations using supervised learning. We trained for 16 epochs, using a cosine learning rate decay, and residual dropout of 0.2. [...] Despite overfitting after 1 epoch, additional training improves both RM scores and human preference ratings.」⁷（監督微調整（SFT）。吾等者評価者之実演於「GPT-3」乎監督学習於微調整為。十六「エポック」之間、余弦学習率減衰與0.2之残余「ドロップアウト」乎使而訓練矣。[...]一「エポック」後之過学習於不拘、追加之訓練者「RM」得点與人間之選好評価之両方乎改善為。） 「InstructGPT」之微調整之状況我「入学」之比喩與完全於一致為事乎見。「InstructGPT」我唯一之大規模言語「モデル」非事乎言不可不。「BLOOM」如（級友之比喩乎能使）他之大規模言語「モデル」茂同時期於現而、大規模言語「モデル」之発展者速度與多様性乎得始矣。此等之多様化者、今日「LlaMa」與「Mistral」於知被。

今日之一之「ブログ」投稿自引用為時： 「In our tests, the next model update performs similarly to PhD students on challenging benchmark tasks in physics, chemistry, and biology. We also found that it excels in math and coding. In a qualifying exam for the International Mathematics Olympiad (IMO), GPT-4o correctly solved only 13% of problems, while the reasoning model scored 83%. Their coding abilities were evaluated in contests and reached the 89th percentile in Codeforces competitions.」⁸（吾等之試験於、次之「モデル」更新者、物理学、化学、生物学之難之基準課題於、博士課程之学生與同様之成績乎示。数学與符号化於茂優事乎発見矣。国際数学「オリンピック」（IMO）之予選試験於、「GPT-4o」者唯13%之問題乎正解矣然、推論「モデル」者83%乎得点矣。符号化能力者競技於評価被而、「Codeforces」競技於89百分位於到達矣。） 「大規模言語『モデル』者人間猶也」登言吾等之比喩於、大規模言語「モデル」我今、博士課程之学生之水準於到達矣事、與此比較我「OpenAI」自身於茂為被事乎見。

大規模言語「モデル」者、今日、微調整、検索拡張生成（RAG）、思考之連鎖如技術於、人間猶之起源與共、人間猶之課題乎、欠点有様於、然大之成功與共、遂行為。然、大規模言語「モデル」基盤之、或大規模言語「モデル」自進化矣「AGI」之「モデル」茂、単一之「人工知能」茂、未無也；大規模言語「モデル」者人間猶故也。神非也。故於、大規模言語「モデル」者人工知能乎不意味；人間如欠点我有故也。