--- TWEET 1 --- ✨週末に読みたい！LLMの原点論文✨近年のLLMブーム、その基礎はどこにある？今週は歴史を遡り、重要な論文を紐解いてみよう！ --- TWEET 2 --- 初期の言語モデルは、限られた文脈しか扱えず、長い文章の生成や複雑な推論は困難でした。根本的な課題は、長期的な依存関係のモデル化でした。 --- TWEET 3 --- "Attention is All You Need" (Vaswani et al., 2017) は、Attention機構のみを用いたTransformerを提案。RNNを使わず長期依存関係を捉え、並列処理を可能にした画期的な手法です。 --- TWEET 4 --- Transformerの並列処理と長期記憶能力は、その後のBERTやGPTといった大規模言語モデルに受け継がれ、現在のLLM隆盛に繋がっています。この分野の最新動向はSummarXivでチェック！