--- TWEET 1 --- ✨週末に読みたい！深層学習の原点論文✨ 今、大規模言語モデル(LLMs)が話題ですが、そのルーツを探る旅へ！ Transformer登場以前の課題とブレークスルーを解説します！ #LLM #NLP #深層学習 --- TWEET 2 --- Transformer以前の機械翻訳は、RNNなどの系列モデルが主流でした。しかし、長距離の依存関係を捉えにくく、並列処理も難しかったのです。翻訳精度向上には、これらの課題克服が必須でした。 #LLM #NLP #機械翻訳 --- TWEET 3 --- "Attention is All You Need" (Vaswani et al., 2017) はAttention機構のみを用い、RNNを使わない画期的なモデルTransformerを提案！並列処理と長距離依存関係の学習を両立し、翻訳精度を劇的に向上させました。 #LLM #NLP #Transformer --- TWEET 4 --- Transformerの登場は、BERT, GPTなどLLM発展の礎となり、今週話題のLLM隆盛に繋がっています。まさにAI史の金字塔！この分野の最新動向はSummarXivでチェック！ #LLM #NLP #深層学習