The Landscape of Agentic Reinforcement Learning for LLMs: A Survey
Guibin Zhang, Hejia Geng, Xiaohang Yu, Zhenfei Yin, Zaibin Zhang, Zelin Tan, Heng Zhou, Zhongzhi Li, Xiangyuan Xue, Yijiang Li, Yifan Zhou, Yang Chen, Chen Zhang, Yutao Fan, Zihu Wang, Songtao Huang, Yue Liao, Hongru Wang, Mengyue Yang, Heng Ji, Michael Littman, Jun Wang, Shuicheng Yan, Philip Torr, Lei Bai
Reason for Selection
LLMと強化学習を組み合わせたエージェント研究の包括的なサーベイ。
Simple Summary (for Social Media)
AIが自ら考え、行動する時代へ！従来のAIを超え、複雑な状況でも賢く行動できる「主体性のあるAI」が注目されています。この論文は、その技術と可能性を分かりやすく解説。未来のAI開発を加速させる羅針盤となるでしょう。
Detailed Summary
本論文は、大規模言語モデル（LLM）における強化学習（RL）の新たなパラダイムシフトである「Agentic RL」を概観する。従来のLLM RLはLLMを受動的な系列生成器として扱うのに対し、Agentic RLはLLMを複雑で動的な環境に埋め込まれた自律的な意思決定エージェントとして捉える。本論文では、LLM RLにおける縮退した単一ステップマルコフ決定過程（MDP）と、Agentic RLを定義する時間的に拡張された部分観測マルコフ決定過程（POMDP）を対比することで、この概念的転換を形式化する。
その上で、Agentic RLの能力を体系化する二つの分類法を提案する。一つは、計画、ツール利用、記憶、推論、自己改善、知覚といったコアとなるエージェント能力に基づく分類であり、もう一つは、様々なタスクドメインへの応用に基づく分類である。本論文の中心となる主張は、強化学習がこれらの能力を静的なヒューリスティックなモジュールから適応的で堅牢なエージェント行動へと変容させるための重要なメカニズムであるという点である。
更なる研究を促進するため、オープンソースの環境、ベンチマーク、フレームワークを網羅した実用的なコンペンディウムも提供する。500以上の最近の研究成果を統合することで、急速に発展するこの分野の輪郭を描き、スケーラブルで汎用的なAIエージェントの開発を形作る機会と課題を浮き彫りにしている。本論文は、Agentic RLの基礎概念から応用事例、そして研究開発を促進するためのリソースまでを包括的に網羅しており、今後の研究の発展に大きく貢献するだろう。
Jointly Reinforcing Diversity and Quality in Language Model Generations
Tianjian Li, Yiming Zhang, Ping Yu, Swarnadeep Saha, Daniel Khashabi, Jason Weston, Jack Lanchantin, Tianlu Wang
Reason for Selection
LLM生成における多様性と質の両立を強化学習で実現。
Simple Summary (for Social Media)
AIは正確さを優先し、アイデアの多様性に欠ける？ 新手法DARLINGは、質と多様性を両立！物語創作や問題解決など、創造性を求めるタスクで、より質の高い斬新な回答を生み出します。実験でその効果を実証済み！
Detailed Summary
本論文は、大規模言語モデル（LLM）のPost-trainingにおける多様性と品質のトレードオフ問題に取り組む。従来のPost-training手法は精度と有用性を優先するため、出力分布が狭まり、発想の多様性が損なわれ、ブレインストーミングやストーリーテリングといった創造的なタスクへの応用が制限されるという課題があった。
そこで本研究では、多様性を意識した強化学習フレームワークであるDARLINGを提案する。DARLINGは、応答の品質と意味的な多様性を同時に最適化する。従来の手法とは異なり、表面的な語彙変動を超えた多様性を測る学習済み分配関数を導入することで、真の意味での多様性を評価する。この多様性シグナルと品質報酬をオンライン強化学習で統合することで、高品質かつ多様な出力を生成するモデルを育成する。
様々なモデルファミリーとサイズを用いた実験の結果、DARLINGは検証不可能なタスク（指示に従うタスク、創作執筆）と検証可能なタスク（数学コンテスト問題）の両方で有効であることが示された。検証不可能なタスクに関する5つのベンチマークにおいて、DARLINGは品質のみを最適化する強化学習ベースラインを上回り、高品質かつ新規性の高い出力を生成した。検証可能なタスクでは、pass@1（解の品質）とpass@k（解の多様性）の両方が向上した。特筆すべきは、多様性を明示的に最適化することで、オンライン強化学習における探索が促進され、結果としてより高品質な応答が得られた点である。この成果は、LLMの創造性と問題解決能力の向上に大きく貢献する。
MoPEQ: Mixture of Mixed Precision Quantized Experts
Krishna Teja Chitty-Venkata, Jie Ye, Murali Emani
Reason for Selection
LLM/VLMのメモリ課題に対し、混合精度量子化を用いた効率化手法を提案。
Simple Summary (for Social Media)
巨大言語・画像モデルのメモリ消費を劇的に削減！独自技術で精度を落とさず、小型化に成功。専門家ごとに最適な精度を割り当てることで、従来より少ないメモリで高性能を維持。画像認識など幅広い応用で、高速・省メモリ化を実現します！
Detailed Summary
本論文は、Mixture-of-Experts (MoE) アーキテクチャを採用した大規模言語・ビジョンモデル (LLM/VLM) の高コストな展開問題に対し、ポストトレーニング量子化手法MoPEQを提案している。MoEモデルは膨大なパラメータを持つため、メモリ消費と計算コストが課題となるが、本手法は各専門家（expert）に最適なビット幅を割り当てることで、この問題に対処する。
従来の混合精度量子化は、層の活性化頻度に基づいて精度を決定することが多かったが、MoPEQは各専門家の感度をヘッセ行列のトレース近似を用いて分析する。これは、活性化頻度だけでは捉えきれない、専門家の重要度をより正確に評価することを可能にする。更に、感度の類似性に基づいて専門家をクラスタリングすることで、モデル性能を維持しつつメモリ削減効果を高める。
Deepseek-VL2 (tiny, small, base) と MolmoE を含む最新のVLMをVLMEvalKitベンチマークデータセットで評価した結果、MoPEQは、一様な精度を用いたベースライン手法と比較して、メモリフットプリントを大幅に削減しつつ、競争力のある精度を達成した。具体的には、2, 3, 4ビットの専門家ごとの精度割り当てにおいて、層ごと、モデル全体での専門家活性化頻度とヘッセ行列トレース近似による感度の影響を包括的に分析し、VLM-MoEの混合精度量子化に関する深い理解を提供している。ヘッセ行列を用いることで、活性化頻度だけでは捉えられない専門家の重要度を反映し、より効率的な量子化を実現している点が本手法の大きな特徴と言える。