Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models
Yinjie Wang, Ling Yang, Bowen Li, Ye Tian, Ke Shen, Mengdi Wang
選定理由
LLMと強化学習を組み合わせたTraDoは、複雑な数学推論タスクにおいて既存手法を凌駕する性能を達成しており、LLM研究の進展に貢献する
かんたん要約 (SNS向け)
AIが数学やプログラミング問題を解く能力を飛躍的に向上させる新技術「TraceRL」が登場！従来モデルより小型ながら、驚異的な精度で複雑な問題を解き、最先端の成果を達成。誰でも使えるオープンソースも公開中！
詳細要約
本論文は、拡散言語モデル(DLM)の推論過程を考慮した強化学習フレームワークTraceRLを提案する。既存のDLMは、生成されたトークン列（推論軌跡）全体を考慮せずに学習するため、複雑な推論タスクへの適用に課題があった。TraceRLは、この推論軌跡を事後学習に組み込むことで、モデルの推論能力向上を目指す。
手法として、拡散過程に基づく価値関数モデルを用いた強化学習を採用することで、学習の安定性を向上させている。この価値関数モデルは、各推論ステップにおける行動（トークン生成）の良し悪しを評価し、報酬として強化学習エージェントにフィードバックする。本手法はアーキテクチャ非依存であり、様々なDLMに適用可能である点が特徴である。
結果として、TraceRLを用いて一連の最先端DLMであるTraDoモデル群を開発した。TraDoは7B規模の自己回帰(AR)モデルよりパラメータ数が少ないにも関わらず、複雑な数学的推論タスクにおいて高い性能を示す。具体的には、TraDo-4B-Instructは既存の7B規模のARモデルを上回り、TraDo-8B-Instructは数学的推論ベンチマークにおいて、Qwen2.5-7B-Instructを6.1%、Llama3.1-8B-Instructを51.3%上回る相対精度向上を達成した。さらに、カリキュラム学習を用いることで、長鎖思考(long-CoT)に対応したDLMを初めて実現し、MATH500ベンチマークにおいてQwen2.5-7B-Instructを18.1%上回る相対精度向上を実現した。
本研究では、様々なアーキテクチャに対応したDLMの構築、学習、展開のための包括的なオープンソースフレームワークも公開している。これは、高速化されたKVキャッシュ技術と推論エンジンを統合し、数学、コーディング、一般タスクのための様々な教師あり微調整と強化学習手法を実装している。
From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers
Praneet Suresh, Jack Stanley, Sonia Joseph, Luca Scimeca, Danilo Bzdok
選定理由
Transformerモデルの幻覚発生メカニズムを、入力の不確実性と中間層の概念表現に着目し、体系的に解析している点が重要
かんたん要約 (SNS向け)
AIの「幻覚」問題、ついに解明！高度なAIモデルが間違った情報を生成する仕組みを、実験で解明しました。入力情報の曖昧さが増すと、AIは独自の解釈を生み出し「幻覚」を起こすことが判明。この発見は、AIの信頼性向上と安全な利用に繋がる画期的な成果です！
詳細要約
本論文は、大規模言語モデル等の事前学習済みTransformerモデルにおける「幻覚」現象（hallucination：事実と異なる情報の生成）のメカニズム解明を目的とする。背景として、生成AIの社会実装拡大に伴い、その信頼性確保、特に幻覚問題への対処が喫緊の課題となっている点を指摘している。
手法としては、スパースオートエンコーダーを用いてTransformerモデルの内部表現（概念表現）を抽出し、入力データの不確実性を実験的に制御することで、幻覚発生の条件を系統的に調査した。具体的には、入力データの構造化度合いとモデルが活性化する概念数の関係、入力の不確実性と幻覚発生確率の関係を分析した。さらに、純粋なノイズを入力した場合のモデルの活性化パターンを調べ、その機能的整合性を検証した。最終的に、Transformer各層の活性化パターンから出力における幻覚を予測できることを示した。
結果として、入力情報の構造化度が低い（不確実性が高い）ほど、Transformerモデルは多くの概念を活性化し、入力に依存しない一貫性のある意味的特徴（＝幻覚）を生成することが示された。純粋ノイズ入力に対しても、特定の概念が頑健に活性化され、その概念を意図的に操作することで出力に影響を与えられることを確認した。さらに、中間層の活性化パターンから出力の幻覚を高い精度で予測できることを実証した。これらの知見は、AIのアラインメント、安全性の向上、敵対的攻撃への脆弱性解明、そしてモデルの幻覚リスクの定量的評価に繋がる重要な示唆を提供する。
LLaDA-VLA: Vision Language Diffusion Action Models
Yuqing Wen, Hebei Li, Kefan Gu, Yucheng Zhao, Tiancai Wang, Xiaoyan Sun
選定理由
拡散モデルをロボット操作に応用したLLaDA-VLAは、実世界のロボットタスクにおいてSOTAを達成しており、実用性が高い
かんたん要約 (SNS向け)
ロボットが指示を理解して作業する未来、間近です！最新のAI技術「拡散モデル」を使い、画像と文章からロボットの動作を学習させる画期的なシステム「LLaDA-VLA」を開発。シミュレーションと現実世界で、従来技術を大きく上回る性能を実現しました！
詳細要約
本論文は、事前学習済み拡散型視覚言語モデル（d-VLM）を基盤とした、ロボット操作のための初のVision-Language-Diffusion-Action (VLA) モデルであるLLaDA-VLAを提案する。近年、自己回帰型視覚言語モデル(VLM)を用いたロボット操作研究が進展しているが、テキスト生成や多様なモダリティタスクにおいて自己回帰型モデルと同等以上の性能を示す拡散モデルに基づくVLMのロボット制御への応用は未開拓であった。
LLaDA-VLAは、d-VLMをロボット操作に適用するための二つの重要な設計を採用することで、この課題に取り組んでいる。第一に、全単語分類ではなく、特定のアクショントークンのみを分類する局所的特殊トークン分類戦略により、d-VLMのロボットドメインへの適応を容易化している。従来の全単語分類では、膨大な単語空間を扱う必要があり、ロボット操作に必要なアクション空間への適応が困難であったが、この戦略によりその問題を解決している。第二に、アクション間の依存関係を考慮した階層的アクション構造化復号戦略により、アクションシーケンスを効率的に生成する。これは、単一のアクション単位での復号ではなく、複数の行動を階層的に計画することで、より複雑な操作を実現可能とする。
シミュレーションと実ロボット実験の結果、LLaDA-VLAは既存の最先端VLAモデルを有意に上回る性能を示した。これは、拡散モデルに基づくVLMがロボット制御において高い有効性を有することを示唆し、今後のロボット操作技術の発展に貢献する重要な成果である。