Dr.LLM: Dynamic Layer Routing in LLMs
Ahmed Heakl, Martin Gubri, Salman Khan, Sangdoo Yun, Seong Joon Oh
Reason for Selection
LLMの計算コストを動的レイヤー選択で削減する新手法。推論効率化への貢献に期待。
Simple Summary (for Social Media)
AIが質問に答える際、簡単な質問はサッと、難しい質問はじっくり考えるように、処理の深さを自動で変える新技術「Dr.LLM」を開発。AIの効率を上げ、より賢く動けるようになります。
Detailed Summary
大規模言語モデル（LLM）は、すべてのトークンをトランスフォーマースタックの全層で処理するため、単純なクエリでは計算資源の浪費が発生し、より複雑な推論を要するクエリでは柔軟性が不足するという課題があります。先行研究の適応深度手法は、推論時の高コストな探索、アーキテクチャの変更、または大規模な再学習を必要とし、多くの場合、効率改善と引き換えに精度が低下していました。本研究では、Dr.LLM（Dynamic routing of Layers for LLMs）を提案します。これは、既存のLLMに後付け可能な動的層ルーティング手法であり、クエリの複雑性に応じて必要な層のみを活性化させることで、計算効率を向上させつつ、高い精度を維持することを目指します。これにより、LLMの推論コストを大幅に削減し、より幅広いタスクへの適用性を高めることが期待されます。
DriveVLA-W0: World Models Amplify Data Scaling Law in Autonomous Driving
Yingyan Li, Shuyao Shang, Weisong Liu, Bing Zhan, Haochen Wang, Yuqi Wang, Yuntao Chen, Xiaoman Wang, Yasong An, Chufeng Tang, Lu Hou, Lue Fan, Zhaoxiang Zhang
Reason for Selection
ワールドモデルを活用し自動運転モデルの学習を効率化。データスケーリング則を改善する。
Simple Summary (for Social Media)
自動運転AIは、未来の画像を予測する「ワールドモデル」を取り入れることで、少ないデータでもっと賢く学習できるようになります。AIの学習効率を高め、より安全な運転を実現する新技術です。
Detailed Summary
大規模データを用いたVision-Language-Action (VLA) モデルのスケーリングは、より汎用的な自律運転知能の実現に向けた有望なアプローチですが、現状では「教師信号不足」という課題に直面しています。これは、VLAモデルの広大なモデル容量が、疎で低次元な行動データによってしか教師されていないため、表現能力の多くが十分に活用されていないことを意味します。この課題を解決するため、本研究ではDriveVLA-W0を提案します。DriveVLA-W0は、未来の画像を予測するワールドモデリングを導入する訓練パラダイムであり、これにより密で自己教師ありの信号を生成します。この手法は、VLAモデルのデータスケーリング則を増幅させ、限られた行動アノテーションからモデルの潜在能力を最大限に引き出すことを可能にします。結果として、より効率的でロバストな自律運転モデルの構築に貢献します。
Ax-Prover: A Deep Reasoning Agentic Framework for Theorem Proving in Mathematics and Quantum Physics
Marco Del Tredici, Jacob McCarran, Benjamin Breen, Javier Aspuru Mijares, Weichen Winston Yin, Jacob M. Taylor, Frank Koppens, Dirk Englund
Reason for Selection
LLMを用いたマルチエージェントによる自動定理証明。科学的探究の自動化への貢献に期待。
Simple Summary (for Social Media)
数学や物理学の難しい定理をAIが自動で証明するシステム「Ax-Prover」が登場しました。AIが知識を使い、論理的に考えることで、人間と一緒に複雑な問題を解き明かすことができます。
Detailed Summary
本研究では、Lean環境で定理証明を行うためのマルチエージェントシステム「Ax-Prover」を提案します。Ax-Proverは、数学や量子物理学といった多様な科学ドメインの問題を解決し、自律的に、または人間専門家と協調して動作することが可能です。科学的問題解決を形式証明生成という観点から捉えることで、創造的な推論と厳密な構文的正確性の両立が求められます。Ax-Proverは、この課題に対し、大規模言語モデル（LLM）を知識と推論能力の源として活用し、同時に、形式証明言語が要求する厳密な規律を遵守することで対応します。このエージェントフレームワークは、LLMの持つ豊富な知識と推論能力を、論理的推論と厳密な形式的検証が不可欠な科学分野の課題解決に効果的に適用し、自動定理証明の新たな地平を切り開きます。