LLMのロングコンテキスト処理は、推論コストとの戦いである。128Kトークンを超えるドキュメントをフルアテンションで処理すれば、計算量は二次関数的に爆発する。Mamba 2やGated DeltaNetのようなRNN系アーキテクチャは効率性を実現したが、32Kトークンを超えると性能が頭打ちになるという根本的な限界を抱えていた。

2025年12月、Stanford大学・NVIDIA・UC Berkeley・UC San Diegoの共同チームが発表したTTT-E2E（Test-Time Training, End-to-End）は、この二律背反を根本から覆す手法である。推論時にモデルの重みそのものを動的に更新し、コンテキストを「記憶」として圧縮する。128Kコンテキストでフルアテンション比2.7倍高速、2Mコンテキストで35倍高速を達成しながら、フルアテンションと同等の性能スケーリングを維持する。本稿では、この手法の技術的メカニズム、ベンチマーク結果、そしてエンタープライズにとっての意味を解析する。

TTT-E2Eの基本原理 ── ロングコンテキストを「継続学習」として再定義する

従来のLLMは、ロングコンテキスト処理をアーキテクチャ設計の問題として扱ってきた。フルアテンション（全トークン間の注意計算）は正確だが計算量がO(n²)で増大する。線形アテンションやRNN系手法は効率的だが、長い文脈の情報を保持できない。TTT-E2Eはこの問題を根本的に再定義し、ロングコンテキスト処理を「継続学習（continual learning）」の問題として捉える。

具体的には、標準的なTransformerアーキテクチャにスライディングウィンドウアテンション（SWA）を採用し、固定長の直近トークンのみを注意計算の対象とする。これにより、1トークンあたりの推論コストはコンテキスト長に依存せず一定となる。ここまでは既存の効率的手法と同じだが、TTT-E2Eの革新はその先にある。

スライディングウィンドウが進むにつれて、ウィンドウから外れた過去の情報は、モデルのMLP（Multi-Layer Perceptron）層の重みに「圧縮」される。これは推論時に次トークン予測を通じたミニバッチ学習として実行される。つまり、モデルは入力ドキュメントを読み進めながら、そのドキュメントの内容を自身の重みに書き込んでいくのである。

デュアルメモリ・アーキテクチャ ── 静的MLPと動的MLPの分離

TTT-E2Eの重要な設計上の工夫は、モデル全体の重みを更新するのではなく、最終25%のブロックに含まれるMLP層のみを動的更新の対象とする点にある。各更新対象ブロックには、2つのMLPが並列に配置される。

静的MLPは、大規模事前学習で獲得した汎用知識を保持する。重みは推論時に一切変更されない。動的MLPは、現在処理中のドキュメント固有の情報をリアルタイムで書き込むための領域である。この分離により、TTT-E2Eは「壊滅的忘却（catastrophic forgetting）」を回避する。汎用的な言語理解能力を維持しながら、ドキュメント固有の文脈情報を動的に獲得できるのである。

この設計は、人間の記憶システムとの類似性を持つ。スライディングウィンドウアテンションが「ワーキングメモリ」（直近の情報への高速アクセス）として機能し、動的MLPへの重み更新が「長期記憶」（過去の情報の圧縮保存）として機能する。

メタ学習による学習の最適化 ── 学習の仕方を学習する

TTT-E2Eは推論時だけでなく、訓練時にもEnd-to-Endのアプローチを取る。訓練は2段階で構成される。第1段階では8,000トークンのコンテキストで事前学習を行い、第2段階で128,000トークンのコンテキストでファインチューニングを実施する。

訓練時にはメタ学習ループが使用される。内部ループでは、次トークン予測に基づく小規模な一時的重み更新をシミュレーションする。外部ループでは、その更新結果を評価し、モデルの初期パラメータを「次のストリーミング実行でより速く・正確に適応できるように」調整する。つまり、TTT-E2Eは「推論時にどう学習すべきか」を訓練時に学習するのである。

ただし、このメタ学習にはコストが伴う。現在の実装では、8Kトークンの短いコンテキストにおいて標準的な事前学習の約3.4倍の計算コストがかかる。これはFlashAttentionが「勾配の勾配（gradients of gradients）」をサポートしていないことに起因する。研究チームは、カスタムカーネルやハイブリッド初期化によりこのオーバーヘッドを削減できると指摘している。一方、128Kトークンのコンテキストでは、フルアテンションの二次的コスト増大により、TTT-E2Eの方が逆に1.2倍高速となる。

ベンチマーク結果 ── 32Kの壁を突破した初の効率的手法

研究チームは125Mから3Bパラメータのモデルで実験を実施した。164Bトークンで訓練された3Bモデルにおいて、TTT-E2Eはコンテキスト長に対する損失のスケーリングがフルアテンションTransformerと同等であることを示した。これは効率的手法として初めての成果である。

Mamba 2やGated DeltaNetは32Kトークンまでは良好な性能を示すが、それ以降は性能が頭打ちとなる。一方、TTT-E2Eは128Kトークン以上でも性能が継続的に向上し、フルアテンションと同様のカーブを描く。推論レイテンシはコンテキスト長に関わらず一定であり、NVIDIA H100上で128Kコンテキストにおいてフルアテンション比2.7倍、2Mコンテキストにおいて35倍の高速化を達成した。

ただし、TTT-E2Eには明確な弱点も存在する。「Needle in a Haystack」のような、大量のテキスト中から特定の詳細情報を正確に検索するタスクでは、フルアテンションTransformerが圧倒的に優位である。TTT-E2Eの圧縮メモリは、ドキュメント全体の要旨や構造的理解には優れるが、ランダムな詳細の正確な再現には向かない。

エンタープライズへの示唆 ── 長文処理のコスト構造が変わる

TTT-E2Eがもたらすインパクトは、学術的な性能向上にとどまらない。現在、エンタープライズにおけるLLMの長文処理は、コストと性能のトレードオフに直面している。法務文書レビュー、財務報告分析、技術マニュアルの要約など、数十万トークンに及ぶドキュメントの処理は、フルアテンションでは推論コストが膨大になり、RAG（検索拡張生成）ではコンテキストの分断による情報損失が生じる。

TTT-E2Eのアプローチは、この構造的課題に対する第三の選択肢を提示する。ドキュメント全体をモデルの重みに圧縮することで、コンテキスト長に依存しない一定のレイテンシで処理が可能になる。特に、複数の長文ドキュメントを横断的に分析するユースケースでは、フルアテンションの二次的コスト増大を完全に回避できる点で革命的である。

ただし、実用化には課題が残る。メタ学習の訓練コスト（3.4倍のオーバーヘッド）は、大規模モデルの事前学習においては無視できない。また、Needle in a Haystackタスクでの弱点は、正確な情報検索が必要なユースケース（例：契約書の特定条項の検索）では、フルアテンションやRAGとの併用が不可欠であることを示唆している。TTT-E2Eは万能薬ではなく、要約・分析・推論といった「理解」重視のタスクに最も適した手法である。

FAQ

TTT-E2Eとは何か？従来のLLMと何が違うのか？

TTT-E2E（Test-Time Training, End-to-End）は、推論時にモデルの重みを動的に更新してコンテキストを圧縮する手法である。従来のLLMがコンテキストをキャッシュとして保持するのに対し、TTT-E2Eはドキュメントの内容をモデルの重みそのものに書き込む。これにより、コンテキスト長に依存しない一定の推論レイテンシを実現する。

TTT-E2EはRAGの代替となるのか？

完全な代替ではない。TTT-E2Eはドキュメント全体の要旨や構造的理解に優れるが、特定の詳細情報の正確な検索（Needle in a Haystack）ではフルアテンションに劣る。要約・分析タスクではTTT-E2Eが有利であり、正確な情報検索が必要な場面ではRAGやフルアテンションとの併用が推奨される。

TTT-E2Eの推論速度はどの程度か？

NVIDIA H100上で、128Kコンテキストにおいてフルアテンション比2.7倍高速、2Mコンテキストにおいて35倍高速を達成する。推論レイテンシはコンテキスト長に関わらず一定であり、コンテキストが長くなるほどフルアテンションとの速度差は拡大する。

TTT-E2Eの弱点は何か？

主な弱点は2つある。第一に、メタ学習の訓練コストが標準の約3.4倍と高い。第二に、Needle in a Haystackのような正確な詳細検索タスクではフルアテンションに劣る。圧縮メモリの特性上、ランダムな詳細情報よりもドキュメント全体の理解・要約に適している。

参考文献