マックス・リャビニン
Max Ryabinin
Together AI VP of R&D / 長コンテキスト学習・分散学習システム
略歴
- — Together AI で長コンテキスト学習・分散学習システムを担当 (VP of R&D)
- 2026-02 「Untied Ulysses」 を arXiv 公開 (2602.21196)
- 2026-06 AI Engineer 2026 で 「Road to 5 Million Tokens」 を発表
補足
Together AI の VP of R&D (個人サイトでは Distinguished Research Scientist と表記)。 長コンテキスト学習、 post-training / fine-tuning、 分散学習システムを担当する。 Together AI は GPU クラスタ・ファインチューニング・200 以上のモデルを抱える推論基盤を提供する AI ネイティブクラウド。
主要主張 (AI Engineer 2026 「Road to 5 Million Tokens」): 標準 transformer を 500 万トークンのコンテキスト長まで 1 ノード (8×H100) で訓練するには、 FSDP・DeepSpeed Ulysses・活性チェックポインティング・CPU オフロード・要素ごと計算のタイル化という既知の段を積み上げた上で、 head 単位のチャンク化 (Untied Ulysses / UPipe) を足す。 「ボトルネックは思いがけない場所に現れる」 が教訓。
技術的貢献: Untied Ulysses (UPipe) — 1 GPU に割り当てた複数の head をチャンクに分けて時間方向に反復し、 小さなバッファを使い回すことで活性メモリを節約する。 Llama3-8B を 1 ノードで 500 万トークン (従来 SOTA の FPDT 比 +25%)、 2 ノードで 800 万トークン、 Qwen3-32B では attention の中間テンソルを最大 87.5% 削減。 Ravi Ghadia・Maksim Abraham・Sergei Vorobyov との共著 (arXiv 2602.21196)。
関連企業・組織
公式リンク
登場した動画
- (記事準備中)