KK

コンウー・キム

Konwoo Kim

Stanford 博士課程 / データ効率・pre-training (NSF GRF)

略歴

  1. — Stanford 博士課程 (Yejin Choi・Nick Haber に師事、 NSF GRF)
  2. 2025-09 「Pre-training under infinite compute」 を arXiv 公開 (2509.14786)
  3. 2026-05 第 1 回 YC Paper Club で同論文を発表 (最終登壇)

補足

Stanford 博士課程 (Yejin Choi・Nick Haber に師事、 NSF Graduate Research Fellow)。 データ効率 (data efficiency) を中心に研究する。

主要主張 (第 1 回 YC Paper Club 2026 「Pre-training under infinite compute」): インターネットのテキストは年 3% 増、 pre-training の計算は年 4〜5 倍増のため、 やがて 「計算は余りデータが希少」 という体制に入る。 そこでは正則化・アンサンブル・蒸留という古典手法がデータ効率の武器として蘇り、 「漸近線」 を物差しにレシピを評価し直すべき、 と論じる。

技術的貢献: 200M トークン (DCLM) のデータ制約設定で、 強い正則化 (計算最適の約 30 倍の weight decay) が漸近線 3.43 のべき乗則を生み、 小モデルのアンサンブルがさらに低い漸近線を達成することを示す。 正則化とアンサンブルの合成 (joint scaling) で約 5.17 倍、 数学の継続事前学習で約 17.5 倍のデータ効率。 Suhas Kotha・Percy Liang・Tatsunori Hashimoto との共著 (arXiv 2509.14786)。

関連企業・組織

Stanford

公式リンク

登場した動画

  • (記事準備中)

← 人物一覧に戻る

comment is stripped from the HTML output. */}