ヴィンセント・コック

略歴

1. — Comet で evaluation 研究 + benchmarking 業務を率いる
2. — OpenCode コアコントリビューターとして harness 開発に参加
3. 2026-04 AI Engineer Europe (London) で 3 セッション登壇 (Malleable Evals 含む)

補足

Comet (AI 開発者プラットフォーム) で evaluation 研究を率いる。 Uber / Netflix / 英国の銀行など、 大手企業の AI 評価ベンチマークを設計・運用する立場。 加えて、 OSS coding agent harness 「OpenCode」 のコアコントリビューター。

自称 「友好的カナリア (the friendly canker)」 — 「常に edge で生きる」 「2013 年 VR ゴーグルの警告ラベルを 5 分→ 3 時間使って 3 時間嘔吐した」 など、 自分が先に試してから報告するスタイル。 AI Engineer Europe 2026 では同イベントで 3 連続セッションを担当 (基調講演 + ワークショップ + Malleable Evals talk)。

主要主張 (AI Engineer Europe 2026): 「Evals are dead」 という業界ジョークに半分の真理がある。 静的ベンチマーク中心の評価は agentic AI の時代に通用しない。 解決策は 「malleable evals」 — 評価を agent と共に進化する live なシステムとして再設計する。 traces からの self-curating eval suites、 telemetry-in-the-loop、 intent-based outcome の 3 つが鍵。

関連企業・組織

公式リンク

• Comet 公式 →
• OpenCode GitHub →

登場した動画

• Malleable Evals — 静的ベンチマークから適応評価へ (Vincent Koc / Comet) →