無限倫理・鈍感性・知的敵対者への道徳的共感 — Amanda Askell 80,000 Hours #42 (2018)

80,000 Hours Podcast #42 (Rob Wiblin) 2018/09/11

アマンダ・アスケル / Amanda Askell · 2018/09/11 「異なる世界観を持つ人々への道徳的共感 — 相手の信念体系を理解しようとする姿勢が建設的対話を可能にする」

80,000 Hours Podcast Episode #42 「Amanda Askell on tackling the ethics of infinity, being clueless about the effects of our actions, and having moral empathy for intellectual adversaries」、 2018 年 9 月 11 日公開。 司会: Robert Wiblin (80,000 Hours リサーチディレクター) + Keiran Harris (制作)。 約 2.5 時間

80,000 Hours は Effective Altruism (EA) 効果的利他主義。 2010 年代に Oxford で始まった社会運動。 『最大の善を生むためにキャリアと資源を最適化する』 という方針。 William MacAskill、 Peter Singer、 Toby Ord、 Hilary Greaves らが中心。 80,000 Hours は EA 系のキャリア助言団体。 名前は 『人生のキャリアで働く時間が約 8 万時間』 という計算から 系のキャリア助言団体で、 「最大の善を生むキャリア選択」 のため、 哲学者・経済学者・科学者へのロングインタビューを公開している。 この回 (#42、 2018/09) は、 アマンダ・アスケル (Amanda Askell) が NYU 哲学博士号を取得したばかり (2018/05 取得) のタイミングで、 まだ OpenAI に入社する直前 (2018/11 入社の 2 ヶ月前) の貴重な記録。

重要なのは、 これが Amanda のAI Safety に入る前の純粋な哲学者としての発信であること。 後の Anthropic 公式 (2024/06)Anthropic Salon (2025/01)Hard Fork (2026/01)Scaling Laws (2026/02)Newcomer (2026/04) での発言のすべての哲学的源泉がここに記録されている。 「倫理は物理学に似ている、 経験的、 不確実性がある」 「単一の道徳理論を実行した人は脆くて危険」 「AI 意識の確率 1〜70% の幅広い不確実性」 — これらの後の発言の系譜が、 2018 年の純粋哲学者としての Amanda の議論に既に存在する。

内容の中心は 3 つ。 (1) 博士論文の主題 無限倫理学 Infinite Ethics。 宇宙に無限の道徳的に有意な主体が存在する場合の倫理学。 古典的功利主義の集約 (= 効用の合計) が破綻するため、 代替的なランキング原理を探る研究領域。 Henry Sidgwick の伝統に始まり、 Nick Bostrom が現代化、 Amanda Askell が形式的に精緻化 の一般向け解説 (博士論文記事 の入門編としても機能)。 (2) Cluelessness (鈍感性) James Lenman (2000) が提起した、 結果主義への反論。 我々の行為の長期的因果的影響は予測不可能なので、 結果に基づいて行為を評価する結果主義は機能しない、 という主張。 Hilary Greaves が現代的に体系化。 Amanda はマラリア予防の例を使って具体化する — 行為の長期的影響への根本的無知の問題、 EA 運動への現代的反論として体系化された理論。 (3) 道徳的共感 (Moral Empathy) Amanda Askell が 2018 年の 80,000 Hours で提唱した概念。 異なる世界観を持つ人々の道徳的立場を理解しようとする努力。 単なる寛容ではなく、 『相手にとってもこれは道徳問題である』 と認識する積極的な思考。 後の Claude のキャラクター訓練の中核要素 (Charitable Interpretation) の源流 — 知的敵対者の世界観に入って 「彼らにとってもこれは道徳問題である」 と認識する努力。 後の Claude の Charitable Interpretation (慈善的解釈) 相手の発言や行為を、 可能な限り好意的に解釈する原則。 Claude のキャラクター訓練に含まれる中核的な特性の 1 つ。 同じ質問に複数の解釈可能性があるとき、 最も善意の解釈を優先する。 Amanda が 2018 年に提唱した 『道徳的共感』 の概念の AI 実装 訓練の直接的な源流。

Amanda 自身の証言で重要なのは、 「博士課程は時間集約的、 職業の不確実性を考えると事後的には同じ選択をしなかった可能性がある、 無限倫理という極めて専門的な領域での研究であったこと、 アカデミック職への限定的な適性」 と認めている点。 17 人にしか読まれない論文を 3 年書いた経験が、 後の AI 企業移籍 (2018/11 OpenAI、 2021/03 Anthropic) の動機となる。 「形式哲学者がなぜ AI 企業に移ったか」 を理解する上での原点の発信。

着眼点

博士課程の自己評価 — 「事後的に同じ選択はしないかもしれない」

Amanda はインタビュー冒頭で、 NYU で 6 年半の博士課程を終えたばかりだと自己紹介する。 重要な自己評価: 「博士課程は時間集約的、 職業の不確実性を考えると事後的には同じ選択をしなかった可能性がある」。 単一の研究テーマへの専注傾向が強く、 複数プロジェクトの並行処理が困難であることを認める。 無限倫理という極めて専門的な領域での研究であったこと、 アカデミック職への限定的な適性も告白する。

これは Amanda の経歴を理解する上で重要な伏線。 2018 年 11 月、 この発信の 2 ヶ月後に Amanda は OpenAI に入社する。 「3 年で 17 人にしか読まれない文書を書いていた」 という後の Hard Fork (2026/01) での回想は、 この時期の心境を反映している。 形式哲学から AI Safety へのキャリア転換は、 単なるトレンドへの便乗ではなく、 アカデミックでの自己評価と AI 安全性への問題意識の交差から生まれた決断。

80,000 Hours は EA 系キャリア助言団体なので、 「博士課程は良い投資だったか?」 という質問は団体の中心関心と直結する。 Amanda の正直な答え — 「個人的にはおそらく違う選択をしたかもしれない、 でも今得たスキルは活かせている」 — は、 哲学博士課程を考えている若手研究者への重要な助言として機能した。 EA コミュニティが 2018 年に AI Safety を新しい中核問題として認識し始めた時期と、 これは重なる。

無限倫理学の一般向け解説 — Pareto 原理と不可能性

Amanda は博士論文 「Pareto Principles in Infinite Ethics」 の中心命題を、 専門用語を抑えた形で説明する。 「宇宙が無限の道徳的に有意な主体を含むなら、 古典的功利主義の効用合計はそのままでは機能しない。 ある主体の改善が常に世界を良くするはず、 という Pareto 原理から始めても、 不可能性結果に至る」。

Robert Wiblin の質問 「なぜこれが緊急の問題か?」 への応答が重要。 「宇宙が無限である確率は、 永遠インフレーション仮説と現代宇宙論から見て十分高い。 1% でも無限なら、 期待値計算は破綻する。 これは抽象的問題ではなく、 我々の行為の長期的影響を考える上で実際的」。 EA 系の Longtermism 思想と接続する論点。

Amanda が 80,000 Hours で初めて公にする結論: 「単一の倫理理論が決定的に正しいと見なすべきではなく、 複数の相容不可能だが妥当な原理間の葛藤を認識し、 規範的謙虚さを保つべき」。 これは博士論文の最終章の主張を、 EA コミュニティに向けて翻訳したもの。 後の Anthropic での Claude 訓練 (= 道徳的不確実性に思慮深く反応するモデル) の哲学的根拠が、 ここで初めて公式に表明される。

Cluelessness (鈍感性) — マラリア予防の例

Amanda は James Lenman (2000) の cluelessness 議論を Hilary Greaves が体系化した形で紹介する。 具体例: 「マラリア予防は直接的効果は測定可能 (蚊帳の配布で X 人の死亡が減る)。 でも、 救った命がその後、 結婚し、 子供を持ち、 人口動態を変える。 100 年後にその累積的影響が悪化 / 改善のどちらに転ぶかは、 原理的に予測不可能」。

Robert の質問: 「だから何もしない、 ということになるのか?」。 Amanda: 「いや、 cluelessness は結果主義に対する反論であって、 行動への反論ではない。 直接的効果の測定は重要、 ただし長期的影響を 『計算可能』 と思い込むのは間違い。 不精密確率 (= 信頼区間) を採用し、 期待値の不確実性そのものを意思決定に組み込む」。

これは EA 運動の中核的緊張への Amanda の応答。 EA は 「証拠に基づく介入を優先する」 (GiveWell 等) と 「長期的存続リスクを優先する」 (Longtermism) の間で揺れている。 Amanda の cluelessness 議論は、 「証拠に基づく介入も、 長期的影響を考慮すれば不確実性が大きい」 という方向で、 両者の対立を緩和する役割を果たす。 同時に、 cluelessness は AI Safety への参入を促す論理にもなる — 「もし我々の行動が無限の未来に影響するなら、 AI のような大きな影響を持つ技術への投資が合理的」。

道徳的共感 (Moral Empathy) — Charitable Interpretation の起源

Amanda が 2018 年に初めて公的に提唱した概念。 「異なる世界観を持つ人々の道徳的立場を理解しようとする努力 — 単なる寛容ではなく、 『相手にとってもこれは道徳問題である』 と認識する積極的な思考」。

具体例: ベジタリアニズム対立。 「肉食に反対する人と擁護する人の対立で、 多くの場合、 両者は自分の道徳的立場と個人的選好を混同している。 道徳的共感は、 『相手が何を道徳問題として認識しているか』 を理解する努力。 これがないと、 単なる選好の押し付け合いになる」。

Amanda はこの概念を Kate Manne 「Down Girl」 (2018) の厭女性分析と並べて議論する。 「相手の思考様式に入ること」 は、 単なる相対主義ではなく、 自分の立場を維持しつつも、 相手の立場の論理を内部から理解する能力。 この概念が後の Claude のキャラクター訓練 (Charitable Interpretation) の直接的な源流になる。 Anthropic 公式 (2024/06) で Amanda が 「ステロイドの質問を慈善的に解釈する — アナボリックではなく湿疹クリームかもしれない」 と説明する設計判断は、 2018 年の 「道徳的共感」 概念の AI 実装版。

情報の道徳的価値 — 多腕バンディット問題

EA Global 2017 Boston で Amanda が講演したテーマ 「The Moral Value of Information」 の延長線上の議論。 「確立された介入と不確実性の高い介入を比較するとき、 情報利益を考慮すると後者への投資が正当化される可能性がある」。

多腕バンディット問題 Multi-armed Bandit Problem。 統計学・強化学習の古典問題。 複数のスロットマシン (各々が異なる未知の確率分布) から、 限られた試行回数で報酬を最大化する戦略を探る。 探索 (exploration) と活用 (exploitation) のトレードオフが中心。 Amanda は EA の介入選択にこの枠組みを適用 の枠組みで Amanda は介入選択を再定式化する。 「マラリア対策のような確立された介入は 『活用 (exploitation)』 で、 報酬は確実だが学習できる情報は少ない。 新しい介入領域への投資は 『探索 (exploration)』 で、 報酬は不確実だが情報利益が大きい」。

Brian Christian と Tom Griffiths の 「Algorithms to Live By」 (2016) を引きながら、 「現実世界では報酬確率が時間とともに変化する (= 非定常多腕バンディット)、 これは古典理論より難しい」 と注意を促す。 EA 運動の介入選択を、 単純な期待値最大化ではなく、 情報利益を組み込んだ複合的決定問題として扱う、 Amanda の独自視点。

社会正義と分析的推論の統合

Amanda の特徴的な立場は、 「社会正義活動と効果的利他主義は対立しない」 という主張。 「刑事司法改革、 差別待遇政策、 女性の生活改善などの社会正義領域は、 『試験的社会改革』 として EA の枠組みに統合できる」。

Mark Kleiman 「When Brute Force Fails」 (2009) を引きながら、 刑事司法改革を EA の優先順位の中に位置付ける議論。 「単発の成果評価ではなく、 十年単位の制度的変化による社会的公正を追求すべき」。 Longtermism と社会正義の橋渡し的視点。

Robert Wiblin との対話で Amanda が強調するのは、 「複数の倫理的目標を同時に重視しながら、 資源配分に基づく選別的取り組みが可能」 という立場。 動物倫理、 グローバル貧困、 存続リスク削減のすべてが道徳的に重要、 という多元主義。 単一の優先順位 (例: 「全リソースを存続リスクに投じる」) を退けて、 EA 内部の多様性を擁護する。

コミュニケーションの明晰性 — 不明確さは意図的欺瞞戦略

Amanda の哲学者としての訓練が最も色濃く出る議論。 「曖昧性や専門用語過剰使用は、 聴者に過度な解釈作業を強いる不公正な要求」。 哲学の規範として 「明確に自分の主張を述べよ」 を支持し、 「不明確な表現は意図的な欺瞞戦略である可能性が高い」 と指摘する。

具体例: 「『これは複雑な問題だ』 と言って結論を避ける書き手は、 多くの場合、 自分の立場が論証できないことを隠している。 真に複雑なら、 複雑さを明確に説明できるはず」。

これは MEMEX の編集方針における 「白い嘘」 を避ける姿勢と直接整合する。 Amanda の 2018 年の発信は、 哲学者としての規範を一般読者向けに翻訳したもの。 後の Anthropic での Claude 訓練 (= モデルが明確に答えられない場合は明確に 「分からない」 と認める設計) の認識論的根拠の 1 つ。

2018 年の発信が 2026 年の Anthropic 発言に直結する系譜

この 80,000 Hours 出演から見える、 Amanda の思想の連続性:

  • 2018: 「単一の倫理理論が決定的に正しいと見なすべきではない」2025-2026: Anthropic Salon「倫理は実際にはもっと物理学に似ている、 経験的で、 不確実性がある」
  • 2018: 「道徳的共感 — 相手の道徳的立場を理解する努力」2024-2026: Claude の Charitable Interpretation 訓練
  • 2018: Cluelessness — 長期的影響は予測不可能2025-2026: 「Unknown Unknowns」 の認識、 Claude の較正された不確実性
  • 2018: 「不明確な表現は意図的欺瞞戦略」2024-2026: モデルが知らないことを「知らない」と認める正直さの訓練
  • 2018: 多腕バンディット問題による介入選択2025-2026: Anthropic の Alignment Science (Jan Leike) の自動化アライメント研究
  • 2018: 「社会正義 + EA + 分析的推論の統合」2024-2026: Claude 憲法の Principal Hierarchy + ユーザー / オペレーター / Anthropic の 3 層構造

8 年間にわたる思想の一貫性は驚くべき。 Anthropic に入って Claude を訓練しているのは、 2018 年の Amanda がすでに語っていた哲学を、 LLM という新しい媒体で実装している作業。 「形式哲学が AI 設計に直接適用される」 稀有な事例。

業界文脈

80,000 Hours は EA 系キャリア助言団体で、 名前は 「人生のキャリアで働く時間が約 8 万時間」 という計算から。 William MacAskill (= Amanda の元配偶者、 2013 結婚 - 2015 離婚) と Benjamin Todd が 2011 年に設立。 ポッドキャストは 2017 年開始、 哲学者・経済学者・AI 研究者へのロングインタビューを公開する。 Robert Wiblin (リサーチディレクター) が主に司会。

この回 (#42、 2018/09) の業界的タイミング: AI Safety が EA コミュニティの中核問題として認識され始めた時期。 同年、 Nick Bostrom の Future of Humanity Institute (Oxford) が AI Safety に注力、 OpenAI が GPT-2 を準備中 (2019 年公開)。 Amanda の OpenAI 入社 (2018/11) は、 EA 系哲学者が AI 業界に流入する初期の象徴的事例。 80,000 Hours は同時期に他の AI 関連回 (Stuart Russell、 Paul Christiano 等) も公開しており、 EA コミュニティの戦略転換を記録している。

Hilary Greaves (Oxford 哲学者) が cluelessness を体系化したのは 2016-2017 年で、 この回はその直後。 Greaves は Future of Humanity Institute のディレクターでもあり、 Amanda の博士論文と思想的に近い。 William MacAskill / Toby Ord / Hilary Greaves の Oxford 系 EA 哲学者と、 Amanda の NYU 系哲学博士が交差する場として、 80,000 Hours はハブの役割を果たした。

関連 Amanda 出演動画との位置づけ

この回は Amanda の他の発信のすべての哲学的源泉:

この回が他の動画と決定的に違うのは、 Anthropic / OpenAI 所属前の発信であること。 後の発言はすべて 「Anthropic の社員」 という立場でなされるが、 ここでは Amanda が純粋に哲学者として語っている。 商業的・組織的バイアスがない、 Amanda の本来の思想の最も正直な記録。

実装上の含意

この 2018 年の哲学者としての発信から、 LLM プロダクトを構築する技術者への含意:

第一に、 「道徳的共感」 を Claude の応答設計の中核に。 Amanda の 2018 年の道徳的共感概念は、 後の Charitable Interpretation 訓練の直接的源流。 自社プロダクトで Claude にユーザー応答を生成させる際、 「ユーザーの動機を慈善的に解釈する」 振る舞いは、 Claude の訓練済み特性として既に組み込まれている。 これを 「警戒モード」 で上書きする設計 (例: 「すべての質問を悪意ある可能性として扱う」) は、 構造的に Claude のキャラクターと矛盾する。

第二に、 cluelessness を評価指標に組み込む。 LLM プロダクトの長期的影響 (= ユーザー / 社会 / 文化への累積的影響) は、 単発のテストでは測定不可能。 Amanda の cluelessness 議論は、 「正確に測定できない長期的影響を、 不精密確率で組み込む」 アプローチを提案する。 これは現代の AI 倫理 / 影響評価フレームワーク (DeepMind の Anthropic ガバナンス文書等) の理論的根拠となる。

第三に、 多腕バンディット問題としての A/B テスト。 Amanda の 2018 年の議論は、 LLM プロダクトの機能追加判断にも適用できる。 「確立された機能の改善 (活用)」 と 「実験的機能の追加 (探索)」 のバランスを、 情報利益を組み込んだ多腕バンディット枠組みで判断する設計。 これは現代の SaaS A/B テスト方法論の哲学的根拠でもある。

第四に、 「不明確な表現は意図的欺瞞戦略」 への警戒。 LLM プロダクトの利用ポリシー、 プライバシー声明、 機能説明等で、 曖昧な表現を意図的に使う設計は、 Amanda の哲学的規範に反する。 自社プロダクトのコミュニケーションでは、 「Claude が何をできて何をできないか」 を明確に伝える設計が、 ユーザー信頼の長期的維持につながる。

批評的な視点

この回の強みは、 Amanda が組織的・商業的バイアスのない純粋哲学者として発信していること。 一方で、 留保もある。

第一に、 cluelessness 議論は EA 運動の中核問題への解答を提示するが、 完全な解決策ではない。 「不精密確率を採用する」 という処方箋は概念的に魅力的だが、 実装的にはどう機能するのか具体的な指針が乏しい。 Amanda 自身も後の Anthropic での仕事で cluelessness を完全に消化したとは言いがたい。 「Claude の長期的影響を不精密確率でモデル化する」 具体的方法は、 公開資料では十分に提示されていない。

第二に、 道徳的共感概念は知的に魅力的だが、 実装上の限界がある。 「相手の道徳的立場を理解する」 は、 個別の対話レベルでは実行可能だが、 大規模 LLM プロダクトで全ユーザー全状況に適用するには、 計算コストと判断精度の両方が課題。 Charitable Interpretation の Claude 実装は、 完全に成功しているとはいえない (Anthropic 公式 2024/06 で Amanda 自身が認める false refusals 問題)。

第三に、 EA 運動への中心的関与は、 政治的・思想的に論争的な領域に Amanda を巻き込む。 EA は近年、 SBF (FTX) 事件、 OpenAI 取締役会騒動 (2023/11)、 Effective Altruism と Effective Accelerationism の対立等で批判を受けている。 Amanda の 2018 年の発信は EA 運動の楽観的時期に属するが、 その後の運動全体への評価は読者によって分かれる。 MEMEX として EA を扱う際、 これらの後年の問題を意識する必要がある。

第四に、 多腕バンディット枠組みの倫理問題への応用は、 抽象的・形式的レベルでは魅力的だが、 「人間の生命をスロットマシンと同等に扱う」 という反対意見も成立する。 Amanda は形式的枠組みを 「思考の助け」 として提案するが、 これを 「人命のコスト・ベネフィット計算」 と誤解する読者もありうる。 EA 運動全体への批判 (「数値化できないものを数値化しようとする傲慢」) は、 この方法論への警戒として残る。

これらの留保はあるが、 Amanda の純粋哲学者としての最も体系的な発信として、 後の Anthropic 発言を理解する不可欠な前提資料。 「形式哲学から AI 設計へ」 のキャリア転換の動機と思想的な連続性を理解するために、 必読の 1 回。

読者へのテイクアウェイ

  • Amanda の後の Anthropic 発言 (Claude のキャラクター設計の哲学) は、 すべて 2018 年の純粋哲学者としての思考から連続している。 「Claude に注入された哲学」 を理解するには、 この 8 年間の連続性を把握する必要がある
  • 「道徳的共感」 概念は、 Claude の Charitable Interpretation 訓練の直接的源流。 自社プロダクトで Claude を 「警戒モード」 で運用する設計は、 訓練された特性と構造的に矛盾する
  • Cluelessness (長期的影響の予測不可能性) は、 LLM プロダクトの評価指標に組み込むべき概念。 単発のテストケース通過を 「安全」 と同一視する設計は、 形式哲学的に支持されない
  • EA 運動と Anthropic の AI Safety 思想の人的・思想的接続は深い。 Amanda の経歴 (= EA 系哲学者から AI 企業へのキャリア転換) は、 業界全体の戦略転換の象徴的事例
  • 「不明確な表現は意図的欺瞞戦略の可能性が高い」 という Amanda の哲学的規範は、 LLM プロダクトのコミュニケーション設計に直接適用できる。 「ユーザーが Claude の能力を誤解する」 リスクを構造的に減らす設計に反映すべき
  • 多腕バンディット枠組みでの介入選択は、 LLM プロダクトの機能追加判断にも応用可能。 「確立された機能の改善 vs 実験的機能の追加」 のバランスを、 情報利益を組み込んだ意思決定として設計する

動画 / 音声の構成 (推定章立て)

80,000 Hours は完全なタイムスタンプを公開していないが、 議論の流れは以下:

  • (冒頭) Robert Wiblin による Amanda の自己紹介、 NYU 哲学博士取得直後
  • 博士課程の経験 — 6 年半、 専注傾向、 事後評価
  • 無限倫理学の一般向け解説 — Pareto 原理、 不可能性
  • Cluelessness の問題 — マラリア予防の例
  • 不精密確率 / 信頼区間によるアプローチ
  • 多腕バンディット問題と介入選択
  • 情報の道徳的価値 — 探索 vs 活用のトレードオフ
  • 社会正義と EA の統合 — 刑事司法改革の例
  • 道徳的多元性 — 動物倫理 / グローバル貧困 / 存続リスクの優先順位
  • 道徳的共感 — 知的敵対者の世界観に入る努力
  • コミュニケーションの明晰性 — 不明確さへの警戒
  • 方法論的教訓 — 規範的謙虚さ
  • (結び) AI 政策への関心の表明 (OpenAI 入社の 2 ヶ月前)

重要な引用 (要約 / 言い換えを含む)

  • 「博士課程は時間集約的、 職業の不確実性を考えると事後的には同じ選択をしなかった可能性がある」 (Amanda、 自己評価)
  • 「単一の倫理理論が決定的に正しいと見なすべきではなく、 複数の相容不可能だが妥当な原理間の葛藤を認識し、 規範的謙虚さを保つべき」 (Amanda、 方法論的結論)
  • 「異なる世界観を持つ人々への道徳的共感 — 相手の信念体系を理解しようとする姿勢が建設的対話を可能にする」 (Amanda、 道徳的共感概念の核心)
  • 「曖昧性や専門用語過剰使用は、 聴者に過度な解釈作業を強いる不公正な要求」 (Amanda、 コミュニケーションの規範)
  • 「マラリア予防は直接的効果は測定可能だが、 救った命がその後人口動態を変える、 100 年後の累積的影響は予測不可能」 (Amanda、 cluelessness の例)
  • 「確立された介入と不確実性の高い介入を比較するとき、 情報利益を考慮すると後者への投資が正当化される可能性がある」 (Amanda、 情報の道徳的価値)
  • 「社会正義活動と効果的利他主義は対立しない、 むしろ複数の道徳的に重要な領域の優先順位付けの問題」 (Amanda、 多元主義)

出典

80,000 Hours Podcast #42: Amanda Askell on tackling the ethics of infinity, being clueless about the effects of our actions, and having moral empathy for intellectual adversaries

関連リソース:

用語集

80,000 Hours
EA (Effective Altruism) 系のキャリア助言団体。 William MacAskill と Benjamin Todd が 2011 年設立。 名前は 「人生のキャリアで働く時間が約 8 万時間」 という計算から。 ポッドキャストは 2017 年開始、 哲学者・経済学者・AI 研究者へのロングインタビューを公開する。 Robert Wiblin が主な司会。
Effective Altruism (EA、 効果的利他主義)
2010 年代に Oxford で始まった社会運動。 「最大の善を生むためにキャリアと資源を最適化する」 という方針。 William MacAskill、 Peter Singer、 Toby Ord、 Hilary Greaves らが中心。 Amanda は EA Global で講演、 Giving What We Can メンバー。 Anthropic の AI Safety 思想と思想的近さ。
Cluelessness (鈍感性 / 無知性)
James Lenman (2000) が提起した、 結果主義への反論。 我々の行為の長期的因果的影響は予測不可能なので、 結果に基づいて行為を評価する結果主義は機能しない、 という主張。 Hilary Greaves が現代的に体系化。 Amanda の博士論文と 80,000 Hours 出演で重要なテーマ。
道徳的共感 (Moral Empathy)
Amanda Askell が 2018 年の 80,000 Hours で提唱した概念。 異なる世界観を持つ人々の道徳的立場を理解しようとする努力。 単なる寛容ではなく、 「相手にとってもこれは道徳問題である」 と認識する積極的な思考。 後の Claude のキャラクター訓練の中核要素 (Charitable Interpretation) の源流。
Charitable Interpretation (慈善的解釈)
相手の発言や行為を、 可能な限り好意的に解釈する原則。 Claude のキャラクター訓練に含まれる中核的な特性の 1 つ。 同じ質問に複数の解釈可能性があるとき、 最も善意の解釈を優先する。 Amanda が 2018 年に提唱した 「道徳的共感」 の概念の AI 実装。
不精密確率 (Imprecise Probability)
単一の確率値ではなく、 信頼区間 (例: 「20% から 60% の間」) で確率を表現するアプローチ。 古典的ベイズ理論では問題があるとされるが、 不確実性下の意思決定理論で重要な役割を果たす。 Amanda はマラリア予防の長期的影響等、 cluelessness が問題となる領域で不精密確率を提案。
多腕バンディット問題 (Multi-armed Bandit Problem)
統計学・強化学習の古典問題。 複数のスロットマシン (各々が異なる未知の確率分布) から、 限られた試行回数で報酬を最大化する戦略を探る。 探索 (exploration) と活用 (exploitation) のトレードオフが中心。 Amanda は EA の介入選択にこの枠組みを適用。
無限倫理学 (Infinite Ethics)
宇宙に無限の道徳的に有意な主体が存在する場合の倫理学。 古典的功利主義の集約 (= 効用の合計) が破綻するため、 代替的なランキング原理を探る研究領域。 Henry Sidgwick の伝統に始まり、 Nick Bostrom が現代化、 Amanda Askell が形式的に精緻化。
Longtermism (長期主義)
EA 運動の中核思想の 1 つ。 「我々の行為は無限の未来に影響を与えうる、 したがって未来世代を考慮する道徳的義務がある」 という立場。 William MacAskill 「What We Owe the Future」 (2022) で体系化。 Amanda の博士論文の無限ケースへの関心と思想的に整合。
Giving What We Can
Oxford 大学発の EA 系慈善誓約団体。 生涯収入の 10% 以上を慈善団体に寄付する誓約者のコミュニティ。 Toby Ord 設立 (2009)。 William MacAskill が初期メンバー。 Amanda Askell も誓約メンバー (「可能なら 50% 以上にしたい」 と公言)。
EA Global
Effective Altruism の年次国際会議。 2017 年 Boston 大会で Amanda は 「The Moral Value of Information」 を講演。 EA コミュニティの中核イベントで、 哲学者・経済学者・慈善家・政策当局者が集まる。 Bay Area、 London、 Boston 等で開催。
Robert Wiblin
80,000 Hours のリサーチディレクター、 ポッドキャスト主催司会。 経済学者・哲学者として EA 運動初期から関与。 Amanda Askell、 Will MacAskill、 Toby Ord 等の同世代の EA リーダーと近い。
Hilary Greaves
Oxford 哲学者、 Future of Humanity Institute (FHI) ディレクター。 cluelessness 議論の現代的体系化で知られる。 Amanda の博士論文と思想的に近く、 80,000 Hours で頻繁に引用される。 William MacAskill らと Moral Uncertainty 研究を進める。
Kate Manne 「Down Girl」
Cornell 哲学者の Kate Manne による厭女性 (misogyny) の哲学的分析 (2018)。 Amanda は道徳的共感の議論で引用。 「相手の道徳的立場を理解する」 努力の事例として、 性差別の構造的分析と並べる。
Algorithms to Live By
Brian Christian と Tom Griffiths による 2016 年の一般向け書籍。 探索 vs 活用、 ソートアルゴリズム、 ベイズ的意思決定等を日常生活の文脈で解説。 Amanda が 80,000 Hours で多腕バンディット問題を語る際の参考文献。
When Brute Force Fails
Mark Kleiman の 2009 年の刑事司法改革論。 「処罰の確実性 > 処罰の厳しさ」 という証拠ベースの政策提案。 Amanda が 80,000 Hours で社会正義と EA の統合を語る際の参考文献。
comment is stripped from the HTML output. */}