更新：カリフォルニア州予算委員会は、8月15日木曜日に合意を変更する重要な修正を加えてSB 1047を可決しました。詳細はこちらでご覧いただけます。

サイエンスフィクション映画の外では、AIシステムが人々を殺害したり、大規模なサイバー攻撃に使用されたりする先例はありません。しかし、一部の立法者は、悪意のある行為者がそのディストピア的未来を現実にする前に、AIシステムによる実世界の災害を防ぐための保護策を実施したいと考えています。カリフォルニア州のSB 1047として知られる法案は、こうした事態を未然に防ぐことを試みています。この法案は、8月に州の上院を通過し、現在はカリフォルニア州知事ギャビン・ニューソムの承認または拒否を待っています。

これは、我々が皆で賛成できる目標のように見えますが、SB 1047は、ベンチャーキャピタリスト、ビッグテックの業界団体、研究者、スタートアップの創業者など、大小さまざまなシリコンバレーのプレイヤーから批判を浴びています。現在、全米各地にAI関連の法案が飛び交っていますが、カリフォルニア州の安全かつ信頼性のあるフロンティア人工知能モデル法は、最も論争の的となっています。その理由を以下に示します。

SB 1047は何を目指しているのでしょうか？

SB 1047は、巨大なAIモデルが人類に対して「重大な被害」をもたらすのを防ごうとしています。

その法案は、「重大な被害」として、悪意のある行為者がAIモデルを使用して多数の犠牲者を出す兵器を作成したり、サイバー攻撃を指示して5億ドル以上の損害を引き起こしたりすることを挙げています（比較のために、CrowdStrikeの障害は50億ドル以上の損害を引き起こすと推定されています）。この法案は、このような結果を防ぐために十分な安全プロトコルを実装するのに十分な責任を負う開発者、つまりモデルを開発する企業を保護します。

どのモデルと企業がこれらの規則の対象となりますか？

SB 1047の規則は、世界最大のAIモデルにのみ適用されます：少なくとも1億ドルかかり、トレーニング中に10^26 FLOPS（計算を測定する方法）を使用するモデル。それは膨大な計算量ですが、OpenAIのCEOであるサム・アルトマンは、GPT-4のトレーニングにはこれほどの費用がかかったと述べています。これらのしきい値は必要に応じて引き上げられる可能性があります。

今日、これらの要件を満たすほどの大規模な公開AI製品を開発した企業はごく少数ですが、OpenAI、Google、Microsoftなどのテクノロジージャイアンツは近いうちにそのような製品を開発する可能性が高いです。 AIモデルは、基本的にはデータ中のパターンを識別し予測する巨大な統計エンジンですが、一般的にはモデルが大きくなるにつれてより精度が向上してきており、多くの人々がこのトレンドが続くと予想しています。マーク・ザッカーバーグは最近、Metaの次世代のLlamaには10倍のコンピュートが必要となると述べ、これによりSB 1047の権限の対象になる可能性があります。

オープンソースモデルおよびその派生物に関して、法案は、元の開発者が責任を負うと定めています。ただし、他の開発者が元のモデルの派生物を作成するために追加で1,000万ドルを費やした場合、その派生モデルについて責任を負うことになります。

法案はまた、AI製品の誤用を防ぐための安全プロトコルを要求しており、AIモデル全体をシャットダウンする「緊急停止」ボタンを含みます。 開発者は、AIモデルによって引き起こされるリスクに対処するテスト手順を作成する必要があり、毎年第三者監査人を雇ってAIの安全性慣行を評価する必要があります。

その結果は、これらのプロトコルに従っていれば、重大な被害を防ぐ「合理的な保証」が得られるというものであり、これはもちろん提供不可能な確信ではない。

誰がそれを執行し、どのように？

新たなカリフォルニア州機関であるフロンティアモデル委員会が規則を監督します。 SB 1047の基準を満たす新しい公開AIモデルは、その安全プロトコルの書面のコピーを付して個別に認定される必要があります。

フロンティアモデル委員会は、AI業界、オープンソースコミュニティ、学術界の代表者を含む、カリフォルニア州知事および立法府によって任命される9人のメンバーで構成されます。 委員会は、AIモデル開発者に対して安全慣行に関するガイダンスを提供し、SB 1047の違反の可能性についてカリフォルニア州検事総長に助言します。

開発者の最高技術責任者は、AIモデルの潜在的なリスク、安全プロトコルの有効性、および企業がSB 1047に準拠している方法の説明を評価する年次証明書を委員会に提出する必要があります。 データ侵害通知と同様に、「AIの安全事故」が発生した場合、開発者はその事故について知識を得てから72時間以内にFMDに報告する必要があります。

開発者の安全対策が不十分と判断された場合、SB 1047ではカリフォルニア州検事総長が開発者に対して差し止め命令を出すことができます。 それは開発者が操作を停止したり、モデルのトレーニングを中止したりすることを意味する可能性があります。

AIモデルが実際に壊滅的な事件で使用されたと判明した場合、カリフォルニア州検事総長はその企業を訴えることができます。 トレーニングに1億ドルかかるモデルの場合、罰金は初回の違反で最大1,000万ドル、続く違反で最大3,000万ドルに達する可能性があります。 この罰金率は、AIモデルがより高価になるにつれてスケールされます。

最後に、この法案には、従業員が安全でないAIモデルに関する情報をカリフォルニア州検事総長に開示しようとする場合の内部告発者保護規定が含まれています。

支持者は何と言っていますか？

サンフランシスコを代表し、この法案の著者であるカリフォルニア州上院議員スコット・ウィーナー氏は、TechCrunchに語ったところ、SB 1047は、社会メディアやデータプライバシーに関する過去の政策の失敗から学び、市民を守る試みであると述べています。

「我々は技術の分野で被害が発生するのを待つという歴史があり、そしてそれから手も焼くことがあります」とウィーナー氏は述べています。「何か悪いことが起こるのを待ちましょう。ただちに前進しましょう。」

Texasで1億ドルのモデルをトレーニングした場合、またはフランスで1億ドルのモデルをトレーニングした場合でも、その会社がカリフォルニアでビジネスをしている限り、SB 1047の対象となります。 ウィーナー氏は、「過去25年間、議会は技術に関して非常に少ない立法を行ってきた」と述べており、この分野で前例を作るのはカリフォルニア州の責務であると考えています。

SB 1047についてOpenAIとMetaと面会したかどうか尋ねられた際、ウィーナー氏は「すべての大手研究所と対面しています」と述べました。

時に「AIの父」と呼ばれる2人のAI研究者、ジェフリー・ヒントン氏とYoshua Bengio氏も、この法案を支持しています。 これらの2人は、AI技術が引き起こす危険な「終末のシナリオ」に懸念を抱くAIコミュニティの一部に属しています。 これらの「AIドゥーマー」と呼ばれる人々は、研究世界において長らく存在しており、SB 1047は彼らの好ましい安全保障策を法律に定式化する可能性があります。 SB 1047の後援団体の一つであるCenter for AI Safetyは、2023年5月に世界に対して「AIによる絶滅リスクをパンデミックや核戦争と同じくらい重要視すること」を優先するよう求めるオープンレターを発表しました。

Center for AI Safetyのディレクターであるダン・ヘンドリックス氏はTechCrunchにメールで、「これはカリフォルニア州および米国の産業の長期的な利益に資するものであり、重大な安全事故はさらなる進歩における最大の障害になる可能性がある」と述べています。

最近、ヘンドリックス氏自身の動機が疑問視されています。 7月に、彼はGray Swanというスタートアップを立ち上げ、彼の発表によると、「企業のAIシステムのリスクを評価するためのツールを開発する」とのことです。 ヘンドリックス氏のスタートアップが法案が可決されれば、開発者が雇わなければならない監査人の1人としての可能性があり、「ゲントリクスのAI安全性」というトピックについて彼に利益をもたらすかもしれないとの批判を受けたため、彼はGray Swanの株式所有権を全て売却しました。

ヘンドリックス氏はTechCrunchにメールで、「私は明確なシグナルを送るために株式を売却した」と述べています。「億万長者のベンチャーキャピタルが常識に反するAI安全性に反対するのであれば、彼らもそれに従うべきです。」

Anthropicの提案された複数の修正がSB 1047に追加された後、CEOのダリオ・アモディ氏は、法案の「利点がコストを上回る可能性が高い」とする声明を発表しました。 これは推奨ではありませんが、わずかな支持のサインです。 その直後、イーロン・マスクも法案を支持する意向を示しました。

反対派は何と言っていますか？

シリコンバレーのプレイヤーからSB 1047に反対する声が高まっています。

ヘンドリックス氏の「