2024年4月4日 マット・カウフマン（最高安全責任者）
- Roblox（ロブロックス）は常に低年齢層のユーザーを守るように設計されてきました。現在、当社は年齢層の高いユーザー増加への対応を行っています。
- テキスト、音声、ビジュアル、3Dモデル、そしてコードを取り扱うRobloxは、マルチモーダルAIソリューションで成功する独自の立ち位置にあります。
- 当社は、オープンソースにすることや提携先とのコラボレーション、法規制への対応など、可能な限り業界全体での安全性の向上に努めています。
安全性とネットマナーの向上は、約20年前にRobloxが誕生して以来、Robloxの基盤となってきました。当社は、創立当初から製品の設計に安全機能・ツール、内容審査機能を組み込むことに全力を尽くしてきました。あらゆる新機能をリリースする前に、コミュニティを潜在的な被害から守るための対策を予め考えてきました。新機能が悪用されるかもしれない場合を想定しながら初期テストを行ったり、予め安全性とネットマナー向上を考慮しながら機能を設計するこのプロセスは、当社の技術革新に役立っています。当社は、ポリシーやツール、システムを可能な限り正確で効率的に保つために、利用可能な最新の研究や技術を継続的に精査しています。
安全性に関して言えば、Robloxは独自の立ち位置にあります。ほとんどのプラットフォームは、大人のための場所として始まり、今になって10代の若者や児童用の安全機能を後付けしています。しかし、当社のプラットフォームは、最初から子どもたちが制作したり、学んだりできるような安全で保護された空間として開発されました。現在、当社では急増する年齢層の高いユーザー層への対応をしています。また、さらに多くの方々がRoblox上で簡単に制作や通信を行えるようにする画期的な新しい生成AI機能やツールのおかげで当社が扱うコンテンツの量は飛躍的に増えています。当社の使命は、何十億人もの人たちを「楽しい気持ちと思いやりでつなぐ」ことです。当社は、常に未来を見据えながら会社の規模拡大に対応し、どのような新しい安全ポリシーやツールが必要になっていくかを理解するよう努めています。
当社の安全機能とツールの多くは、革新的なAIソリューションに基づいており、安全性に特化した数千人規模の専門家チームとともに稼働しています。経験豊富な人による作業とインテリジェント・オートメーションの戦略的な組み合わせは、当社が24時間365日、内容審査するコンテンツ量の拡大に取り組んでいく上で不可欠です。また、当社はネット上の安全性に特化した組織との連携を維持していくことを信条とし、業界全体の改善につながるという信念を当社が持つ法案を適宜、支持しています。
AI駆動の大規模な安全性向上におけるリーダー
当社のプラットフォームはかなり大規模なため、AIシステムの精度と効率性において業界でもトップクラスの基準を満たさなければなりませんが、そのおかげでコミュニティの拡大とポリシーや要件の変化やそれに伴う課題に素早く対応できるようになっています。現在、190カ国の7,100万人以上のデイリーアクティブユーザーの方々がRoblox上でコミュニケーションをとり、コンテンツを共有しています。Robloxでは、毎日何十億件もの「友達」へのチャットメッセージが送信されています。クリエーターストアには数百万点ものアイテムが販売されており、クリエーターの方々は毎日新しいアバターやアイテムをマーケットプレイスに追加しています。Robloxは今後も成長を続け、人々がRobloxでコンテンツを作り、コミュニケーションするための新しい方法を提供していきます。
機械学習（ML）、大規模言語モデル（LLM）、マルチモーダルAIなどで業界全体が大きな飛躍を遂げる中、Robloxをより安全にするために当社は、このような新しいソリューションを活用する方法に多額の投資を行っています。AIソリューションはすでに、テキストチャット、没入型音声コミュニケーション、画像や3Dモデル、メッシュの内容審査に役立っています。現在、当社はコミュニティのみなさんのRobloxでの制作をより速く、より簡単にするために、同様のテクノロジーを多数活用しています。
マルチモーダルAIシステムによるイノベーション
当社のプラットフォームは、その性質上、テキスト、音声、画像、3Dモデル、コードを組み合わせています。マルチモーダルAIとは、複数の種類のデータを組み合わせてシステムに学習させることで、単一のシステムよりも正確で精度の高い結果を生み出すもので、Robloxに独自の機会をもたらします。マルチモーダルシステムは、個別の素材上では検出が難しい内容でも（画像やテキストなどの）コンテンツタイプの組み合わせを検出することができます。例えば、ある子どもがブタのようなアバターを使っているとします。そこで、他の誰かが「お前の顔にそっくりだな！」というチャットメッセージを送信したと想定してください。そのメッセージ内容は、いじめに関するポリシーに違反するかもしれません。
3Dモデルだけで訓練されたモデルは、そのアバターを承認します。また、テキストだけで訓練されたモデルは、テキストの内容を承認し、アバターが使用されている文脈を無視します。テキストと3Dモデルの両方で訓練されたものだけが、このような問題を素早く検出し、フラグを立てることができます。このようなマルチモーダル・モデルはまだ初期段階にありますが、近い将来、システムがバーチャル空間全体を審査することで、規約違反の報告に対応するような世界を見据えています。バーチャル空間内のコード、ビジュアル、アバター、その中で行われる通信内容を「インプット」として処理し、さらなる調査や措置をすべきかを判断することができるようになるでしょう。
当社は、音声コミュニケーションにおけるポリシー違反をほぼリアルタイムで検出するモデルなど、マルチモーダル技術を使ってすでに大きな進歩を遂げています。Robloxだけでなく、業界全体の安全性とマナー向上に貢献できるような機会があれば、このような進歩を広く共有していくつもりです。実際に当社は初のオープンソースモデルである音声安全分類器を業界と共有しています。
大規模コンテンツの内容審査
Robloxでは、ほとんどの種類のコンテンツを審査し、プラットフォームに公開される前に重大なポリシー違反を検知しています。コンテンツを公開しているユーザーに著しい遅延を与えることなくこれを行うには、正確さだけでなくスピードも要求されます。画期的なAIソリューションにより、リアルタイムでより適切な判断を下し、問題のあるコンテンツをRobloxから排除しています。万が一、Robloxにコンテンツが公開されてしまった場合でも、充実したユーザーによる規約違反の報告システムをはじめ、そのコンテンツを特定し、削除するシステムが整っています。
自動内容審査ツールの精度は、反復可能な単純作業に関しては人間の内容審査スタッフを凌駕しています。このような単純なケースを自動化することで、人間の内容審査担当者は、人間ならではの論理的思考とより深い調査を必要とする、より複雑なタスクに時間を長くかけることができるようになります。しかし、安全性に関しては、自動化が人の手による審査に完全に取って代わることはできないことを当社は認識しています。人間の内容審査スタッフは、MLモデルの品質と一貫性を継続的に監督・テストし、システムを最新の状態に保つために精度の高いラベル付きデータセットを作成する上で、非常に貴重な存在です。当社が対応している16ヶ国語すべてにおいて、内容審査スタッフが新しい俗語や略語を特定し、頻繁に出てくる場合はフラグを立てて、システムがそれを認識できるように訓練しています。
当社は、質の高いMLシステムでさえ間違いを犯す可能性があることを認識しています。そのため、異議申し立てプロセスには人間の内容審査スタッフを配置しています。内容審査スタッフは、異議申し立てを行った人に対して正しい判断を下し、ミスのあったケースについては、トレーニングがさらに必要性なことを示すことができます。こうして当社のシステムは時間の経過とともにますます正確さを増し、本質的に間違いから学んでいきます。
最も重要なことは、過激主義や児童を危険に晒す活動など、リスクの高い内容を含む重要な調査には、常に人間の担当者が関与しているということです。このようなケースでは、悪意のある人物を積極的に特定・排除し、最も重要な分野における困難なケースを調査するために、社内に専門チームを設置しています。このチームは製品チームとも連携しながら、作業から得た洞察を共有することで当社のプラットフォームと製品の安全性を継続的に改善しています。
通信内容の内容審査
当社のテキストフィルタは、スラングや略語を含むRobloxで使われる特有の表現について訓練されています。Robloxで毎日送信される25億件のチャットメッセージは、このフィルタを通過し、ポリシー違反のある表現を検出することに長けています。このフィルタはRobloxが対応しているすべての言語でポリシー違反を検出することができ、リアルタイムのAIチャット翻訳機能がリリースされた現在、特に重要でになっています。
社内のカスタム音声検出システムを通じてリアルタイムで音声通信を内容審査する方法を共有しました。ここでの革新的な点は、ライブ音声からAIシステムがポリシー違反かどうかのラベルをつけるまで、ほんの数秒で直接行えることです。音声の内容審査システムのテストを始めると、当社のルールをよく知らないために意図せずにポリシーに違反をしている場合が多いことがわかりました。そこで、当社はリアルタイムの安全システムを開発しました。
このような通知は、公園で小さな子どもたちがいるときに、「子どもの前なので言葉遣いに気をつけていただけますか」と丁重にお願いされるようなレベルの早期の軽い警告です。テストでは、このような対応は、ユーザーの方々に思いやりを持つことを気づかせて、当社のポリシーページに行って詳細を参照していただくことに成功していることが証明されています。エンゲージメントデータと比較すると、テストの結果は有望であり、実際にRobloxに参加しているユーザーにRobloxでの行動を改善するよう促しながら、このようなツールが悪質な人物を効果的にプラットフォームから締め出すのに効果的だということを示しています。1月に「リアルタイム・セーフティ」を英語圏の全ユーザーに向けて展開して以来、音声通信に関連する不正使用の報告が、1日のアクティブユーザーあたり53%減少しています。
作品の内容審査
アバターやアバター用アクセサリなどのビジュアルアセットには、コンピュータビジョン（CV）を使用しています。ひとつの手法として、アイテムを複数の角度から撮影します。その写真をシステムが確認し、次のステップを決定します。何も問題がないようであれば、そのアイテムは承認されます。明らかにポリシーに違反している場合は、そのアイテムはブロックされ、当社が問題だと思う点をクリエーターに伝えます。システムが確信を持てない場合、アイテムは人間の内容審査担当者に送られ、詳しく吟味した上で最終的な判断を下します。
アバター、アクセサリ、コード、フル3Dモデルについても、これと同じプロセスを行います。フルモデルについては、さらに一歩踏み込んで、モデルを構成するすべてのコードやその他の要素を審査します。車を審査する場合、ステアリングホイール、シート、タイヤ、そしてその下にあるコードなど、構成要素に分解し、問題がありそうかどうかを判断します。子犬のようなアバターがあれば、耳や鼻や舌などに問題がないかどうかを審査する必要があります。
また、当社は違う方向性でも審査できるようにする必要があります。個々の構成要素はまったく問題なくても、全体的な効果が当社のポリシーに違反しているとしたらどうでしょう？例えば、口ひげ、カーキ色の上着、赤い腕章は、それぞれが単独では問題ありません。しかし、このようなものが誰かのアバターに組み合わされ、腕章に十字架のようなシンボルが描かれ、片腕がナチス式の敬礼のように斜めに上がっているとしたら、明らかに問題になります。
ここが、当社の社内モデルが市販のCVモデルと異なる点です。これらのモデルは一般的に、実世界のものを対象として訓練されています。車や犬は認識できても、その構成部品は認識できません。当社のモデルは、最小の部品まで審査できるように訓練され、最適化されています。
提携先とのコラボレーション
当社は、Robloxを利用しているあらゆる方々の安全を守るためにあらゆるツールを使っていますが、Robloxの枠を超えて当社が学んだことを共有することも同様に強く望んでいます。実際のところ、当社は初のオープンソースモデルである音声安全分類器を共有し、音声安全システムの改善に役立てています。また、当社は第三者のグループと提携し、業界の発展に合わせて知識やノウハウを共有しています。保護者向けの権利擁護団体やメンタルヘルス関連団体、政府機関、法執行機関など、幅広い組織と緊密な関係を築き、維持しています。これらの団体からは、保護者や政策立案者、その他の団体がネット上の安全性に関して抱いている懸念について、貴重な見識を得ることができます。その見返りとして、当社は、当プラットフォームを安全でマナーのある場所に保つために当社が学んだことや使用しているテクノロジーを共有することができるのです。
当社は、プラットフォームを使う方々の中で最も年齢層が低く最も弱い立場にある方々の安全を第一に考えてきた実績があります。「信頼できるフラッガープログラム」など、当社のプラットフォームを利用する方々を保護するために、当社のリーチを拡大するのに役立つプログラムを確立しています。当社は、政策立案者と協力し、子どもの安全に関する重要なイニシアティブや法律、その他の取り組みを行っています。例えば、当社はカリフォルニア州年齢適正設計コード法を最初に支持した企業のひとつです。当社が若者のためになると信じたことは、みなさんに広めたいと考えています。また、最近ではAIが生成する児童の性的虐待に関する内容を全面的に禁止するよう州法を改正するカリフォルニア州法案SB 933の支持書簡に署名しました。
より安全な未来に向かって
この仕事に終わりはありません。どなたでも簡単にRobloxで制作できるようにするという事業に邁進しながら、当社はすでに次世代の安全ツールや機能の開発に取り組んでいます。Robloxは、企業として成長し、新しい制作や共有の仕方を提供しながら、Roblox上でもRoblox以外の場所でも、みなさんが安全で文化的な生活を送れるよう、画期的なソリューションを開発し続けていきます。