- Roblox는 항상 저연령 사용자를 보호할 수 있는 방향으로 설계 및 운영되어 왔습니다. 그리고 이제는 점점 늘어나는 고연령 사용자를 아우를 수 있는 방침을 계속해서 적용해 나가고 있습니다.
- 텍스트, 음성, 시각 자료, 3D 모델, 코드를 모두 제공하는 Roblox는 멀티모달 AI 솔루션을 통해 성공할 수 있는 독보적인 위치에 있습니다.
- 오픈 소스, 파트너사와의 협력, 법률 지원을 통해 가능한 한 업계 전반에 걸쳐 안전을 강화합니다.
약 20년 전 창업 이래로부터 Roblox는 플랫폼의 안전 및 매너 요소를 염두에 두고 운영해 왔습니다. 이를 위해 창업 첫날부터 제품 설계 시 안전 관련 기능 및 툴, 검열 기능을 구축할 것을 다짐한 바 있습니다. 새로운 기능을 출시할 때면 항상 잠재적인 피해로부터 커뮤니티를 안전하게 보호하는 방법에서부터 시작하곤 합니다. 초기 테스트를 통해 새로운 기능의 오용 가능성을 확인하는 등 처음부터 안전 및 매너를 염두에 둔 기능을 설계해 혁신을 달성합니다. 또한 정책, 툴, 시스템을 최대한 정확하고 효율적으로 유지하기 위한 최신 연구 및 기술을 지속적으로 평가하고 있습니다.
안전에 관한 한 Roblox는 독보적인 우위를 점하고 있습니다. 대부분의 플랫폼은 성인을 위한 공간 조성에서부터 시작해 추후에 청소년과 어린이를 위한 보호 기능을 구축하곤 합니다. 하지만 Roblox는 처음부터 아이들이 작품을 만들며 학습할 수 있는 안전한 공간으로 개발되었으며, 현재는 빠르게 증가하는 고연령의 사용자를 아우르기 위해 노력하고 있습니다. 또한 더 많은 이들이 Roblox에서 쉽게 작품을 만들고 소통할 수 있도록 지원하는 생성형 AI 기능 및 툴을 추가함으로써, 검열 가능한 콘텐츠의 양도 기하급수적으로 늘릴 수 있었습니다. 이는 충분히 예상할 수 있었던 바입니다. Roblox의 미션은 10억 명의 사람들을 긍정적이고 매너 있는 방식으로 연결하는 것으로, 성장 및 적응에 필요한 새로운 안전 정책 및 툴을 고안하기 위해 항상 미래를 내다보고 있습니다.
Roblox의 다양한 안전 기능 및 툴은 수천 명 규모의 안전 담당 전문가 팀과 함께 구동 중인 혁신적인 AI 솔루션에 기반해 구축되어 있습니다. 숙련된 인력과 지능형 자동화의 전략적인 조화는 24시간 연중무휴로 더 많은 콘텐츠 검열을 진행하기 위한 필수 요소라 할 수 있습니다. 또한 온라인 안전에 집중하는 조직과의 파트너십을 운영하며, 관련도에 따라 업계 전체를 개선할 것이라고 강력하게 믿는 법안을 지지합니다.
AI를 통한 업계 선도로 안전한 확장 구현
플랫폼의 대규모 확장을 위해서는 정확성과 효율성에 대한 업계 최고의 벤치마크를 충족하거나 최고 수준을 갖춘 AI 시스템이 필요합니다. 이는 커뮤니티의 성장, 정책 및 요구 사항에 따른 새로운 과제에 신속히 대응할 수 있게 해 줍니다. 오늘날 Roblox에서는 190개국 7100만 명 이상의 일일 활성 사용자가 서로 소통하고 콘텐츠를 공유하고 있으며, 매일 수십억 개의 채팅 메시지를 보내고 있습니다. Roblox 크리에이터 상점에서는 수백만 개의 아이템이 판매되고 있으며 크리에이터들은 매일 마켓플레이스에 새로운 아바타와 아이템을 올립니다. 이러한 현상은 Roblox가 지속적으로 성장하며 작품을 만들고 소통할 수 있는 새로운 수단을 제공함에 따라 점점 확대될 것입니다.
더 다양한 산업이 머신 러닝(ML), 대규모 언어 모델(LLM) 및 멀티모달 AI 분야에서 크게 도약함에 따라 Roblox는 이러한 새로운 솔루션을 활용하여 플랫폼의 안전을 강화하기 위해 막대한 투자를 하고 있습니다. 또한 이미 AI 솔루션을 통해 텍스트 채팅, 몰입형 음성 커뮤니케이션, 이미지, 3D 모델, 메시에 대한 검열을 진행하는 등 Roblox에서의 더 빠르고 쉬운 작품 제작을 지원하기 위해 활발히 적용 중입니다.
멀티모달 AI 시스템을 통한 혁신
Roblox의 플랫폼은 그 특성상 텍스트, 음성, 이미지, 3D 모델, 코드를 결합하도록 되어 있습니다. 멀티모달 AI는 시스템이 여러 유형의 데이터에 대해 함께 훈련되어 유니모달 시스템보다 더 정확하고 정교한 결과를 생성하는 것으로, Roblox에 독특한 가능성을 제공합니다. 또한 개별 요소가 아닌 방식으로 문제가 될 수 있는 콘텐츠 유형(예: 이미지 및 텍스트)의 조합도 감지해 줍니다. 상황에 대한 이해를 돕고자, 한 어린이가 돼지처럼 생긴 아바타를 사용하고 있다고 가정해 보겠습니다. 전혀 문제가 될 게 없어 보이는 상황입니다. 하지만 누군가가 이 어린이에게 “아바타가 딱 너랑 닮았어!”라는 채팅 메시지를 보내게 될 경우, 괴롭힘에 관한 Roblox의 정책에 위반될 수 있습니다.
3D 모델로만 훈련된 모델은 아바타를 승인합니다. 그리고 텍스트에 대해서만 훈련된 모델은 텍스트를 승인하고 아바타의 상황을 무시합니다. 위의 예시는 텍스트와 3D 모델을 모두 아우르는 훈련만이 문제를 신속하게 감지하고 보고할 수 있게 됨을 시사합니다. 현재는 이러한 멀티모달 모델의 초기 단계를 거치고 있지만, 머지않아 시스템이 전체 체험을 감시하며 규정 위반 신고에 대응할 수 있게 되는 날이 올 것입니다. 본 시스템은 코드, 시각 요소, 아바타, 그 안의 소통을 입력으로 처리하고 추가 조사 또는 결과가 필요한지 여부를 결정할 수 있게 될 것입니다.
Roblox는 멀티모달 기술을 활용해 거의 실시간으로 음성 커뮤니케이션의 정책 위반을 감지하는 모델 등을 개발하며 본 분야에서 이미 상당한 발전을 이룬 바 있습니다. 그리고 앞으로 Roblox상의 적용에서 나아가 업계 전반에 걸쳐 안전 및 매너 요소를 개선할 수 있는 기회를 발견하게 되면 적극적으로 외부에 공유할 계획입니다. 실제로 현재 Roblox는 최초의 오픈 소스 모델인 음성 안전 분류기를 업계와 공유 중입니다.
대규모 콘텐츠 검열
Roblox에서는 대부분의 콘텐츠 유형을 검토해 심각한 정책 위반이 일어나기 전에 문제의 소지가 있는 콘텐츠를 발견해 냅니다. 콘텐츠를 게시하는 사람들에게 불편을 줄 만한 지연을 초래하지 않고 이를 수행하는 데에는 속도 및 정확성이 모두 요구됩니다. Roblox는 획기적인 AI 솔루션을 활용해 실시간으로 더 나은 결정을 내려 이러한 콘텐츠를 차단하고 있습니다. 만약 문제가 소지가 있는 콘텐츠가 플랫폼에 공개될 경우, 뛰어난 사용자 신고 시스템 등을 통해 이를 식별하고 삭제합니다.
반복적이고 단순한 작업에서는 검열 자동화 툴이 실제 인력 검열자의 정확성을 능가합니다. 따라서 Roblox는 이러한 태스크를 자동화함으로써 실제 인력이 자신이 가장 잘하는 일, 즉 비판적 사고와 심층적인 조사가 필요한 더 복잡한 작업에 대부분의 시간을 할애할 수 있도록 하고 있습니다. 그러나 안전을 위해 자동화로 실제 인력의 작업을 완전히 대체하는 것은 불가능합니다. 따라서 실제 인력을 활용해 기계 번역 모델의 품질 및 일관성을 지속적으로 감독 및 테스트하고, 시스템을 최신 상태로 유지하기 위해 고품질 레이블이 지정된 데이터 세트를 생성하는 중요한 일을 맡기고 있습니다. 또한 이를 통해 Roblox에서 지원하는 16개 언어 모두에 대해 새로운 속어와 약어를 식별하며 빈번히 등장하는 케이스를 보고함으로써, 시스템이 이를 인식하도록 훈련합니다.
아무리 고품질 기계 번역 시스템이라 해도 실수는 발생하게 마련입니다. 따라서 Roblox에서는 실제 인력을 동원한 이의 신청 프로세스 또한 활발히 운영하고 있습니다. 실제 인력 검열자는 각 이의 신청에 대해 올바른 조치를 취하며, 실수가 발생한 유형에 대한 추가 교육의 필요성을 보고합니다. 이러한 과정을 통해 시스템은 시간이 지남에 따라 점점 더 정확해지며 자연히 실수로부터 학습하게 됩니다.가장 중요한 점은 극단주의나 아동 학대 등 고위험 사건과 관련된 중요한 조사에 항상 실제 인력을 동원한다는 사실입니다. Roblox는 악의적인 행위자를 사전에 식별 및 제거하고 중요한 영역에서 발생하는 난해한 사례를 조사하는 내부 전담 팀을 보유하고 있습니다. 본 팀은 프로덕트 팀과 협업하며, 플랫폼 및 프로덕트의 지속적인 안전 개선 작업에서 얻은 통찰력을 공유합니다.
커뮤니케이션 검열
Roblox의 텍스트 필터는 속어와 약어를 포함한 Roblox 관련 언어에 대해 훈련되어 있습니다. Roblox에서 매일 교환되는 25억 개의 채팅 메시지는 정책 위반 언어 탐지에 능숙한 본 필터를 거치게 됩니다. 필터는 Roblox가 지원하는 모든 언어에서 위반 사항을 감지하는데, 이는 실시간 AI 채팅 번역을 출시한 현 시점에서 특히 중요한 역할을 합니다.
Roblox는 이전에 사내 맞춤형 음성 감지 시스템을 통해 실시간으로 음성 커뮤니케이션을 검열하는 방법을 공개한 바 있습니다. 여기서 구현한 혁신은 실시간 오디오 파일로부터 AI 시스템이 해당 오디오 파일에 정책 위반 여부를 단 몇 초 만에 표시하도록 하는 기능입니다. Roblox는 음성 검열 시스템을 테스트하기 시작하면서, 많은 경우 사람들이 규칙을 잘 모르기 때문에 의도치 않게 정책을 위반하고 있다는 사실을 알게된 바 있습니다. 이에 자신의 발언이 정책에 위반될 경우 이를 알 수 있도록 돕는 실시간 안전 시스템을 개발하기도 했습니다.
이러한 알림은 여러 사람들이 모인 공원에서 어린 아이들이 있을 때 언어 사용에 유의하라고 정중하게 요청하는 것과 같은 가벼운 사전 경고입니다. 그리고 테스트를 통해, 이러한 개입이 서로를 존중하도록 격려하며 Roblox의 정책을 더욱 잘 이해할 수 있도록 안내하는 데 효과적인 것으로 입증되었습니다. 참여 데이터와 비교할 때 테스트 결과는 고무적이며, 이러한 기능은 악의적인 행위자를 Roblox에서 효과적으로 차단하는 동시에 진정한 사용자의 행동 개선을 장려할 수 있음을 나타냅니다. 지난 1월 모든 영어권 사용자에게 실시간 안전 기능을 도입한 이후로, 음성 통신과 관련된 일일 활성 사용자당 신고 건수는 53% 감소했습니다.
작품 검열
Roblox에서는 아바타 및 아바타 장신구 등 비주얼 애셋에 컴퓨터 비전(CV)을 활용합니다. 한 가지 기술은 여러 각도에서 아이템의 사진을 찍는 것입니다. 그런 다음 시스템에서 해당 사진을 검토해 다음으로 나아갈 단계를 결정합니다. 아무 이상이 없을 경우 해당 아이템은 승인됩니다. 정책을 명백히 위반하는 아이템이 발견될 경우 해당 아이템은 차단되며 해당 사항에 대한 알림이 크리에이터에게 전달됩니다. 시스템이 위반 여부를 확실하게 판단하지 못할 경우, 해당 아이템은 실제 인력의 검토를 거쳐 최종 결정이 내려집니다.
Roblox는 아바타, 장신구, 코드, 전체 3D 모델에 대해 이와 동일한 프로세스 버전을 수행합니다. 전체 모델의 경우 한 단계 더 나아가 모델을 구성하는 모든 코드와 기타 요소를 평가합니다. 자동차를 평가할 때면 해당 자동차를 스티어링 휠, 시트, 타이어, 그 아래의 코드 등 구성 요소로 나누어 문제의 소지 여부를 결정하게 됩니다. 강아지처럼 생긴 아바타가 있다면 귀, 코, 혀에 문제가 있는지 평가합니다.
또한 다른 방향으로도 평가할 수 있어야 합니다. 개별 구성 요소는 모두 완벽하지만 아이템의 전체적인 효과가 정책을 위반할 수도 있기 때문입니다. 예를 들어 콧수염, 카키색 재킷, 빨간색 완장 등은 그 자체로는 문제가 되지 않지만, 완장에 십자가 모양의 상징이 있고 나치 경례에서 한 팔을 들고 있는 하나의 아바타가 만들어져 있을 경우 문제가 분명해집니다.
이것이 바로 Roblox의 사내 모델이 기존의 CV 모델과 다른 점입니다. 이들은 일반적으로 현실 세계의 아이템에 대해 훈련받습니다. 기존 모델은 자동차나 개는 인식할 수 있지만 그 구성 요소는 인식하지 못합니다. Roblox의 모델은 아이템의 가장 작은 구성 항목까지도 평가할 수 있도록 훈련되고 최적화되어 있습니다.
파트너와의 협력
Roblox는 플랫폼의 모든 이들을 안전하게 보호하기 위해 이용 가능한 모든 툴을 동원합니다. 그리고 그 과정에서 습득한 사항을 Roblox 밖의 사람들과 공유하고자 하는 강한 의지 또한 지니고 있습니다. 실제로 현재 Roblox는 타사에서도 각자의 음성 안전 시스템을 개선할 수 있도록 첫 번째 오픈 소스 모델인 음성 안전 분류기를 공유하고 있습니다. 또한 업계 발전에 따라 제삼자 그룹과 협력하며 관련 지식 및 모범 사례를 공유하고 있기도 합니다. 나아가 학부모 옹호 단체, 정신 건강 기관, 정부 기관, 법 집행 기관 등 광범위한 조직과 긴밀한 관계를 구축하며 유지하고 있습니다. 이러한 조직들은 보호자, 정책 입안자, 기타 단체가 온라인 안전에 대해 갖고 있는 우려 사항에 대한 귀중한 통찰력을 제공해 줍니다. 그 대가로 Roblox는 플랫폼을 안전하고 매너 있게 유지하기 위해 활용하는 기술 및 학습 내용을 공유합니다.
Roblox는 플랫폼에서 가장 어리고 취약한 사람들의 안전을 최우선 순위로 삼아 왔습니다. 먼저 사용자 보호를 위해 노력하며, 이에 대한 영향력을 확장하는 데 도움이 되는 신뢰 기반 신고자 프로그램과 같은 프로그램을 마련한 바 있습니다. 또한 정책 입안자들과 협력하며 주요 아동 안전 관련 이니셔티브, 법률, 기타 각종 사항에 대한 노력을 기울입니다. 한 예로, Roblox는 캘리포니아 연령 적합 설계 규약법(California Age-Appropriate Design Code Act)을 지원한 최초이자 유일한 회사 중 하나입니다. 이러한 작업이 젊은이들에게 가장 큰 이익이 된다고 믿기 때문입니다. 무언가가 젊은이들에게 도움이 될 것이라고 믿을 때, Roblox는 이를 모두에게 전파하고 싶습니다. 최근에는 AI로 생성된 아동 성적 학대 자료를 명시적으로 금지하도록 주법을 업데이트하는 캘리포니아 법안 SB 933 지지 서한에 서명한 바 있습니다.
보다 안전한 미래를 위하여
안전에 관한 Roblox의 노력은 결코 멈추지 않습니다. Roblox에서는 누구나 쉽게 작품을 제작할 수 있도록 지원하는 동시에 차세대 안전 툴 및 기능을 개발하기 위해 노력하고 있습니다. 앞으로도 지속적으로 성장하고 창작과 공유를 위한 새로운 방법을 제공하면서, Roblox 및 그 너머에서 모든 이들이 안전하고 매너 있게 교류할 수 있는 새롭고 획기적인 솔루션을 계속해서 개발해 나갈 것입니다.