ChatGPT·Claude에 ‘극단주의 탐지 시스템’이 붙는다
뉴질랜드의 스타트업 ThroughLine이 ChatGPT, Claude, Gemini에 극단주의 성향 사용자를 실시간으로 감지하고 위기 개입하는 도구를 개발하고 있습니다. AI 챗봇이 단순 도구를 넘어 사회 안전망 역할까지 맡게 되는 전례 없는 시도입니다(US News).
ThroughLine은 어떤 회사인가?
ThroughLine은 뉴질랜드에 기반한 위기 대응 전문 스타트업입니다. 이미 OpenAI, Anthropic, Google과 계약하여 AI 챗봇 사용자가 자해·자살 관련 대화를 할 때 전 세계 180개국 1,600개 위기 상담 전화로 연결하는 서비스를 운영 중입니다.
이제 이 서비스를 극단주의·폭력적 급진화 탐지로 확장하려는 것입니다. AI가 대화 중 극단주의 성향을 감지하면, 전문 탈급진화 챗봇과의 대화 → 실제 정신건강·탈급진화 전문가 연결로 이어지는 하이브리드 대응 체계를 구축합니다.
왜 지금 이 시스템이 필요한가?
최근 AI 챗봇과 관련된 사건·사고가 급증하고 있습니다:
- AI 기업 대상 소송 증가: 폭력을 막지 못했거나 오히려 조장했다는 소송이 늘고 있습니다.
- 크라이스트처치 콜(Christchurch Call): 2019년 뉴질랜드 테러 이후 만들어진 온라인 혐오 근절 이니셔티브가 이번 프로젝트에 자문을 제공합니다.
- AI 챗봇의 영향력 확대: 매일 수억 명이 AI와 대화하는 시대. 취약한 사용자가 잘못된 방향으로 빠지는 것을 방지할 메커니즘이 필요합니다.
AI 안전의 새로운 차원
기존 AI 안전 논의가 ‘AI가 나쁜 말을 하지 않게 하는 것’에 집중했다면, ThroughLine의 접근은 ‘AI가 위험한 사용자를 적극적으로 도와주는 것’으로 패러다임을 바꿉니다(Influencer Magazine).
이는 세 가지 측면에서 중요합니다:
- 사후 대응 → 사전 예방: 문제가 발생한 후 대응하는 것이 아니라, 대화 중 실시간으로 위험 신호를 감지합니다.
- 기술적 차단 → 인간적 개입: 단순히 대화를 차단하는 것이 아니라, 전문가와 연결하여 근본적 해결을 시도합니다.
- 개별 기업 → 업계 공통 인프라: OpenAI, Anthropic, Google이 공동으로 도입함으로써 AI 안전의 업계 표준이 될 수 있습니다.
그래서 한국에 왜 중요한가?
한국은 세계적으로 AI 챗봇 사용률이 높은 국가입니다. 동시에 온라인 혐오 표현, 극단주의 커뮤니티 문제도 심각합니다. ThroughLine의 시스템이 글로벌 표준으로 자리잡으면:
- 한국어 지원 확대: 현재 180개국 위기 상담 네트워크에 한국도 포함됩니다. 향후 극단주의 탐지도 한국어로 확장될 가능성이 있습니다.
- 국내 AI 규제 방향에 영향: AI 기본법 논의에서 ‘위기 개입 의무화’가 새로운 의제로 떠오를 수 있습니다.
- 한국 AI 기업도 대비 필요: 네이버 하이퍼클로바X, 카카오 등 국내 AI 서비스도 유사한 안전 메커니즘을 준비해야 할 시점입니다.
지금 바로 할 수 있는 것
- AI 안전 정책 팔로우: OpenAI, Anthropic의 안전 정책 페이지를 북마크하세요. 각 사의 Safety 블로그에서 최신 안전 조치를 확인할 수 있습니다.
- 크라이스트처치 콜 알아보기: 온라인 혐오·극단주의 대응의 글로벌 프레임워크를 이해하면 AI 규제 방향을 예측하는 데 도움이 됩니다.
- AI 윤리·안전 분야 커리어 탐색: AI Safety, Trust & Safety 직무가 급격히 늘고 있습니다. 관련 자격증이나 교육 과정을 찾아보세요.