우리는 이미 특이점의 입구에 서 있는지도 모른다 - 하사비스가 7월 14일

우리는 이미 특이점의 입구에 서 있는지도 모른다

산업혁명보다 10배 큰 충격이 10배 빠른 속도로 올 수 있다고 경고해 온 데미스 하사비스가, 이번에는 그 속도를 제어하기 위한 구체적인 장치를 제안했습니다.

하사비스가 7월 14일 공개한 칼럼의 핵심은 단순합니다.

AGI 개발을 멈추자는 것이 아니라, 인간이 통제할 수 있는 속도로 전진하자는 것입니다.

AGI란 무엇인가

AGI는 Artificial General Intelligence, 즉 범용 인공지능을 뜻합니다.

현재의 AI는 특정 분야에서 매우 뛰어난 도구에 가깝습니다.

• 코딩을 돕는 AI
• 이미지를 만드는 AI
• 문서를 요약하는 AI
• 단백질 구조를 분석하는 AI

각각의 능력은 강력하지만, 아직은 사람이 목표를 정하고 필요한 도구를 선택해야 합니다.

반면 AGI는 인간처럼 여러 분야의 지식을 연결하고, 처음 접한 문제를 이해하며, 스스로 해결 방법을 찾아가는 인공지능입니다.

쉽게 비유하면 현재 AI는 각 분야의 뛰어난 전문 기술자에 가깝고, AGI는 새로운 상황을 이해하고 여러 전문가를 지휘하며 계획까지 세울 수 있는 범용 연구자이자 관리자에 가깝습니다.

현재 AI가 내비게이션이라면, AGI는 목적지를 듣고 이동 방법을 선택하고, 교통 상황을 분석하고, 필요하면 새로운 길까지 설계하는 운전자와 비슷합니다.

AGI가 특별히 중요한 이유

AGI가 등장하면 단순히 업무 몇 가지가 자동화되는 수준에서 끝나지 않습니다.

과학, 의학, 에너지, 국방, 금융, 소프트웨어 개발 등 거의 모든 지식산업의 발전 속도 자체가 빨라질 수 있습니다.

예를 들어 한 명의 천재 과학자가 평생 수행할 연구를 수백만 개의 AGI가 동시에 진행한다고 가정할 수 있습니다.

그렇게 되면 신약 개발, 핵융합, 신소재, 기후 기술처럼 수십 년이 걸리던 연구가 몇 년 또는 몇 달 단위로 압축될 가능성도 있습니다.

AGI는 단순한 새로운 기계가 아니라, 새로운 기계를 발명하는 능력 자체를 자동화하는 기술이기 때문입니다.

증기기관은 인간의 근육을 증폭시켰고, 컴퓨터는 인간의 계산 능력을 증폭시켰습니다.

AGI는 인간의 사고력과 발명 능력을 증폭시킬 수 있습니다.

이 점에서 AGI는 하나의 제품이라기보다, 산업혁명을 계속 만들어내는 발명 엔진에 가깝습니다.

특이점은 무엇인가

특이점은 AI의 발전 속도가 너무 빨라져 인간이 그 이후의 변화를 제대로 예측하기 어려워지는 시점을 말합니다.

핵심은 AI가 더 똑똑해지는 것만이 아닙니다.

AI가 다음 세대 AI를 연구하고 개선하기 시작하면 발전 과정에 가속이 붙을 수 있다는 점이 중요합니다.

이를 계단에 비유할 수 있습니다.

현재까지는 인간이 한 계단씩 직접 만들고 올라왔습니다. 하지만 AGI가 등장하면 계단을 오르는 존재가 다음 계단을 스스로 설계하고 건설하기 시작합니다.

처음에는 천천히 올라가더라도, 어느 순간부터 계단을 만드는 속도가 계단을 오르는 속도보다 빨라질 수 있습니다.

또는 눈덩이에 비유할 수도 있습니다.

처음에는 사람이 눈덩이를 굴리지만, 경사가 가팔라지면 눈덩이는 스스로 커지며 가속합니다. 문제는 그 눈덩이가 어디로 향하는지, 그리고 인간이 멈출 수 있는지입니다.

하사비스가 말하는 특이점의 위험은 바로 여기에 있습니다.

인간이 AI를 발전시키는 단계에서, AI가 AI의 발전 속도를 결정하는 단계로 넘어갈 수 있다는 것입니다.

산업혁명의 10배 충격이 10배 빠르게 온다는 의미

산업혁명은 인간 사회를 완전히 바꾸었지만, 변화가 확산되는 데는 수십 년에서 백 년 이상이 걸렸습니다.

공장이 생기고, 도시가 성장하고, 노동 구조와 교육제도, 법률과 복지제도가 변화할 시간이 있었습니다.

하지만 AGI 혁명은 다를 수 있습니다.

AI는 소프트웨어이기 때문에 새로운 능력이 완성되는 순간 전 세계에 거의 동시에 복제될 수 있습니다.

증기기관을 보급하려면 공장을 짓고 철도를 놓아야 했지만, AI는 서버에 배포하는 것만으로 수백만 명이 즉시 사용할 수 있습니다.

따라서 AGI의 충격이 산업혁명보다 크면서도 훨씬 짧은 시간 안에 확산될 수 있다는 것이 하사비스의 문제의식입니다.

비유하자면 산업혁명은 수십 년 동안 서서히 높아진 파도였다면, AGI는 매우 먼 곳에서 빠르게 다가오는 거대한 쓰나미에 가깝습니다.

파도를 없앨 수는 없지만, 방파제와 대피 체계를 먼저 만들어야 합니다.

하사비스가 제안한 안전장치

하사비스는 막연하게 "AI를 안전하게 만들자"고 말하는 데서 그치지 않았습니다.

누가 검사하고, 언제 검사하며, 위험할 경우 어떻게 속도를 늦출 것인지까지 비교적 구체적으로 제안했습니다.

1. 프런티어 AI 표준기구 설립

미국 증권업계의 자율규제기관인 FINRA와 비슷한 형태로, 최첨단 AI 모델을 관리하는 독립적인 표준기구를 만들자는 제안입니다.

AI 기업들이 비용을 부담하되 정부의 감독을 받고, 공통된 안전 기준에 따라 모델을 평가하는 구조입니다.

자동차 회사가 각자 자신의 차량이 안전하다고 주장하는 것이 아니라, 공통된 충돌 시험을 거치는 것과 비슷합니다.

2. 배포 30일 전 사전 평가

고성능 AI 모델을 대중에게 공개하기 전에 최소 30일 동안 독립적인 안전 평가를 받도록 하자는 내용입니다.

평가 대상에는 다음과 같은 위험이 포함됩니다.

• 사이버 공격 능력
• 생물학·화학·핵 관련 위험
• 인간을 속이거나 의도를 숨기는 행동
• 안전장치를 우회하는 능력
• 스스로 복제하거나 통제에서 벗어날 가능성

지금까지는 AI 기업이 모델을 먼저 공개한 뒤 문제가 생기면 수정하는 방식에 가까웠습니다.

하지만 AGI 수준의 시스템은 스마트폰 앱처럼 오류가 발생한 뒤 패치하면 된다고 보기 어렵습니다.

강력한 모델이 한번 공개되면 복제와 확산을 되돌리기 어려울 수 있기 때문입니다.

3. 공동 감속 조항

가장 중요한 제안 중 하나는 경쟁 기업들이 함께 속도를 늦출 수 있는 공동 감속 장치입니다.

현재 AI 기업들은 치열하게 경쟁하고 있습니다.

한 회사가 안전을 위해 개발을 늦추더라도 경쟁사가 계속 개발하면, 먼저 멈춘 기업만 손해를 볼 수 있습니다.

이는 여러 대의 자동차가 동시에 절벽을 향해 달리는 상황과 비슷합니다.

한 운전자만 브레이크를 밟으면 경주에서 뒤처지기 때문에 아무도 먼저 속도를 줄이지 못합니다.

따라서 일정 수준 이상의 위험이 확인되면 여러 AI 기업이 동시에 개발이나 배포 속도를 늦추는 규칙이 필요하다는 것입니다.

핵심은 브레이크를 밟는 기업이 경쟁에서 패배하지 않도록 만드는 것입니다.

4. 해외 및 오픈소스 모델에도 같은 기준 적용

미국의 대형 AI 기업만 규제해서는 효과가 제한적입니다.

강력한 모델은 다른 국가나 오픈소스 생태계에서도 개발될 수 있기 때문입니다.

따라서 일정 수준 이상의 연산 능력이나 위험 능력을 가진 모델이라면 개발 주체와 관계없이 같은 안전 기준을 적용해야 한다는 주장입니다.

하사비스가 AGI 개발을 반대하는 것은 아니다

하사비스는 AGI 개발을 중단해야 한다고 주장하는 사람이 아닙니다.

오히려 AGI가 인류의 가장 어려운 문제를 해결할 수 있다고 강하게 믿는 개발자에 가깝습니다.

신약 개발, 질병 치료, 에너지 문제, 기후변화, 수학과 과학의 난제를 해결하는 데 AGI가 결정적인 역할을 할 수 있다고 봅니다.

다만 자동차가 강력해질수록 브레이크와 교통법규가 중요해지는 것처럼, AI의 능력이 커질수록 안전 체계도 함께 강해져야 한다는 입장입니다.

엔진의 성능은 매년 높아지는데 브레이크는 그대로라면, 빠른 자동차는 진보가 아니라 위험이 됩니다.

하사비스의 제안은 AGI라는 엔진을 약하게 만들자는 것이 아닙니다.

엔진의 속도에 맞는 브레이크, 신호등, 충돌 시험, 운전면허 제도를 지금부터 만들자는 것입니다.

이 칼럼이 중요한 이유

올해 공개된 AGI 거버넌스 논의 가운데 이 칼럼이 주목받는 이유는 구체성에 있습니다.

기존 논의가 주로 다음과 같은 원칙에 머물렀다면,

• AI는 안전해야 한다
• 인간의 가치와 정렬되어야 한다
• 기업은 책임 있게 개발해야 한다

하사비스는 한 단계 더 나아가 다음 질문에 답하려 했습니다.

• 모델을 누가 검사할 것인가
• 언제 검사할 것인가
• 무엇을 위험으로 판단할 것인가
• 위험할 때 누가 속도를 늦출 것인가
• 경쟁 기업들이 동시에 감속하도록 어떻게 만들 것인가

즉, 철학적 선언을 실제 제도로 옮기려는 시도입니다.

한 문장 요약

하사비스의 메시지는 AGI라는 거대한 파도를 막자는 것이 아니라, 파도가 도착하기 전에 방파제와 대피 체계를 먼저 만들자는 제안이다.

우리는 아직 특이점에 도달하지 않았을 수 있습니다.

하지만 특이점 이후에는 제도를 설계할 시간이 부족할 수 있습니다.

그래서 하사비스가 강조하는 시점은 미래가 아니라 바로 지금입니다.

AGI를 통제할 수 있을 때 통제 장치를 만들어야 한다. AGI가 인간보다 빠르게 발전하기 시작한 뒤에는 너무 늦을 수 있기 때문이다.