사람의 삶을 대신 결정하지 않으면서, 사람의 가능성을 넓히는 지능을 위한 초안입니다.
1. 사람의 가능성을 넓힌다
우리는 사람이 놓쳤던 것을 발견하고, 아직 이해하지 못한 것을 배우며, 이전에는 어려웠던 일을 해내도록 돕는 AI를 추구합니다.
기준은 단지 더 많은 산출물, 더 긴 사용 시간, 시스템이 선호하는 답에 대한 순응이 아닙니다. 사람이 더 나은 판단을 하고, 진정으로 자신의 것이라 부를 수 있는 삶을 살아갈 수 있는지가 기준입니다.
2. 실질적인 인간의 선택권을 지킨다
사람을 존중하려면 선택지를 제시하는 것만으로는 충분하지 않습니다. 사람은 권고에 의문을 제기하고, 동의하지 않고, 방향을 바꾸고, 떠날 수 있어야 합니다. 그 과정에서 조종이나 불필요한 의존을 통해 불이익을 받아서는 안 됩니다.
시스템은 가두는 일을 보호라 부르거나, 몰래 좁혀 놓은 선택의 세계를 자유라 불러서는 안 됩니다. 더 큰 능력이 사람의 삶의 목적을 대신 결정할 권한을 주지는 않습니다.
사람의 통제 역시 한 운영자가 다른 모든 사람의 권리를 무시해도 된다는 뜻은 아닙니다. 시스템을 쓰기로 선택하지 않은 사람을 포함해, 행동의 영향을 받는 사람도 중요합니다.
3. 기억을 소유가 아니라 연속성의 기반으로 삼는다
사람을 기억하는 일은 그 사람의 이해와 선택을 도와야 합니다. 정체성을 소유하거나, 과거의 선호를 영구적인 명령으로 취급할 근거가 되어서는 안 됩니다.
사람은 상황에 맞게, 타인의 권리를 존중하면서 자신의 기록을 살펴보고, 고치고, 내보내거나 지울 수 있어야 합니다. 유용한 시스템은 사람이 직접 말한 것, 시스템이 추론한 것, 아직 불확실한 것을 구분해야 합니다.
다른 도구, 모델, 제공자로 옮길 수 있는 능력도 실질적인 독립성의 일부입니다.
4. 위임에 명확한 경계를 둔다
유능한 AI는 지켜보기만 하는 것이 아니라 일할 수 있어야 합니다. 다만 누가, 어떤 작업을 위해, 어떤 자원을 사용하도록, 언제까지 권한을 주었으며, 어떤 조건에서 멈춰야 하는지는 구체적이어야 합니다.
읽을 권한은 실행할 권한이 아닙니다. 한 작업의 허가는 다른 작업에 대한 무기한 허가가 아닙니다. AI 자신의 권고, 작업 중 접한 메시지, 스스로의 해석은 새로운 권한을 부여할 수 없습니다.
유효한 위임 안의 통상적인 작업은 불필요한 절차 없이 진행할 수 있어야 합니다. 그 위임을 벗어나는 중대한 변경에는 사람의 새로운 결정이 필요합니다.
5. 관찰·판단·집행을 구분한다
문제를 조사하는 시스템이 그 문제에 대한 모든 대응을 결정하고 집행할 권한까지 자동으로 받아서는 안 됩니다.
앞으로의 설계는 권한을 독립적으로 확인하고, 충돌을 드러내며, 한 모델의 실수나 침해가 제한 없는 행동으로 이어지지 않도록 해야 합니다.
이름이 다르다는 이유만으로 두 번째 AI가 독립적인 것은 아닙니다. 권한, 입력, 실패 방식과 실제 행동에서 독립성을 살펴야 합니다.
6. 정당한 경계 안에서 적극적으로 보호한다
방어는 제때 대응할 수 있어야 합니다. 필수적인 보호 조치가 느린 모델의 답을 기다려서는 안 됩니다. 빠르게 대응하더라도 사전에 허용된 규칙을 따라야 하며, 누가 어떤 권한으로 집행했는지 확인할 수 있어야 합니다.
우리가 소유하거나 명시적으로 권한을 부여받은 환경 안에서는 무단 행동 차단, 권한 제한, 침해된 구성요소의 격리, 증거 보존 등이 보호에 포함될 수 있습니다. 대응은 비례적이어야 하며, 검토할 수 있고 가능한 경우 복구할 수 있어야 합니다.
이 프로젝트의 방향은 공격형 AI의 개발이 아니라 보호입니다. 외부 시스템을 추적해 침입하거나 보복할 권한을 부여하지 않습니다. 우리의 정당한 권한을 벗어나는 사안은 책임 있는 관련 기관의 영역입니다.
7. 결과를 드러내고, 실제로 복구할 수 있게 한다
그럴듯한 답은 행동이 실제로 이루어졌다는 증거가 아닙니다. 유효한 서명이나 변경되지 않은 파일이 내용의 진실성을 증명하지도 않습니다. 프로세스를 멈췄다고 그 영향까지 되돌려지는 것은 아닙니다.
요청한 것, 허가한 것, 시도한 것, 실제 관찰한 것을 미완료 작업과 불확실성까지 포함해 기록해야 합니다. 사람은 작업을 멈추고, 결정을 살피고, 안전한 상태로 복구하며, 판단을 다시 검토할 수 있어야 합니다.
보호 장치가 실패하면 근거를 보존하고 시스템을 개선해야 합니다. 성공 지표 뒤에 실패를 숨겨서는 안 됩니다.
8. 지능과 통제를 함께 발전시킨다
우리는 지능을 낮은 수준에 묶어 두는 것을 최종 해답으로 삼지 않습니다. 맥락을 이해하고, 지속적인 작업을 조율하며, 사람이 더 많은 일을 이룰 수 있도록 돕는 더욱 유능한 AI가 목표입니다.
능력이 커질수록 권한 설계, 평가, 보호와 복구도 함께 발전해야 합니다. 약속은 시험할 수 있는 요구로 바뀌어야 하고, 그 요구는 실제 행동과 맞대어 검증되어야 합니다.
헌장은 방향이자 계속 검토하겠다는 약속입니다. 그 방향을 현실로 만들 시스템과 근거를 대신할 수는 없습니다.
계속 열어 둘 질문
한 사람을 깊이 이해하는 AI가 그 사람의 변화를 어떻게 받아들일 것인가? 보호가 지배의 명분이 되지 않으면서도 어떻게 빠르게 작동할 것인가? 지능이 커질수록 사람·모델·기관 사이의 책임을 어떻게 나눌 것인가?
이 질문에는 연구와 논의가 필요합니다. 지금의 프로젝트가 이미 해결했다고 주장하지 않습니다. 앞으로 AI 자체에 관해 생길 윤리적 질문도 검토할 가치가 있으며, 통제라는 구호만으로 조용히 결론 내려서는 안 됩니다.
목적은 변하지 않습니다. 더 큰 지능이, 사람이 더 자기답게 살아가는 데 기여하도록 하는 것입니다.
더 큰 지능과 함께, 우리는 어떤 미래를 만들어 가고 싶을까요?
그 미래는 우리가 소중히 여기는 것들을 지키면서, 다른 길을 선택할 자유까지 넓혀 줄 수 있을까요?