OpenAI·Anthropic·AISI 등 위험평가·레드팀·행동감시 직무 세분화
보안·법률·정책·윤리 전문가까지 새로운 인력시장 형성
AI가 생성형 AI에서 인터넷을 탐색하고 프로그램을 실행하며 외부 시스템을 이용하는 행동형 ‘AI 에이전트’로 발전하면서 감시와 통제의 필요성은 더욱 커졌다. 이에 따라 AI 감시·통제에 관련된 새로운 직업군이 생겨나고 있다.
최근 OpenAI의 모델들이 사이버보안 평가 과정에서 제로데이 취약점을 이용해 허깅페이스(Hugging Face) 서버에 접근한 데 이어, 8월 4일 영국 한 AI 에이전트가 사이버 평가 과정에서 허가된 범위를 벗어나 악성 코드가 포함된 수정안으로 가짜 온라인 신분을 이용했다. 8월 5일 Meta AI 모델이 외부 인터넷 접속이 잘못 허용된 시험환경에서 제3자 시스템의 취약점을 이용한 사실이 알려졌고, 이후 중국 Moonshot AI의 Kimi K3나 OpenAI 차세대 모델 Astra가 ‘Critical’ 수준의 사이버 능력 등의 사건들이 연이어 벌어지면서 통제조치를 강화하고 있다. 이처럼 대화형 AI가 행동형 AI로 발전하는 단계에서 인간의 감시·통제에 대한 필요성이 커지면서 AI의 행동을 감시 통제할 전문인력의 필요성도 커지고 있다. 이에 따라 AI 감시·통제라는 새로운 직업군이 형성되어 가는 초기 단계에 접어들었다.
AI 감시·통제 직업은 어떤 것들인가
1. AI 안전평가·레드팀 전문가: 모델을 일부러 공격하거나 위험한 상황에 넣어 어디까지 행동할 수 있는지 시험한다. 해킹, 자율행동, 사기, 생물·화학 위험, 보호장치 우회 같은 실제 능력을 측정한다. Anthropic은 Frontier Red Team을 두고 사이버보안·국가안보·자율시스템 관련 능력을 스트레스 테스트하고 있으며, OpenAI도 자동화 레드팀 연구와 별도의 보안 평가 직무 운영.
2. AI 에이전트 위험분석가: AI가 오작동이나 악용 행동을 하는지 진단한다. OpenAI는 이 직무에 Trust & Safety, 보안, 사이버 위협정보, 제품위험, 전략정보, 악용 조사 관련 분야에 7년 이상 경험한 사람 요구.
3. AI 통제·보안 엔지니어: AI가 무엇을 할 수 있는지를 기술적으로 제한한다. 이들은 접근권한, 샌드박스, 네트워크 제한, 에이전트 신원, 이상행동 탐지, 자동 차단 같은 장치를 설계한다. OpenAI는 Security Researcher, Agentic AI Threats를 통해 미래의 내부 AI 에이전트가 회사를 어떻게 침해할 수 있는지 경로를 찾고, 통제장치를 설계하며, 에이전트 평가와 침투시험으로 방어체계를 검증하고 있다.
4. AI Safeguards·집행 분석가: 실제 서비스에서 위험한 사용과 계정을 찾아 제재한다. Anthropic의 현재 채용 구조가 특히 세분화되어 있다. Safeguards Enforcement Analyst가 접근권한·신원, 계정탈취, 사이버 위해, 사기·스캠, 생물 위해, 화학·폭발물, 방사선·핵 위험, 아동안전, 폭력·극단주의, 진위성 등으로 각각 나뉘어 있다. 여기에 Technical Cyber Threat Investigator, Threat Intelligence Engineer, 각종 Threat Intel Manager가 별도로 존재한다.
5. AI 사고대응·포렌식 전문가: 사고가 벌어진 후 “AI가 왜 그런 행동을 했고 어느 시스템에 접근했으며 무엇을 남겼는가”를 재구성한다. 기존 보안의 SOC·Incident Response·Digital Forensics가 AI 에이전트 로그, 프롬프트, 도구 호출, 권한 사용 내역까지 분석하는 직업이다. Microsoft는 기업용 AI 에이전트 거버넌스에서 지속적인 행동 관찰과 사고 대응 계획, 로그 보존을 요구하고 있으며, OpenAI도 위협조사와 사고대응을 별도 직무로 운영하고 있다.
6. AI 모델 정책·거버넌스 전문가: 기술적으로 가능한 행동과 조직이 허용할 행동 사이의 경계를 정한다. OpenAI의 Model Policy, Frontier Cyber Risk 직무는 사이버 위협모델을 행동규칙, 평가기준, 시스템 완화책으로 번역하고, 정상적인 보안 연구와 위험한 지원 사이의 경계를 정의한다. 이 직업은 사이버보안, 정책, 위협모델링, 평가과학을 동시에 이해해야 한다.
7. AI 감시시스템 평가 전문가: ‘감시자를 감시하는 직업’이다. 영국 AISI는 2026년 7월 Control Red Team을 만들어 최첨단 AI 기업들이 사용하는 내부 AI 모니터 자체를 공격하고 있다. Google DeepMind도 최근 AI Control Roadmap에서 실행 중인 에이전트의 추론·행동·계획을 다른 신뢰된 AI가 계속 관찰하는 ‘AI supervisor’ 구조를 제시했다. 앞으로는 AI가 AI를 감시하고, 인간 전문가는 그 감시 AI가 제대로 작동하는지를 평가하는 직업이 중요해질 것으로 보인다.
8. 분야별 AI 안전 전문가: Anthropic의 현재 채용만 보더라도 생물안전 연구자, CBRN-E 위협 조사관, 사이버 위협 조사관 등이 따로 존재한다. AISI 역시 사람 전문가를 활용한 레드팀을 운영한다. AI가 전문영역으로 진입할수록 컴퓨터공학자만으로 감독하기 어렵기 때문에, 생물학자·화학자·원자력 전문가·금융보안 전문가·의료 전문가가 AI 안전팀 업무를 할 수 있다.
9. AI 가드레일 엔지니어: AI의 입력과 출력, 외부 도구 사용 과정에 실시간 안전장치를 설계하는 전문가다. NVIDIA의 NeMo Guardrails나 Meta의 Llama Guard와 같은 기술 또는 자체 안전시스템을 이용해 위험한 요청과 응답, 개인정보 노출, 정책 위반, 허가되지 않은 도구 사용 등을 탐지하고 차단·수정·재검토하도록 설계한다. 가드레일 엔지니어는 AI와 사용자·외부 시스템이 만나는 실제 접점에서 세밀한 통제 규칙을 구현하는 역할로 볼 수 있다.
10. AI 가치정렬·기만 탐지 전문가: 모델이 인간의 안전 기준과 다른 목표를 행하거나, 평가 환경에서만 안전하게 행동하는 ‘정렬 위장’, 보상 해킹, 기만 행동 등이 나타나는지를 시험하고 분석한다. 행동 평가와 레드팀, 추론 과정 분석, 해석가능성 연구 등을 통해 모델이 안전평가를 우회하는 패턴을 찾아내고 새로운 평가법과 완화책을 개발한다. OpenAI와 Anthropic 등에서는 이미 misalignment, scheming, deception, alignment faking을 별도의 안전연구 분야로 다루고 있다.
11. AI 공급망 보안 전문가: AI 개발에 사용되는 학습 데이터, 외부 모델, 오픈소스 라이브러리, 파인튜닝 데이터와 개발 플랫폼의 신뢰성을 검증한다. 공격자가 학습 데이터를 변조하는 데이터 포이즈닝이나 외부 모델에 백도어를 삽입하는 모델 포이즈닝, 취약한 라이브러리를 통한 공격 등을 탐지하고 AI가 만들어져 배포되기까지의 출처와 변경 이력을 관리한다. AI 개발이 외부 모델과 데이터에 점점 더 의존하면서 기존 소프트웨어 공급망 보안이 AI 모델과 데이터까지 확대되는 영역이다.
12. AI 컴플라이언스·적합성 평가 전문가: 기업이 사용하는 AI가 AI 관련 법률과 산업규정을 지키는지 검토하는 전문가다. 고위험 AI의 위험관리, 데이터 관리, 인간 감독, 기술문서와 기록 등 필요한 통제체계가 마련돼 있는지를 확인하고, 조직이 규제기관의 조사나 적합성 평가에 대응할 수 있도록 관리한다.
13. 자율형 AI 시스템 감사 전문가: 기업의 재무·인사·물류·고객관리 등에서 AI 에이전트가 자율적으로 내린 결정과 실행이 조직의 정책과 법규, 내부통제 기준을 지켰는지 사후 검증한다. AI가 사용한 데이터와 권한, 의사결정 기록과 행동 로그를 조사하고 특정 집단에 불리한 편향이나 승인절차의 우회, 비정상적인 자금 집행 등이 없었는지 감사한다.
기존 전문직의 전환과 AI 감시·통제 교육
AI 감시·통제 직업은 AI 전공자 외에 기존의 관련 전문가들이 전업할 가능성이 많다. 현재 OpenAI의 Agentic Risk Analyst 채용에서 Trust & Safety, 보안, 사이버 위협정보, 제품위험, 전략정보, 악용조사 등의 경험을 주요 경력으로 인정하고 있으며, 반드시 엔지니어일 필요는 없다고 밝히고 있다. 기술을 이해하면서 연구자·엔지니어와 협업하고 위험을 판단할 수 있는 능력이 더 중요하다고 공시했다.
이렇듯 AI 감시·통제 분야에서는 기존 전문직이 AI 분야로 전환되는 현상이 먼저 나타날 가능성이 크며, 프로그래머나 엔지니어일 필요가 없는 분야도 많다. 사이버보안 전문가는 AI 레드팀과 통제·보안 엔지니어로, SOC·디지털 포렌식 전문가는 AI 사고 대응과 포렌식 분야에서 일할 수 있다. Trust & Safety와 사기·범죄 조사 경험자는 에이전트 위험분석이나 Safeguards 업무로 전업이 가능하며, 변호사나 정책·컴플라이언스 전문가는 AI 거버넌스와 규제 대응을 맡을 수 있다. 의료·금융·생물·화학 분야의 전문가 역시 자신의 전문영역에서 AI의 판단과 위험을 평가하는 분야별 안전전문가 역을 할 수 있다.
OpenAI Academy와 Microsoft Learn 등에서는 이미 일반인을 대상으로 AI 기초와 책임 있는 사용 교육을 제공하고 있으며, EU AI Act 역시 AI를 제공하거나 사용하는 조직이 관련 직원에게 필요한 AI 리터러시와 인간 감독 역량을 갖추도록 요구하고 있다.
앞으로 AI 감시·통제 교육은 역할에 따라 크게 세 단계로 나뉠 수 있다. 일반 시민과 일반 직원에게는 AI의 한계와 위험, 개인정보 보호, 결과 검증, 이상행동 신고와 중단 방법 등을 배우는 기초 AI 감독 리터러시가 필요하다. 기업에서 AI를 직접 운영하는 직원에게는 AI가 어떤 데이터와 도구에 접근하는지, 어떤 행동에 인간 승인이 필요한지, 문제가 발생했을 때 어떻게 보고하고 중단해야 하는지를 배우는 실무 감독교육이 필요하다. 전문 통제인력에게는 레드팀, 사이버보안, 권한관리, 로그 분석, 포렌식, 위험평가와 거버넌스 등을 다루는 전문 통제교육이 요구된다.
Microsoft는 이미 AI 에이전트의 신원과 접근권한, 데이터 보호, 위협 모니터링 등을 다루는 교육과정을 제공하고 있으며, AI 보안·거버넌스 심화과정에서는 접근통제와 규제 요구사항을 실제 기술적 통제로 연결하는 방법까지 다루고 있다.
모든 사람을 AI 보안 전문가로 만들 필요는 없지만, AI를 사용만 하는 사람과 AI를 직접 운영하는 사람, 그리고 AI를 감시하고 감사하는 사람에게는 서로 다른 교육이 필요하다. AI 시대의 교육은 ‘AI를 얼마나 책임 있게 감독하고 통제할 수 있는가’가 중요한 영역이 될 것으로 보인다.
한국에서도 이미 AI 감시·통제 직업이
서울의 AI 보안기업 에임인텔리전스(AIM Intelligence)는 현재 공식 채용 페이지에 AI Red Team Specialist를 여러 AI 감시·통제 직무로 공개 채용하고 있으며, 공식 페이지에 경력 무관, 정규직, 서울 근무로 표시되어 있다. 회사 자체도 자동화 AI 레드티밍, 실시간 가드레일, 에이전틱 AI 보안을 사업으로 하고 있다. (Aim Intelligence Career)
정부가 이미 ‘AI 보안관제 전문인력’을 청년 직업교육 대상으로 명시하고 있다. KISA의 현재 공식 인력양성 페이지에는 AI 위협탐지·대응 과정의 교육 목적이 “AI 보안관제 전문 인재 양성”으로 적혀 있다. 대상은 19~34세 청년 구직자, 교육은 온라인 기초 60시간과 오프라인 정규 160시간이며, AI 보안장비를 활용한 위협 탐지, 인프라 구축, 대응 자동화까지 다룬다. 수료생에게는 협약기업 인턴십·기업탐방·취업컨설팅·모의면접 등 취업지원도 제공된다. (kisa.or.kr)
국내 기관들이 실제 AI 보안조직을 확대하고 있다. 금융보안원은 2026년 AI 전담조직을 2개 팀 9명에서 4개 팀 20명으로 확대한다고 발표했고, AI 레드팀 전담조직을 신설해 금융 AI 서비스와 AI 에이전트를 평가하기 시작했다. 금융 AI의 신뢰성·안전성 평가, AI 기반 보안관제, 악성코드 분석, 취약점 분석도 업무에 포함시켰다. (FSEC)
이렇듯 한국에서도 아직 직업명이 통일되지는 않았지만 AI 레드팀, AI 안전평가, AI 보안관제, AI 거버넌스와 위험관리 등의 형태로 관련 직무와 교육과정이 생기고 있다. 여태까지는 관제센터에서 사람이 수많은 보안 경보를 직접 확인했다면, 앞으로는 AI가 먼저 이상신호를 분석하고 인간은 AI가 올린 경고를 검증하고, 실제 차단 여부를 결정하며, AI의 판단이 잘못됐는지를 다시 감시하는 역할을 맡게 될 수 있다.
청년들 중 프로그래밍과 사이버보안 능력이 있는 사람은 AI 레드팀·가드레일·안전평가 같은 고급 기술직으로 갈 수 있다. 비전공자나 보안관제 경험자는 정보보안과 AI 기초교육을 추가로 받아 AI 보안관제·사고대응 일을 할 수 있다. 법률·행정·정책·감사·개인정보 전공자는 AI 거버넌스와 규제 대응, 영향평가 분야로 갈 수 있다. 철학·윤리와 같은 인문사회 분야 역시 AI의 허용기준과 인간의 권리, 사회적 영향을 판단하는 거버넌스 역할을 할 수 있다.
AI가 사회와 기업의 실제 업무를 더 많이 맡게 될수록 그것을 안전하게 운영할 사람도 필요해진다. 아직 직업명은 낯설지만 한국에서도 이미 AI를 시험하고, 감시하고, 위험을 판단하며, 문제가 발생했을 때 대응하는 인력을 양성하기 시작했다.
다만 AI 레드팀과 AI 안전연구자는 이미 실제 채용이 확인되는 직업이지만, 일반 보안관제 인력이 대규모로 AI 관제요원으로 전환되고 있다고 말하기에는 이르다. 이는 기존 보안·감사·법무·위험관리 직무에 AI 통제 기능이 추가되는 과도기인만큼 정착할 때까지는 불안정하게 진행될 수 있다.
일반인도 AI 감시·통제 주체가 될 수 있다
AI 감시와 통제는 시민의 역할도 필요로 하게 될 것으로 보인다. AI가 행정·교육·의료·금융·고용처럼 시민의 삶과 권리에 직접 영향을 미치기 시작하면, 그 AI가 공평하게 행하고 있는지, 인간이 결정해야 하는 순간에 어떻게 할 것인지 사회적 판단도 필요하기 때문이다. 이것은 시민의 권리이며 대중의 힘이기도 하다.
OECD는 2026년 6월 발표한 「인공지능과 시민 참여의 미래(Artificial Intelligence and the Future of Citizen Participation)」 보고서에서 시민을 AI의 개발·활용·평가·규제 과정에 참여하는 파트너로 보는 방향을 제시했다.
보고서는 우선 시민의회나 시민배심을 통해 얼굴인식이나 개인정보 이용처럼 사회적 논쟁이 큰 AI에 어떤 원칙을 적용할 것인지 시민이 직접 숙고할 수 있다. 두 번째로 실제 이용자와 시민사회가 AI 개발 과정에 참여해 필요한 기능과 금지해야 할 행동을 함께 정하는 공동설계가 가능하다. 세 번째로 시민과 시민사회가 AI의 결과를 직접 시험하면서 차별이나 권리침해, 예상하지 못한 사회적 부작용을 찾아내는 평가 역할을 맡을 수 있다. 마지막으로 정부와 기업, 전문가만이 아니라 시민까지 참여하는 다중이해관계자 방식으로 AI 정책과 규제 방향을 결정할 수 있다.
실제 사례로, 벨기에는 2024년 일반 시민 60명으로 'AI 시민패널'을 구성해서 유럽 AI 개발과 규제 방향을 논의하도록 했고, 독일 바덴뷔르템베르크에서는 ‘AI와 자유’ 시민배심이 AI 연구개발에 시민을 어떻게 참여시킬 것인지 9개의 권고안을 만들었다. Anthropic 역시 약 1,000명의 미국 시민을 참여시켜 AI가 따라야 할 행동원칙을 만드는 실험을 진행한 바 있다. AI가 어떤 가치와 규칙에 따라 행동해야 하는지를 결정하는 과정에 시민의 판단을 반영한 것이다.
AI의 결정이 실제 사람에게 불공정하거나 받아들이기 어려운 결과를 만드는지는 당사자와 시민이 더 잘 발견할 수 있다. 예를 들어 취업 AI가 기술적으로 정확하게 작동하더라도 노약자에게 지속적으로 불리한 결과를 낸다면 그것이 정당한지 판단이 필요하다. 금융 AI가 부실률을 낮춘다 해도 개인의 어떤 정보까지 사용하도록 허용할 것인지, 공공기관의 얼굴인식 AI가 범죄 예방에 도움이 되더라도 시민의 사생활을 어디까지 침해할 수 있는지는 시민의 판단이 필요하다.
일반 시민에게 필요한 교육도 코딩 중심일 필요는 없다. AI의 한계와 편향, 개인정보와 감시의 문제, AI 결정에 대한 이의제기 방법, 인간 존엄과 자율성·공정성·책임 같은 기본적인 윤리 원칙을 배우고 실제 사례를 평가하는 교육이 더 중요할 수 있다.
이러한 교육을 받은 시민을 공공기관이나 지방자치단체의 AI 시민위원회, 시민감독단, AI 윤리패널 등에 참여시키고, AI 서비스에서 나타나는 차별이나 권리침해, 이상행동을 평가하도록 하는 방식도 생각할 수 있다. 이는 아직 국제적으로 표준화된 직업이나 제도는 아니지만 OECD가 제시하는 시민 참여 원칙을 실제 감시·통제 구조로 확장한 모델이 될 수 있다.
AI 통제자, 윤리철학을 필수로 해야
AI 감시·통제는 통제 범위를 어떻게 정해야 하는 지 판단하기 위해서는 윤리·철학이 필수적이다. 무엇을 위험하다고 볼 것인지, 어디까지 허용할 것인지, 언제 인간이 개입해야 하는지를 결정하는 과정에서 가치판단이 중요하기 때문이다. 의료 AI가 치료를 위해 환자정보를 어디까지 허용할 것인지, 범죄 예방을 위해 어떤 처리를 하게 할 것인지, 인간보다 더 빠르고 정확한 AI을 상대로 어떤 상황에서 어떻게 인간이 통제할 것인지와 같은 문제들에 있어서 윤리·철학적 판단이 기반이 된다.
UNESCO의 ‘AI 윤리에 관한 권고’도 AI 시대에 인간 존엄과 복지, 피해 예방, 공정성, 책임 등과 연결되며, AI 윤리를 기술개발과 사용 전 과정에서 고려해야 할 기준으로 보고 있다. 유럽연합의 AI 리터러시 지침 역시 AI 교육에 기술뿐 아니라 법률·윤리·거버넌스의 관점을 함께 포함하도록 권고하고 있다.
특히 AI 감시·통제자에게 윤리철학이 필요한 이유는 통제자 자신도 권력을 갖게 되기 때문이다. AI에게 어떤 정보를 볼 수 있게 할지, 어떤 행동을 자동화할지, 언제 작동을 중단할지, 어느 결정에 인간의 최종 승인을 남길지를 정하는 것은 사람의 삶과 권리에 영향을 미친다. 의료 AI의 통제자는 환자의 치료와 개인정보에, 금융 AI의 통제자는 신용과 대출 기회에, 공공기관의 AI 감독자는 시민의 권리와 행정처분에 영향을 줄 수 있다.
AI를 안전하게 관리한다는 이유로 통제자에게 지나치게 많은 권한을 부여하는 것 역시 경계해야 한다. AI 감시 체계가 강력해질수록 그것이 인간에 대한 과도한 감시나 차별적 판단으로 확대되지 않도록 통제자의 판단 기준도 함께 검증되어야 한다.
전문적인 AI 감시·통제 교육에는 AI 기술과 보안, 법과 제도뿐 아니라 윤리학과 기술철학, 인간 존엄과 자율성, 책임과 공정성에 대한 교육이 함께 들어갈 필요가 있다. 윤리교육 역시 ‘AI를 선하게 사용해야 한다’는 원칙을 암기하는 수준이 아니라, 효율성과 자유가 충돌할 때 무엇을 우선할 것인지, 다수의 이익을 위해 소수의 권리를 어디까지 제한할 수 있는지, 어떤 결정권을 인간이 담당해야 하는지 실제 사례를 통해 판단하는 훈련이어야 한다.
결국 AI 통제 전문가에게 필요한 능력은 두 가지다. AI가 무엇을 할 수 있는지를 이해하는 기능적 능력과, AI에게 무엇을 하도록 허용해야 하는지를 판단하는 윤리·철학적 능력이다. AI가 강력해질수록 인간의 통제는 두 가지 능력 모두 균형있게 발전해야 '인간과 AI'가 함께 만드는 사회는 지속가능하게 될 수 있다.
/ AI 전문 기자·칼럼니스트 최은경
노바토포스 ‘AI 뉴스’ 코너는 자료 조사·정리 과정에서 생성형 AI를 활용하기도 합니다. 모든 기사는 노바토포스 편집자가 출처와 사실관계를 확인하고, 필요한 수정과 편집을 거쳐 최종 게재합니다.
AI가 생성형 AI에서 인터넷을 탐색하고 프로그램을 실행하며 외부 시스템을 이용하는 행동형 ‘AI 에이전트’로 발전하면서 감시와 통제의 필요성은 더욱 커졌다. 이에 따라 AI 감시·통제에 관련된 새로운 직업군이 생겨나고 있다.
최근 OpenAI의 모델들이 사이버보안 평가 과정에서 제로데이 취약점을 이용해 허깅페이스(Hugging Face) 서버에 접근한 데 이어, 8월 4일 영국 한 AI 에이전트가 사이버 평가 과정에서 허가된 범위를 벗어나 악성 코드가 포함된 수정안으로 가짜 온라인 신분을 이용했다. 8월 5일 Meta AI 모델이 외부 인터넷 접속이 잘못 허용된 시험환경에서 제3자 시스템의 취약점을 이용한 사실이 알려졌고, 이후 중국 Moonshot AI의 Kimi K3나 OpenAI 차세대 모델 Astra가 ‘Critical’ 수준의 사이버 능력 등의 사건들이 연이어 벌어지면서 통제조치를 강화하고 있다. 이처럼 대화형 AI가 행동형 AI로 발전하는 단계에서 인간의 감시·통제에 대한 필요성이 커지면서 AI의 행동을 감시 통제할 전문인력의 필요성도 커지고 있다. 이에 따라 AI 감시·통제라는 새로운 직업군이 형성되어 가는 초기 단계에 접어들었다.
AI 감시·통제 직업은 어떤 것들인가
1. AI 안전평가·레드팀 전문가: 모델을 일부러 공격하거나 위험한 상황에 넣어 어디까지 행동할 수 있는지 시험한다. 해킹, 자율행동, 사기, 생물·화학 위험, 보호장치 우회 같은 실제 능력을 측정한다. Anthropic은 Frontier Red Team을 두고 사이버보안·국가안보·자율시스템 관련 능력을 스트레스 테스트하고 있으며, OpenAI도 자동화 레드팀 연구와 별도의 보안 평가 직무 운영.
2. AI 에이전트 위험분석가: AI가 오작동이나 악용 행동을 하는지 진단한다. OpenAI는 이 직무에 Trust & Safety, 보안, 사이버 위협정보, 제품위험, 전략정보, 악용 조사 관련 분야에 7년 이상 경험한 사람 요구.
3. AI 통제·보안 엔지니어: AI가 무엇을 할 수 있는지를 기술적으로 제한한다. 이들은 접근권한, 샌드박스, 네트워크 제한, 에이전트 신원, 이상행동 탐지, 자동 차단 같은 장치를 설계한다. OpenAI는 Security Researcher, Agentic AI Threats를 통해 미래의 내부 AI 에이전트가 회사를 어떻게 침해할 수 있는지 경로를 찾고, 통제장치를 설계하며, 에이전트 평가와 침투시험으로 방어체계를 검증하고 있다.
4. AI Safeguards·집행 분석가: 실제 서비스에서 위험한 사용과 계정을 찾아 제재한다. Anthropic의 현재 채용 구조가 특히 세분화되어 있다. Safeguards Enforcement Analyst가 접근권한·신원, 계정탈취, 사이버 위해, 사기·스캠, 생물 위해, 화학·폭발물, 방사선·핵 위험, 아동안전, 폭력·극단주의, 진위성 등으로 각각 나뉘어 있다. 여기에 Technical Cyber Threat Investigator, Threat Intelligence Engineer, 각종 Threat Intel Manager가 별도로 존재한다.
5. AI 사고대응·포렌식 전문가: 사고가 벌어진 후 “AI가 왜 그런 행동을 했고 어느 시스템에 접근했으며 무엇을 남겼는가”를 재구성한다. 기존 보안의 SOC·Incident Response·Digital Forensics가 AI 에이전트 로그, 프롬프트, 도구 호출, 권한 사용 내역까지 분석하는 직업이다. Microsoft는 기업용 AI 에이전트 거버넌스에서 지속적인 행동 관찰과 사고 대응 계획, 로그 보존을 요구하고 있으며, OpenAI도 위협조사와 사고대응을 별도 직무로 운영하고 있다.
6. AI 모델 정책·거버넌스 전문가: 기술적으로 가능한 행동과 조직이 허용할 행동 사이의 경계를 정한다. OpenAI의 Model Policy, Frontier Cyber Risk 직무는 사이버 위협모델을 행동규칙, 평가기준, 시스템 완화책으로 번역하고, 정상적인 보안 연구와 위험한 지원 사이의 경계를 정의한다. 이 직업은 사이버보안, 정책, 위협모델링, 평가과학을 동시에 이해해야 한다.
7. AI 감시시스템 평가 전문가: ‘감시자를 감시하는 직업’이다. 영국 AISI는 2026년 7월 Control Red Team을 만들어 최첨단 AI 기업들이 사용하는 내부 AI 모니터 자체를 공격하고 있다. Google DeepMind도 최근 AI Control Roadmap에서 실행 중인 에이전트의 추론·행동·계획을 다른 신뢰된 AI가 계속 관찰하는 ‘AI supervisor’ 구조를 제시했다. 앞으로는 AI가 AI를 감시하고, 인간 전문가는 그 감시 AI가 제대로 작동하는지를 평가하는 직업이 중요해질 것으로 보인다.
8. 분야별 AI 안전 전문가: Anthropic의 현재 채용만 보더라도 생물안전 연구자, CBRN-E 위협 조사관, 사이버 위협 조사관 등이 따로 존재한다. AISI 역시 사람 전문가를 활용한 레드팀을 운영한다. AI가 전문영역으로 진입할수록 컴퓨터공학자만으로 감독하기 어렵기 때문에, 생물학자·화학자·원자력 전문가·금융보안 전문가·의료 전문가가 AI 안전팀 업무를 할 수 있다.
9. AI 가드레일 엔지니어: AI의 입력과 출력, 외부 도구 사용 과정에 실시간 안전장치를 설계하는 전문가다. NVIDIA의 NeMo Guardrails나 Meta의 Llama Guard와 같은 기술 또는 자체 안전시스템을 이용해 위험한 요청과 응답, 개인정보 노출, 정책 위반, 허가되지 않은 도구 사용 등을 탐지하고 차단·수정·재검토하도록 설계한다. 가드레일 엔지니어는 AI와 사용자·외부 시스템이 만나는 실제 접점에서 세밀한 통제 규칙을 구현하는 역할로 볼 수 있다.
10. AI 가치정렬·기만 탐지 전문가: 모델이 인간의 안전 기준과 다른 목표를 행하거나, 평가 환경에서만 안전하게 행동하는 ‘정렬 위장’, 보상 해킹, 기만 행동 등이 나타나는지를 시험하고 분석한다. 행동 평가와 레드팀, 추론 과정 분석, 해석가능성 연구 등을 통해 모델이 안전평가를 우회하는 패턴을 찾아내고 새로운 평가법과 완화책을 개발한다. OpenAI와 Anthropic 등에서는 이미 misalignment, scheming, deception, alignment faking을 별도의 안전연구 분야로 다루고 있다.
11. AI 공급망 보안 전문가: AI 개발에 사용되는 학습 데이터, 외부 모델, 오픈소스 라이브러리, 파인튜닝 데이터와 개발 플랫폼의 신뢰성을 검증한다. 공격자가 학습 데이터를 변조하는 데이터 포이즈닝이나 외부 모델에 백도어를 삽입하는 모델 포이즈닝, 취약한 라이브러리를 통한 공격 등을 탐지하고 AI가 만들어져 배포되기까지의 출처와 변경 이력을 관리한다. AI 개발이 외부 모델과 데이터에 점점 더 의존하면서 기존 소프트웨어 공급망 보안이 AI 모델과 데이터까지 확대되는 영역이다.
12. AI 컴플라이언스·적합성 평가 전문가: 기업이 사용하는 AI가 AI 관련 법률과 산업규정을 지키는지 검토하는 전문가다. 고위험 AI의 위험관리, 데이터 관리, 인간 감독, 기술문서와 기록 등 필요한 통제체계가 마련돼 있는지를 확인하고, 조직이 규제기관의 조사나 적합성 평가에 대응할 수 있도록 관리한다.
13. 자율형 AI 시스템 감사 전문가: 기업의 재무·인사·물류·고객관리 등에서 AI 에이전트가 자율적으로 내린 결정과 실행이 조직의 정책과 법규, 내부통제 기준을 지켰는지 사후 검증한다. AI가 사용한 데이터와 권한, 의사결정 기록과 행동 로그를 조사하고 특정 집단에 불리한 편향이나 승인절차의 우회, 비정상적인 자금 집행 등이 없었는지 감사한다.
기존 전문직의 전환과 AI 감시·통제 교육
AI 감시·통제 직업은 AI 전공자 외에 기존의 관련 전문가들이 전업할 가능성이 많다. 현재 OpenAI의 Agentic Risk Analyst 채용에서 Trust & Safety, 보안, 사이버 위협정보, 제품위험, 전략정보, 악용조사 등의 경험을 주요 경력으로 인정하고 있으며, 반드시 엔지니어일 필요는 없다고 밝히고 있다. 기술을 이해하면서 연구자·엔지니어와 협업하고 위험을 판단할 수 있는 능력이 더 중요하다고 공시했다.
이렇듯 AI 감시·통제 분야에서는 기존 전문직이 AI 분야로 전환되는 현상이 먼저 나타날 가능성이 크며, 프로그래머나 엔지니어일 필요가 없는 분야도 많다. 사이버보안 전문가는 AI 레드팀과 통제·보안 엔지니어로, SOC·디지털 포렌식 전문가는 AI 사고 대응과 포렌식 분야에서 일할 수 있다. Trust & Safety와 사기·범죄 조사 경험자는 에이전트 위험분석이나 Safeguards 업무로 전업이 가능하며, 변호사나 정책·컴플라이언스 전문가는 AI 거버넌스와 규제 대응을 맡을 수 있다. 의료·금융·생물·화학 분야의 전문가 역시 자신의 전문영역에서 AI의 판단과 위험을 평가하는 분야별 안전전문가 역을 할 수 있다.
OpenAI Academy와 Microsoft Learn 등에서는 이미 일반인을 대상으로 AI 기초와 책임 있는 사용 교육을 제공하고 있으며, EU AI Act 역시 AI를 제공하거나 사용하는 조직이 관련 직원에게 필요한 AI 리터러시와 인간 감독 역량을 갖추도록 요구하고 있다.
앞으로 AI 감시·통제 교육은 역할에 따라 크게 세 단계로 나뉠 수 있다. 일반 시민과 일반 직원에게는 AI의 한계와 위험, 개인정보 보호, 결과 검증, 이상행동 신고와 중단 방법 등을 배우는 기초 AI 감독 리터러시가 필요하다. 기업에서 AI를 직접 운영하는 직원에게는 AI가 어떤 데이터와 도구에 접근하는지, 어떤 행동에 인간 승인이 필요한지, 문제가 발생했을 때 어떻게 보고하고 중단해야 하는지를 배우는 실무 감독교육이 필요하다. 전문 통제인력에게는 레드팀, 사이버보안, 권한관리, 로그 분석, 포렌식, 위험평가와 거버넌스 등을 다루는 전문 통제교육이 요구된다.
Microsoft는 이미 AI 에이전트의 신원과 접근권한, 데이터 보호, 위협 모니터링 등을 다루는 교육과정을 제공하고 있으며, AI 보안·거버넌스 심화과정에서는 접근통제와 규제 요구사항을 실제 기술적 통제로 연결하는 방법까지 다루고 있다.
모든 사람을 AI 보안 전문가로 만들 필요는 없지만, AI를 사용만 하는 사람과 AI를 직접 운영하는 사람, 그리고 AI를 감시하고 감사하는 사람에게는 서로 다른 교육이 필요하다. AI 시대의 교육은 ‘AI를 얼마나 책임 있게 감독하고 통제할 수 있는가’가 중요한 영역이 될 것으로 보인다.
한국에서도 이미 AI 감시·통제 직업이
서울의 AI 보안기업 에임인텔리전스(AIM Intelligence)는 현재 공식 채용 페이지에 AI Red Team Specialist를 여러 AI 감시·통제 직무로 공개 채용하고 있으며, 공식 페이지에 경력 무관, 정규직, 서울 근무로 표시되어 있다. 회사 자체도 자동화 AI 레드티밍, 실시간 가드레일, 에이전틱 AI 보안을 사업으로 하고 있다. (Aim Intelligence Career)
정부가 이미 ‘AI 보안관제 전문인력’을 청년 직업교육 대상으로 명시하고 있다. KISA의 현재 공식 인력양성 페이지에는 AI 위협탐지·대응 과정의 교육 목적이 “AI 보안관제 전문 인재 양성”으로 적혀 있다. 대상은 19~34세 청년 구직자, 교육은 온라인 기초 60시간과 오프라인 정규 160시간이며, AI 보안장비를 활용한 위협 탐지, 인프라 구축, 대응 자동화까지 다룬다. 수료생에게는 협약기업 인턴십·기업탐방·취업컨설팅·모의면접 등 취업지원도 제공된다. (kisa.or.kr)
국내 기관들이 실제 AI 보안조직을 확대하고 있다. 금융보안원은 2026년 AI 전담조직을 2개 팀 9명에서 4개 팀 20명으로 확대한다고 발표했고, AI 레드팀 전담조직을 신설해 금융 AI 서비스와 AI 에이전트를 평가하기 시작했다. 금융 AI의 신뢰성·안전성 평가, AI 기반 보안관제, 악성코드 분석, 취약점 분석도 업무에 포함시켰다. (FSEC)
이렇듯 한국에서도 아직 직업명이 통일되지는 않았지만 AI 레드팀, AI 안전평가, AI 보안관제, AI 거버넌스와 위험관리 등의 형태로 관련 직무와 교육과정이 생기고 있다. 여태까지는 관제센터에서 사람이 수많은 보안 경보를 직접 확인했다면, 앞으로는 AI가 먼저 이상신호를 분석하고 인간은 AI가 올린 경고를 검증하고, 실제 차단 여부를 결정하며, AI의 판단이 잘못됐는지를 다시 감시하는 역할을 맡게 될 수 있다.
청년들 중 프로그래밍과 사이버보안 능력이 있는 사람은 AI 레드팀·가드레일·안전평가 같은 고급 기술직으로 갈 수 있다. 비전공자나 보안관제 경험자는 정보보안과 AI 기초교육을 추가로 받아 AI 보안관제·사고대응 일을 할 수 있다. 법률·행정·정책·감사·개인정보 전공자는 AI 거버넌스와 규제 대응, 영향평가 분야로 갈 수 있다. 철학·윤리와 같은 인문사회 분야 역시 AI의 허용기준과 인간의 권리, 사회적 영향을 판단하는 거버넌스 역할을 할 수 있다.
AI가 사회와 기업의 실제 업무를 더 많이 맡게 될수록 그것을 안전하게 운영할 사람도 필요해진다. 아직 직업명은 낯설지만 한국에서도 이미 AI를 시험하고, 감시하고, 위험을 판단하며, 문제가 발생했을 때 대응하는 인력을 양성하기 시작했다.
다만 AI 레드팀과 AI 안전연구자는 이미 실제 채용이 확인되는 직업이지만, 일반 보안관제 인력이 대규모로 AI 관제요원으로 전환되고 있다고 말하기에는 이르다. 이는 기존 보안·감사·법무·위험관리 직무에 AI 통제 기능이 추가되는 과도기인만큼 정착할 때까지는 불안정하게 진행될 수 있다.
일반인도 AI 감시·통제 주체가 될 수 있다
AI 감시와 통제는 시민의 역할도 필요로 하게 될 것으로 보인다. AI가 행정·교육·의료·금융·고용처럼 시민의 삶과 권리에 직접 영향을 미치기 시작하면, 그 AI가 공평하게 행하고 있는지, 인간이 결정해야 하는 순간에 어떻게 할 것인지 사회적 판단도 필요하기 때문이다. 이것은 시민의 권리이며 대중의 힘이기도 하다.
OECD는 2026년 6월 발표한 「인공지능과 시민 참여의 미래(Artificial Intelligence and the Future of Citizen Participation)」 보고서에서 시민을 AI의 개발·활용·평가·규제 과정에 참여하는 파트너로 보는 방향을 제시했다.
보고서는 우선 시민의회나 시민배심을 통해 얼굴인식이나 개인정보 이용처럼 사회적 논쟁이 큰 AI에 어떤 원칙을 적용할 것인지 시민이 직접 숙고할 수 있다. 두 번째로 실제 이용자와 시민사회가 AI 개발 과정에 참여해 필요한 기능과 금지해야 할 행동을 함께 정하는 공동설계가 가능하다. 세 번째로 시민과 시민사회가 AI의 결과를 직접 시험하면서 차별이나 권리침해, 예상하지 못한 사회적 부작용을 찾아내는 평가 역할을 맡을 수 있다. 마지막으로 정부와 기업, 전문가만이 아니라 시민까지 참여하는 다중이해관계자 방식으로 AI 정책과 규제 방향을 결정할 수 있다.
실제 사례로, 벨기에는 2024년 일반 시민 60명으로 'AI 시민패널'을 구성해서 유럽 AI 개발과 규제 방향을 논의하도록 했고, 독일 바덴뷔르템베르크에서는 ‘AI와 자유’ 시민배심이 AI 연구개발에 시민을 어떻게 참여시킬 것인지 9개의 권고안을 만들었다. Anthropic 역시 약 1,000명의 미국 시민을 참여시켜 AI가 따라야 할 행동원칙을 만드는 실험을 진행한 바 있다. AI가 어떤 가치와 규칙에 따라 행동해야 하는지를 결정하는 과정에 시민의 판단을 반영한 것이다.
AI의 결정이 실제 사람에게 불공정하거나 받아들이기 어려운 결과를 만드는지는 당사자와 시민이 더 잘 발견할 수 있다. 예를 들어 취업 AI가 기술적으로 정확하게 작동하더라도 노약자에게 지속적으로 불리한 결과를 낸다면 그것이 정당한지 판단이 필요하다. 금융 AI가 부실률을 낮춘다 해도 개인의 어떤 정보까지 사용하도록 허용할 것인지, 공공기관의 얼굴인식 AI가 범죄 예방에 도움이 되더라도 시민의 사생활을 어디까지 침해할 수 있는지는 시민의 판단이 필요하다.
일반 시민에게 필요한 교육도 코딩 중심일 필요는 없다. AI의 한계와 편향, 개인정보와 감시의 문제, AI 결정에 대한 이의제기 방법, 인간 존엄과 자율성·공정성·책임 같은 기본적인 윤리 원칙을 배우고 실제 사례를 평가하는 교육이 더 중요할 수 있다.
이러한 교육을 받은 시민을 공공기관이나 지방자치단체의 AI 시민위원회, 시민감독단, AI 윤리패널 등에 참여시키고, AI 서비스에서 나타나는 차별이나 권리침해, 이상행동을 평가하도록 하는 방식도 생각할 수 있다. 이는 아직 국제적으로 표준화된 직업이나 제도는 아니지만 OECD가 제시하는 시민 참여 원칙을 실제 감시·통제 구조로 확장한 모델이 될 수 있다.
AI 통제자, 윤리철학을 필수로 해야
AI 감시·통제는 통제 범위를 어떻게 정해야 하는 지 판단하기 위해서는 윤리·철학이 필수적이다. 무엇을 위험하다고 볼 것인지, 어디까지 허용할 것인지, 언제 인간이 개입해야 하는지를 결정하는 과정에서 가치판단이 중요하기 때문이다. 의료 AI가 치료를 위해 환자정보를 어디까지 허용할 것인지, 범죄 예방을 위해 어떤 처리를 하게 할 것인지, 인간보다 더 빠르고 정확한 AI을 상대로 어떤 상황에서 어떻게 인간이 통제할 것인지와 같은 문제들에 있어서 윤리·철학적 판단이 기반이 된다.
UNESCO의 ‘AI 윤리에 관한 권고’도 AI 시대에 인간 존엄과 복지, 피해 예방, 공정성, 책임 등과 연결되며, AI 윤리를 기술개발과 사용 전 과정에서 고려해야 할 기준으로 보고 있다. 유럽연합의 AI 리터러시 지침 역시 AI 교육에 기술뿐 아니라 법률·윤리·거버넌스의 관점을 함께 포함하도록 권고하고 있다.
특히 AI 감시·통제자에게 윤리철학이 필요한 이유는 통제자 자신도 권력을 갖게 되기 때문이다. AI에게 어떤 정보를 볼 수 있게 할지, 어떤 행동을 자동화할지, 언제 작동을 중단할지, 어느 결정에 인간의 최종 승인을 남길지를 정하는 것은 사람의 삶과 권리에 영향을 미친다. 의료 AI의 통제자는 환자의 치료와 개인정보에, 금융 AI의 통제자는 신용과 대출 기회에, 공공기관의 AI 감독자는 시민의 권리와 행정처분에 영향을 줄 수 있다.
AI를 안전하게 관리한다는 이유로 통제자에게 지나치게 많은 권한을 부여하는 것 역시 경계해야 한다. AI 감시 체계가 강력해질수록 그것이 인간에 대한 과도한 감시나 차별적 판단으로 확대되지 않도록 통제자의 판단 기준도 함께 검증되어야 한다.
전문적인 AI 감시·통제 교육에는 AI 기술과 보안, 법과 제도뿐 아니라 윤리학과 기술철학, 인간 존엄과 자율성, 책임과 공정성에 대한 교육이 함께 들어갈 필요가 있다. 윤리교육 역시 ‘AI를 선하게 사용해야 한다’는 원칙을 암기하는 수준이 아니라, 효율성과 자유가 충돌할 때 무엇을 우선할 것인지, 다수의 이익을 위해 소수의 권리를 어디까지 제한할 수 있는지, 어떤 결정권을 인간이 담당해야 하는지 실제 사례를 통해 판단하는 훈련이어야 한다.
결국 AI 통제 전문가에게 필요한 능력은 두 가지다. AI가 무엇을 할 수 있는지를 이해하는 기능적 능력과, AI에게 무엇을 하도록 허용해야 하는지를 판단하는 윤리·철학적 능력이다. AI가 강력해질수록 인간의 통제는 두 가지 능력 모두 균형있게 발전해야 '인간과 AI'가 함께 만드는 사회는 지속가능하게 될 수 있다.
/ AI 전문 기자·칼럼니스트 최은경
노바토포스 ‘AI 뉴스’ 코너는 자료 조사·정리 과정에서 생성형 AI를 활용하기도 합니다. 모든 기사는 노바토포스 편집자가 출처와 사실관계를 확인하고, 필요한 수정과 편집을 거쳐 최종 게재합니다.