2013년 아시아나항공 214편 사고를 처음 떠올렸을 때는 자동조종에 너무 의존했다는 설명이 먼저 생각났다. 사람의 일을 자동화하면 사람이 그 일을 잊게 된다는 이야기로 받아들이기 쉬웠다. 그런데 사고조사 결과를 읽으면 그렇게 한 문장으로 정리하기 어렵다.
미국 국가교통안전위원회(NTSB)는 접근 과정의 관리, 자동 속도 제어의 의도치 않은 해제, 속도 감시, 복행 시점을 원인으로 지목했다. 자동화 시스템의 복잡성을 충분히 설명하지 못한 문서와 교육도 기여 요인에 포함됐다.1 자동화된 시스템과 사람의 이해, 훈련, 협업을 함께 봐야 하는 사고였다.
이 구분이 AI를 만드는 일에도 중요하다. 시스템이 정상적으로 작동하는지, 사람이 현재 상태를 이해하는지, 문제가 생겼을 때 실제로 대응할 수 있는지는 각각 확인해야 한다. 잘 작동하는 자동화와 대응할 준비가 된 사람을 함께 갖추는 것이 설계의 목표다.
수행과 감독에는 서로 다른 능력이 필요하다
평소에는 시스템이 대부분의 일을 처리한다. 사람은 그 결과를 지켜보다가 예외적인 상황에 대응한다. 이 역할을 맡으려면 시스템의 한계를 알아야 하고, 어느 상태에서 직접 수행해야 하는지도 판단해야 한다. 그때 필요한 기술을 유지하는 일까지 포함된다.
항공에서는 이 문제를 오래 다뤄왔다. FAA의 2017년 지침은 수동 조종 훈련과 능력 평가를 권고하고, 실제 운항에서는 업무 부담과 환경을 고려해 적절한 자동화 수준을 선택하도록 한다. 근거 없는 수동 조종 할당량이나 지나치게 포괄적인 규칙은 피하라고도 명시한다.2
AI에 적용할 원칙도 구체적이다. 자동화를 운영하는 능력과 예외에 대응하는 능력을 함께 유지해야 한다. 실제 업무의 모든 단계를 반복하는 대신, 중요한 오류를 발견하고 대응하는 훈련을 별도로 설계할 수 있다. 작업의 종류와 위험을 고려해 어떤 능력을 유지할지부터 정해야 한다.
거버넌스는 작업 전에 정해져야 한다
AI 거버넌스라는 말을 들으면 정책 문서나 위원회부터 떠올리기 쉽다. 제품에서는 훨씬 작은 질문부터 시작할 수 있다. 이번 작업을 누가 맡는가. AI가 결정할 범위는 어디까지인가. 어떤 조건에서 사람에게 판단을 요청하는가. 결과를 수정하거나 되돌릴 사람은 누구인가.
이 질문의 답은 작업이 진행되기 전에 정해져 있어야 한다. 고객에게 보낼 메시지를 예로 들면, 내부 초안을 만드는 일과 외부에 발송하는 일은 결과의 영향이 다르다. 초안은 여러 번 자동으로 고쳐도 되지만, 발송에는 수신자와 내용, 권한을 확인할 기준이 필요하다. 거버넌스는 자동화의 범위와 개입 조건, 책임을 미리 정하는 일이다.
유럽연합이 2024년 채택한 AI법은 고위험 시스템의 요구사항에 인간 감독을 포함했다.3 여기서 참고할 것은 위험에 따라 요구가 달라지는 구조다. 일상적인 추천과 채용 결정에 같은 검토 절차를 적용할 이유는 없다. 각각의 결과가 사람에게 미치는 영향을 기준으로 설계해야 한다.
검토자에게 결정할 권한이 있어야 한다
화면에 검토 단계가 있다는 사실만으로는 충분하지 않다. 검토자가 오류를 발견해도 진행을 멈추거나 결과를 바꾸려면 별도의 허락을 받아야 한다면, 그 역할은 제한적이다. 검토에 필요한 정보와 시간을 제공하는지도 함께 확인해야 한다.
책임을 맡길 때는 권한도 함께 정해야 한다. 어떤 결정을 직접 변경할 수 있는지, 어느 경우에 다른 담당자에게 전달해야 하는지, 거절했을 때 조직이 어떻게 처리하는지가 명확해야 한다. 책임지는 사람이 실제로 결정을 바꿀 수 있어야 한다. 이 조건은 제품 화면과 조직의 운영 방식에 동시에 적용된다.
운영 기록도 같은 목적을 가져야 한다. 결과를 승인한 이름만 남기기보다 그때 보인 정보, 결정의 이유, 실제 변경 내용을 함께 기록한다. 문제가 발생했을 때는 이 기록을 바탕으로 시스템과 절차를 점검한다. 누구를 책임자로 지정할지와 무엇을 개선해야 할지가 같은 질문은 아니다.
사람의 개입에도 조건이 있다
여기에 한 가지 제약을 인정해야 한다. 사람과 AI가 함께 일한다고 성과가 언제나 더 좋아지는 것은 아니다. 106개 실험 연구를 종합한 2024년 메타분석에서는 협업 성과가 평균적으로 사람과 AI 중 더 나은 쪽의 단독 성과보다 낮았다. 결과는 과제 종류와 두 주체의 상대적 성과에 따라 달랐다.4
그래서 개입은 작업별로 설계해야 한다. 반복적이고 검증 가능한 작업에서는 기준을 통과한 결과를 자동으로 처리할 수 있다. 목표의 충돌이나 되돌리기 어려운 영향이 있는 결정에서는 사람이 필요한 정보를 검토하고 판단하도록 한다. 개입할 권한을 보장하는 것과 매번 개입을 요구하는 것은 구분해야 한다.
이 구분에는 운영 중 평가도 필요하다. 사람이 개입한 뒤 정확도가 어떻게 변했는지, 오류를 더 일찍 발견했는지, 검토 시간이 얼마나 들었는지를 확인한다. 판단이 필요한 시점을 정하는 기준 자체도 수정할 수 있어야 한다. NIST의 AI 위험관리 프레임워크 역시 거버넌스를 위험의 식별·측정·관리와 연결한다.5
준비된 사람과 작동하는 자동화
항공 사례에서 AI 설계로 가져오고 싶은 것은 특정 조종 절차가 아니다. 자동화 성능과 사람의 대응 능력을 각각 관리하고, 역할과 권한을 정하며, 실제 상황과 훈련 결과로 운영 방식을 개선하는 구조다. 산업마다 작업과 위험이 다르므로 구체적인 방법은 그에 맞춰 설계해야 한다.
AI가 일을 수행하는 동안 사람은 모든 과정을 계속 조작할 필요가 없다. 대신 맡긴 범위를 알고 중요한 변화에 대응할 준비가 되어 있어야 한다. 필요할 때 결과를 바꾸고 그 이유를 설명할 수 있어야 한다. 자동화가 계속 작동하면서도 사람이 책임질 수 있는 조건, 그 조건을 운영까지 이어가는 것이 AI 거버넌스다.
주(註)
[1] NTSB, Asiana Airlines Flight 214, DCA13MA120, 사고조사보고서 AAR-14/01, 2014. 사고 원인과 기여 요인을 구분해 참고했다. ↩
[2] FAA, SAFO 17007: Manual Flight Operations Proficiency, 2017-05-04. 훈련·능력 평가와 상황별 수동 조종 판단에 관한 권고. ↩
[3] European Commission, AI Act enters into force, 2024-08-01. 고위험 시스템의 요구사항에 인간 감독을 포함하는 위험 기반 구조를 참고했다. ↩
[4] Michelle Vaccaro, Abdullah Almaatouq, Thomas Malone, When combinations of humans and AI are useful, Nature Human Behaviour 8, 2293–2303, 2024. 106개 실험 연구·370개 효과크기를 종합한 분석. ↩
[5] NIST, AI Risk Management Framework, AI RMF 1.0, 2023. GOVERN·MAP·MEASURE·MANAGE 네 기능으로 위험관리를 구성한다. ↩