AI에게 일을 맡기면 결과가 빨리 나온다. 같은 시간에 더 많은 일을 끝낼 수 있고, 예전에는 시도하지 못했던 작업도 시작하게 된다. 그 변화를 매일 경험한다. 그런데 오늘 받은 도움과 내일 남아 있을 능력은 따로 생각해야 한다. 결과를 잘 받는 데 익숙해지는 것과 스스로 더 잘 판단하게 되는 것은 다를 수 있다.
그래서 AI 제품을 만들 때 두 가지를 함께 묻고 싶다. 이번 일이 잘 끝났는가. 다음에 비슷한 일을 할 사람은 무엇을 배웠는가. 좋은 결과를 만드는 자동화와 사람의 학습을 지원하는 설계를 함께 평가해야 한다. 사람의 변화에 맞춰 도구도 더 적합하게 돕는 구조를 만들고 싶다.
도움을 받은 성과와 학습한 성과를 구분한다
펜실베이니아대 연구진은 터키 고등학생 약 천 명을 대상으로 AI의 수학 학습 효과를 비교했다. 일반적인 챗봇을 사용한 집단과 교사가 설계한 힌트를 제공하는 집단 모두 연습 과제의 성과가 높아졌다. 그러나 AI 없이 시험을 봤을 때 일반 챗봇 집단은 AI를 사용하지 않은 집단보다 성과가 17퍼센트 낮았고, 힌트 방식은 그 손해를 대부분 완화했다.1
수학 학습에서 얻은 결과를 모든 업무에 그대로 적용할 수는 없다. 그래도 제품을 평가할 때 구분해야 할 두 성과가 분명해진다. AI와 함께 수행한 결과와, 그 경험 이후 사람이 수행하는 능력은 각각 확인해야 한다. 오늘의 결과만 보면 두 설계의 차이를 놓칠 수 있다.
일을 끝내는 것이 우선인 날도 있고 배우는 것이 중요한 날도 있다. 같은 사람도 작업마다 목적이 다르다. 제품은 이미 정해진 목적을 반영하고, 필요한 경우에만 확인해야 한다. 학습이 목적이라면 판단과 설명을 직접 해볼 기회를 제공하고, 처리 속도가 목적이라면 정한 기준에 따라 자동화를 수행하게 할 수 있다.
기준은 결과를 받기 전에 정한다
에이전트에게 기능 하나를 맡긴다고 하자. 구현이 끝난 뒤 코드를 읽으면서 무엇이 맞는 결과인지 생각하면 검토할 내용이 많아진다. 먼저 성공 조건과 중요한 제약을 정하면 작업도 검토도 구체적이 된다. 테스트로 표현할 수 있는 조건은 실행 가능한 형태로 작성해둘 수 있다.
이때 사람에게 필요한 일은 모든 기술적 선택을 미리 결정하는 것이 아니다. 결과의 목적과 허용할 범위를 정하고, 에이전트가 구체적인 계획을 제시하면 중요한 가정을 검토하는 것이다. 작업 전의 기준은 자동화가 수행하는 동안에도 사람의 의도를 반영한다.
계획을 수정했다면 무엇을 어떤 이유로 바꿨는지 남긴다. 다음에 비슷한 작업이 오면 그 기록을 참고할 수 있다. 조건이 달라졌다면 이전 기준을 수정한다. 과거의 선택을 참고하면서 현재 상황에 맞게 다시 판단하는 경험이 반복되는 것이다.
필요한 개입이 결과까지 이어져야 한다
결과를 받았을 때는 중요한 선택과 변경 이유를 먼저 확인하게 한다. 설명이 불충분한 부분에 질문하고, 다른 방법이 더 적합하면 그 부분을 수정한다. 수정한 내용이 실제 산출물과 검증 결과에 어떻게 반영됐는지도 볼 수 있어야 한다.
이 과정에서는 이유를 직접 설명해보는 일이 도움이 될 수 있다. 자기설명을 연구한 미셸린 치와 동료들은 예제를 공부하며 원리와 조건을 설명한 학생들의 이해와 문제 해결을 분석했다.2 코드 검토에 적용한다면, 주요 선택을 받아들이거나 수정한 이유를 자기 말로 정리해보는 방식이다. 설명을 읽는 경험과 판단의 이유를 직접 설명하는 경험을 함께 설계할 수 있다.
매번 긴 설명을 작성할 필요는 없다. 새롭거나 영향이 큰 선택에는 더 주의를 기울이고, 반복되는 작업에는 이미 정한 기준을 활용한다. 나중에 같은 결정의 이유를 다시 확인할 방법도 제공한다. 설명을 얼마나 많이 작성했는지보다, 필요한 판단을 이해했는지 확인하는 것이 목적이다.
결과와 판단의 질을 따로 기록한다
작업이 끝난 뒤에는 실제 결과를 확인해야 한다. 그런데 결과가 좋았다는 이유로 판단도 좋았다고 기록하면 평가가 왜곡될 수 있다. 같은 결정도 결과가 어떻게 나왔는지에 따라 다르게 평가하는 경향을 심리학에서는 결과 편향이라고 부른다.3
기록에는 결정 당시의 정보와 이후에 알게 된 정보를 구분해 남겨야 한다. 예상했던 위험이 실제로 발생했는지, 당시 확인할 수 있는 정보를 빠뜨렸는지, 나중에 새로운 조건이 생겼는지를 각각 본다. 좋은 결과를 얻었는지와 당시 합리적으로 판단했는지를 구분해야 다음 판단에 도움이 된다.
이 기록을 활용하면 다음 작업에서 무엇을 확인해야 할지 구체적으로 정할 수 있다. 같은 제약을 반복해서 놓쳤다면 계획에서 그 제약을 더 분명하게 표시한다. 결과를 여러 번 오해했다면 설명 방식을 조정한다. 사람이 고친 내용뿐 아니라 사람이 이해하기 어려웠던 내용도 도구 개선의 자료가 된다.
도구도 사람의 변화에 맞춰 조정한다
사람에게 고정된 유형을 부여하는 것보다 실제 행동을 기록하는 편이 이 목적에 맞다. 최근 어떤 작업에서 계획을 수정했는지, 어떤 설명에 질문이 반복됐는지, 조건을 바꾼 뒤 결과가 어떻게 달라졌는지를 확인한다. 그 관측을 토대로 다음 작업의 설명과 검토 방식을 조정한다.
가령 비교 기준을 나눠 보여줬을 때 오류를 더 잘 발견했다면 비슷한 작업에 그 방식을 다시 적용해볼 수 있다. 효과가 유지되는지도 확인한다. 사람의 판단 기록은 다음 판단을 지원하고, 도구의 지원 방식도 개선하는 데 사용되어야 한다. 좋아하는 답을 반복해서 제공하는 개인화와는 평가 목적이 다르다.
이 조정은 사람도 이해하고 수정할 수 있어야 한다. 최근 어떤 작업에 검토를 집중하고 어떤 작업은 정한 기준에 따라 자동으로 진행하는지 보여준다. 업무나 목적이 달라지면 그 배분도 바꾼다. 도구가 어떻게 돕는지 자체가 검토할 수 있는 대상이 되어야 한다.
학습을 돕는 경험에도 부담의 한도가 있다
작업 전에 질문하고, 계획을 검토하고, 결과를 설명하고, 나중에 다시 확인하게 하면 각각의 요구는 타당해 보인다. 그러나 모든 작업에서 전부 요구하면 일상적인 사용이 어려워진다. 어디에 얼마나 주의를 요구할지 작업 전체를 기준으로 정해야 한다.
AI 제안을 분석적으로 검토하게 한 199명 실험에서는 과의존을 줄이는 데 효과적인 조건을 참가자들이 덜 선호했다.4 학습이나 검토를 돕는 기능도 사용 부담을 함께 평가해야 한다는 뜻이다. 중요한 판단에 집중할 수 있도록 개입의 빈도와 종료 조건을 함께 설계해야 한다.
효과를 확인할 때도 여러 결과를 함께 본다. 중요한 오류를 발견했는지, 선택의 이유를 시간이 지난 뒤에도 설명하는지, 비슷한 새 과제에 배운 것을 적용하는지, 처리 시간과 부담이 어떻게 달라졌는지. 계획 수정 비율은 그중 일부 행동을 보여줄 뿐이다. 그 숫자 하나로 사람의 능력 전체가 좋아졌다고 판단하기는 어렵다.
다음 작업에서 달라지는 것
같은 기능 작업이 다시 왔을 때 이전의 이유를 설명하고, 바뀐 조건을 확인해 새로운 기준을 정한다면 그 경험에서 배운 것이 있다. 에이전트도 지난번의 질문과 수정 내용을 반영해 더 적합한 계획과 설명을 제공한다면 함께 일하는 방식이 개선된 것이다.
여전히 구현과 시험의 대부분은 자동으로 진행될 수 있다. 사람은 필요한 선택을 이해하고 그 결과를 확인한다. 그 경험이 다음 작업의 기준과 도구의 지원 방식에 반영된다. AI가 일을 더 잘하는 만큼 사람도 더 잘 이해하고 판단하게 되는 제품, 함께 나아진다는 말은 그 변화를 실제로 확인하는 데서 시작한다.
주(註)
[1] Hamsa Bastani 외, Generative AI without guardrails can harm learning: Evidence from high school mathematics, PNAS 122(26), e2422633122, 2025. 저자 공개 원문. AI 보조 연습과 AI 없는 시험의 결과를 구분했다. ↩
[2] Michelene T. H. Chi, Miriam Bassok, Matthew W. Lewis, Peter Reimann, Robert Glaser, Self-Explanations: How Students Study and Use Examples in Learning to Solve Problems, Cognitive Science 13(2), 145–182, 1989. ↩
[3] Jonathan Baron, John C. Hershey, Outcome Bias in Decision Evaluation, Journal of Personality and Social Psychology 54(4), 569–579, 1988. ↩
[4] Zana Buçinca, Maja Barbara Malaya, Krzysztof Z. Gajos, To Trust or to Think, Proceedings of the ACM on Human-Computer Interaction 5, CSCW1, Article 188, 2021. 과의존 감소와 사용자의 주관적 평가를 함께 살폈다. ↩