AX 과제의 정량화: 무엇을, 어떻게, 얼마나 믿을 수 있게
"AI 도입으로 업무 효율 70% 향상." 과제 보고서에서 흔히 보는 문장이다. 그런데 무엇의 70%인지, 어떻게 쟀는지, 그 기간에 다른 일은 없었는지 물으면 답이 흐려진다. 정량화는 숫자를 크게 만드는 기술이 아니라 숫자를 믿을 수 있게 만드는 기술이다. 이 장은 AX 과제를 무엇으로 재는지(측정 사슬과 지표 메뉴), 어떻게 재는지(측정 방법과 비교 설계), 얼마나 믿을 수 있는지(표본과 신뢰구간), 그리고 측정하기 어려운 정성 효과와 기반 과제는 어떻게 다루는지를 실무 순서대로 정리한다.
- 사용 → 작업 → 품질 → 흐름 → 사업 가치로 이어지는 측정 사슬에서 과제에 맞는 주 지표와 가드레일 지표를 고를 수 있다.
- 시스템 로그, 타임스터디, 워크 샘플링, 자기 기록, 설문의 신뢰도와 비용을 비교해 측정 방법을 정할 수 있다.
- 전후 비교의 함정을 설명하고, 비교군·단계적 도입·이중차분으로 효과를 분리할 수 있다.
- 필요한 표본 크기를 추정하고, 정성 효과·기반 과제·금액 환산을 한 장의 측정 계획서로 정리할 수 있다.
"효율 70% 향상"은 어떻게 쟀나
F사(전자부품) AX 성과 발표회. 품질팀은 "8D 보고서 작성 효율 70% 향상", 설비팀은 "고장 대응 시간 40% 단축", 구매팀은 "견적 비교 업무 연 2,400시간 절감"을 발표했다. 발표가 끝난 뒤 재무 담당이 몇 가지를 물었다.
Q. 고장 대응 시간은 언제와 비교했나요? → A. 도입 전 가장 바빴던 달과 비교했습니다. (그 뒤로 물량이 줄었다.)
Q. 2,400시간은요? → A. 건당 2시간 절감 × 연 1,200건입니다. 건당 2시간은 두 건을 재 본 결과입니다.
Q. 세 팀의 숫자를 더할 수 있나요? → A. … 측정 방법이 다 달라서 잘 모르겠습니다.
세 팀 모두 거짓말을 하지는 않았다. 실제로 일이 나아졌을 가능성도 높다. 하지만 이 숫자들로는 무엇이 얼마나 나아졌는지 아무도 확신할 수 없고, 다음 투자 판단에 쓸 수도 없다. 체감 설문, 유리한 비교 시점, 너무 적은 표본, 서로 다른 정의. 정량화가 흔들리는 이유는 대부분 이 네 가지 안에 있다. 이 장은 이것들을 하나씩 고치는 방법을 다룬다.
① 판단: 이 과제를 계속할지, 확산할지, 멈출지 정한다. ② 학습: 무엇이 효과를 냈는지 알아 다음 과제에 쓴다. ③ 신뢰: 다른 조직과 상위 조직이 숫자를 믿고 합칠 수 있게 한다(14장의 증거 사다리). 보고서용 큰 숫자는 이 셋 중 어느 것에도 쓸모가 없다.
무엇을 재나: 측정 사슬
AX 과제의 효과는 한 번에 돈으로 나타나지 않는다. 도구가 쓰이고, 작업이 빨라지거나 정확해지고, 그것이 업무 흐름의 결과를 바꾸고, 그 결과를 누군가 돈으로 실현하는 사슬을 거친다. 각 고리마다 재는 것이 다르다.
실무 원칙은 단순하다. 주 지표 하나, 가드레일 둘, 선행 지표 하나. 주 지표는 과제가 바꾸려는 것 자체다. 가드레일은 주 지표를 좋게 만들면서 다른 것을 망치지 않는지 감시한다. 예를 들어 작성 시간이 줄었는데 수정 요청이 늘었다면 효과가 아니라 비용 이전이다. 선행 지표는 주 지표가 움직이기 전에 과제가 제대로 굴러가는지 알려 준다. 유스케이스의 ROI와 KPI 정의는 8장, 목표 체계 안에서의 지표 설계는 14장에 있다. 이 장은 그 지표를 실제로 재는 방법에 집중한다.
과제 유형별 지표 메뉴
| 과제 유형 | 작업·흐름 지표(주 지표 후보) | 품질 가드레일 | AI 자체의 품질 |
|---|---|---|---|
| 검색·요약 | 정보를 찾는 데 걸린 시간, 재문의 건수 | 잘못된 정보로 인한 재작업 | 정답 문서 검색 재현율, 근거 제시율(6장) |
| 작성·변환 | 건당 작성 시간, 초안에서 확정까지 시간 | 상위 검토 반려율, 고객 재문의 | 사람 수정 비율(수정한 글자·문장 비율) |
| 분류·추출 | 건당 처리 시간, 수작업 입력 건수 | 오분류로 인한 재처리 | 정확도, 재현율, 사람 확인 필요 비율 |
| 예측 | 계획 변경 횟수, 재고·결품 | 예측 실패 시 비용 | 예측 오차(MAPE 등), 기준 모델 대비 개선 |
| 이상 탐지 | 문제 인지까지 걸린 시간, 다운타임 | 오탐으로 인한 불필요한 출동 | 정밀도·재현율(11장) |
| 에이전트·자동화 | 사람 손을 거치지 않고 끝난 비율, 리드타임 | 사람 개입 후 되돌린 건수, 사고 | 단계별 성공률, 승인 거절률(10장) |
| 기반(데이터·표준·API) | 이 기반을 쓰는 과제·팀 수, 우회 비용 감소 | 데이터 품질 점수 유지 | — (아래 "기반 과제의 정량화" 참조) |
지표 설계기: 우리 과제는 무엇으로 재나
어떻게 재나: 측정 방법의 선택
같은 "작업 시간"도 재는 방법에 따라 신뢰도가 크게 다르다. 가장 흔한 실수는 비용이 가장 싼 방법(체감 설문)으로 가장 큰 결정(투자 확대)을 내리는 것이다.
| 방법 | 어떻게 | 신뢰도 | 비용 | 주의 |
|---|---|---|---|---|
| 시스템 로그 | 업무 시스템·AI 도구의 시작·종료·상태 변경 시각 | 높음 | 낮음(있다면) | "창을 열어 둔 시간"과 "일한 시간"은 다르다. 상태 변경 시각이 더 믿을 만하다 |
| 타임스터디 | 관찰자가 실제 작업을 처음부터 끝까지 잰다 | 높음 | 높음 | 관찰되면 평소보다 빨라진다(호손 효과). 여러 사람·여러 날로 나눈다 |
| 워크 샘플링 | 무작위 시각에 "지금 무엇을 하는가"를 기록해 시간 비중을 추정 | 중~높음 | 중간 | 긴 기간의 시간 배분(보고서 작성에 몇 %를 쓰나)을 볼 때 좋다 |
| 자기 기록 | 담당자가 건마다 걸린 시간을 적는다 | 중간 | 중간 | 기록 부담이 크면 대충 적는다. 기간을 2~4주로 짧게 |
| 체감 설문 | "얼마나 빨라졌다고 느끼나" | 낮음 | 낮음 | 새 도구에 대한 기대가 섞인다. 만족도 지표로는 쓰되 시간 추정에는 쓰지 않는다 |
가장 흔한 정량화 실패는 도입 후에야 "전에는 얼마나 걸렸지?"를 묻는 것이다. 기억은 과거를 실제보다 나쁘게 기억하는 경향이 있다. 도입 2~4주 전부터 도입 후와 같은 정의, 같은 방법으로 기준선을 잰다. 로그가 없는 업무라면 이 기간에 최소한의 자기 기록이나 워크 샘플링이라도 한다. 기준선이 없으면 효과는 영원히 체감으로 남는다(14장의 "기준선이 먼저다").
무엇과 비교하나: 전후 비교의 함정과 비교 설계
"도입 전 평균 120분, 도입 후 80분, 33% 단축." 이 계산은 도입 전후에 다른 모든 것이 같았다는 가정 위에 서 있다. 실제로는 그 사이에 물량이 줄거나, 숙련자가 들어오거나, 계절이 바뀌거나, 양식이 바뀐다. 전후 비교에 숨어드는 대표적인 함정은 다음과 같다.
외부 변화
도입과 같은 시기에 물량 감소, 신제품 안정화, 인원 변동이 있었다. 효과의 일부(또는 전부)가 도구 덕이 아니다.
평균으로의 회귀
가장 나빴던 시기에 문제를 느껴 과제를 시작하면, 아무것도 안 해도 다음 기간은 대개 나아진다.
관찰 효과
측정되고 주목받는 동안 사람들은 평소보다 열심히 한다. 파일럿 기간의 숫자는 대개 실제보다 좋다.
학습 곡선
도입 직후에는 오히려 느려졌다가 몇 주 뒤에 빨라진다. 너무 일찍 재면 효과를 놓치고, 너무 늦게 재면 다른 변화가 섞인다.
이중 계산
같은 시간 절감을 여러 과제가 각자 자기 성과로 센다. 사업부에서 합치면 실제보다 커진다.
비교군과 이중차분
외부 변화를 걸러 내는 가장 실용적인 방법은 같은 기간에 도구를 쓰지 않은 비교군을 함께 보는 것이다. 도입팀의 변화에서 비교군의 변화를 빼면, 두 그룹에 똑같이 작용한 외부 변화가 상쇄된다. 이것을 이중차분(difference-in-differences)이라고 한다.
비교군을 일부러 만들기 어렵다면 단계적 도입을 쓰자. 어차피 모든 팀에 한꺼번에 도입하기는 어렵다. 1파트, 2파트, 3파트 순서로 몇 주씩 간격을 두고 도입하면, 아직 도입하지 않은 파트가 자연스러운 비교군이 된다. 도입 순서를 추첨으로 정하면 선택 편향까지 줄일 수 있다. 조직에 부담 없이 측정의 질을 크게 올리는 방법이다.
전후 비교와 이중차분: 외부 변화가 섞일 때
얼마나 믿을 수 있나: 표본 크기와 신뢰구간
사무·지식 업무의 건당 작업 시간은 편차가 크다. 같은 8D 보고서라도 단순한 건은 1시간, 복잡한 건은 하루가 걸린다. 그래서 몇 건만 재면 평균이 우연에 크게 흔들린다. 필요한 표본 수는 편차의 크기와 원하는 정밀도로 대략 계산할 수 있다.
효과가 있는지 없는지를 두 그룹 비교로 판단하려면 더 많은 표본이 필요하다. 효과가 작을수록, 편차가 클수록 필요한 건수는 제곱으로 늘어난다. 그래서 작은 효과를 정밀하게 증명하려 애쓰기보다, 로그로 모든 건을 자동 측정할 수 있게 만드는 편이 대개 더 싸다.
표본 크기 계산기
"연 2,400시간 절감"보다 "연 1,500~3,000시간(95% 신뢰구간), 중앙 추정 2,300시간"이 더 정직하고 더 쓸모 있다. 범위가 넓다면 그것 자체가 정보다. 더 재야 한다는 뜻이다. 상위 조직은 범위로 보고한 팀을 불리하게 평가하지 않아야 한다. 그래야 다음 해에도 범위가 올라온다.
측정하기 어려운 것들: 정성 효과와 기반 과제
정성 효과는 대리 지표로
"업무 스트레스가 줄었다", "지식 공유가 잘 된다", "신입이 빨리 적응한다" 같은 효과는 중요하지만 직접 재기 어렵다. 억지로 점수를 매기기보다, 그 효과가 있다면 행동으로 나타날 흔적을 찾는다.
| 정성 효과 | 대리 지표(예) | 출처 |
|---|---|---|
| 업무 부담 감소 | 초과근무 시간, 주말 처리 건수, 반복 문의 건수 | 근태 시스템, 업무 로그 |
| 지식 공유 | 같은 질문의 재문의율, 숙련자에게 가는 질문 수(6장) | 메신저·티켓 통계, 검색 로그 |
| 신입 적응 | 혼자 처리할 수 있게 되기까지 걸린 주 수, 초기 반려율 | 업무 로그, 리뷰 기록 |
| 의사결정 속도 | 결정 요청부터 결정까지의 시간, 회의 횟수 | 결재·이슈 시스템 |
| 만족도 | 분기 1문항 설문(같은 문항 반복), 자발적 재사용률 | 설문, 사용 로그 |
기반 과제의 정량화
데이터 정리, 표준 코드, API, 기준 레지스트리 같은 기반 과제는 그 자체로는 리드타임을 줄이지 않는다. 그래서 정량화 경쟁에서 늘 불리하고, 결국 아무도 하지 않게 된다(14장의 기여 귀속 문제). 기반 과제는 네 가지 숫자로 잰다.
- 상태기반 자체의 수준. 데이터 품질 점수, 표준 코드 정착률, 핵심 시스템의 API 제공률, 기준 버전이 기록된 데이터 비율(5장·7장).
- 사용이 기반 위에서 돌아가는 과제·팀·에이전트의 수, 조회·호출 건수. 아무도 쓰지 않는 기반은 비용일 뿐이다.
- 회피 비용기반이 없었다면 들었을 비용의 감소. 팀마다 만들던 우회(화면 자동화, 수작업 변환)의 유지 시간, 데이터 정합 확인에 쓰던 시간(16장).
- 기여 분배이 기반을 쓴 과제들의 효과 중 기반 몫. 사전에 합의한 기여 귀속 규칙(예: 효과의 일정 비율)으로 기반을 만든 조직에 돌린다.
금액으로 바꿀 때: 경로별 환산식
금액 환산은 측정의 마지막 단계이며, 16장에서 본 것처럼 그 효과를 실제로 실현하는 결정이 있을 때만 의미가 있다. 환산 경로마다 식과 주의점이 다르다. 사업부 안에서는 경로별 환산 기준을 하나로 정해 모든 과제가 같은 식을 쓰게 한다.
| 경로 | 환산식(예) | 주의 |
|---|---|---|
| 시간 → 인건비 | 절감 시간 × 시간당 인건비 × 실현률 | 실현률은 가치 실현 결정에서 나온다. 결정이 없으면 장부상 가치 |
| 품질 비용 | (전 불량·클레임 건수 − 후) × 건당 품질 비용 | 건당 품질 비용(COPQ)의 정의를 재무와 맞춘다 |
| 리드타임 → 재고·현금 | 단축 일수 × 일평균 재고 금액 × 자본 비용률 | 리드타임이 실제 재고 정책을 바꿨는지 확인 |
| 외주·초과근무 | 실제로 줄어든 외주비·초과근무 수당 | 가장 확실한 경로. 다른 요인(물량 변화)을 분리 |
| 리스크 회피 | 사고 확률 감소 × 사고 시 손실(기대값) | 확률 추정의 근거를 명시. 큰 숫자가 나오기 쉬우니 별도 표기 |
| 매출 기여 | 응답 속도·품질 개선 → 수주율 변화 × 평균 수주액 | 여러 요인이 섞인다. 비교군 없이는 기여분을 주장하기 어렵다 |
금액 환산에는 가정이 많다. 가정을 하나의 숫자 뒤에 숨기지 말고, 보수 추정(확실한 경로만), 기준 추정, 낙관 추정을 함께 적고 각 가정을 한 줄로 밝힌다. 투자 판단은 보수 추정으로 하고, 낙관 추정은 가능성으로 읽는다.
한 장 측정 계획서
지금까지의 내용을 과제 시작 때 등록하는 한 장으로 정리한다. 이 한 장이 있으면 과제가 끝날 때 숫자를 "만들" 필요가 없고, 상위 조직은 측정 방법이 같은 과제끼리 합칠 수 있다. 15장의 성과 레지스트리와 14장의 증거 사다리가 이 계획서 위에서 작동한다.
주 지표 건당 D2~D4 작성 시간 = (D4 확정 시각 − 이슈 카드 배정 시각) 중 작성 상태 시간, 단위: 시간
가드레일 ① 품질팀장 반려율 ② 고객 재문의율
선행 지표 신규 클레임 중 도우미 경유 비율(목표: 8주 내 80%)
AI 품질 초안 대비 사람 수정 비율, 평가 세트 30건 정답률
데이터 출처 이슈 카드 시스템 상태 로그(전 건 자동), 수정 비율은 도우미 로그
기준선 도입 전 4주, 같은 정의로 로그 측정
비교 설계 2파트 먼저, 3파트는 6주 뒤 도입(단계적 도입), 이중차분
표본 파트당 주 8~12건, 변동계수 약 45% 가정 → 8주 누적으로 ±12% 정밀도
보고 범위(95% 신뢰구간)로, 2주마다 대시보드 갱신
금액 환산 시간 → 인건비(실현률은 사업부 분기 결정), 품질 비용(재문의 감소분)
오너 2파트장(측정), 품질 기획(정의 관리), CoE(로그 지원)
- 주 지표의 정의가 식으로 적혀 있고, 다른 팀과 같은 과제라면 같은 정의를 쓰는가?
- 기준선은 도입 전에, 같은 방법으로 쟀는가?
- 외부 변화를 걸러 낼 비교군이나 단계적 도입이 있는가?
- 표본이 충분한가? 아니면 로그로 전 건을 잴 수 있는가?
- 가드레일 지표가 있어, 한쪽을 줄이고 다른 쪽을 늘리는 것을 잡아내는가?
- 금액 환산 경로와 실현을 결정할 사람이 정해져 있는가?
- 결과를 범위로 보고하고, 효과가 없다는 결과도 같은 양식으로 보고하는가?
핵심 정리
- 정량화의 목적은 큰 숫자가 아니라 판단·학습·신뢰다. 체감 설문, 유리한 비교 시점, 너무 적은 표본, 서로 다른 정의가 숫자를 흔든다.
- 효과는 사용 → 작업 → 품질 → 흐름 결과 → 사업 가치의 사슬을 거친다. 과제마다 주 지표 하나, 가드레일 둘, 선행 지표 하나를 두고, 과제 유형별 지표 메뉴에서 고른다.
- 측정 방법은 로그 > 타임스터디 > 워크 샘플링 > 자기 기록 > 체감 설문 순으로 믿을 만하다. 기준선은 도입 전에 같은 정의와 같은 방법으로 잰다.
- 전후 비교에는 외부 변화, 평균 회귀, 관찰 효과, 선택 편향, 학습 곡선, 이중 계산이 섞인다. 비교군과 이중차분, 추첨 순서의 단계적 도입으로 효과를 분리한다.
- 사무 업무의 작업 시간은 편차가 커서 몇 건으로는 믿을 수 없다. 필요한 표본은 (z·CV/E)²로 추정하고, 결과는 하나의 숫자 대신 범위로 보고한다.
- 정성 효과는 행동의 흔적(대리 지표)으로, 기반 과제는 상태·사용·회피 비용·기여 분배로 잰다. 금액은 경로별 같은 환산식으로, 보수·기준·낙관 세 숫자로 적는다.
- 이 모든 것을 과제 시작 때 한 장 측정 계획서로 등록하면, 끝날 때 숫자를 만들 필요가 없다.
확인 퀴즈
1. "8D 작성 시간 단축"이 주 지표인 과제에서 가드레일 지표로 가장 적절한 것은?
2. 도입 전 가장 바빴던 달과 도입 후 한 달을 비교해 "40% 단축"을 보고했다. 가장 의심해야 할 것은?
3. 도입팀 평균 작업 시간이 120분에서 90분으로, 같은 기간 비교팀은 120분에서 110분으로 바뀌었다. 이중차분으로 추정한 도구 효과는?
4. 건당 작업 시간의 변동계수가 40%일 때, 평균을 ±10% 정밀도(95%)로 추정하려면 대략 몇 건이 필요한가?
5. 표준 불량 코드 체계를 정리한 기반 과제의 성과를 재는 방법으로 가장 적절한 묶음은?
6. 측정 결과를 상위 조직에 보고하는 방식으로 가장 바람직한 것은?