AX 목표와 평가: 계층별 목표, 증거 기반 평가

목표 시트는 꽉 찼는데, 리드타임은 그대로다

A사(글로벌 전자부품 제조사)의 한 사업부. 연말 AX 성과 보고회에서 사업부 기획 담당이 올린 목표 달성 현황은 화려했다. 숫자는 모두 열두 개 팀이 연초에 낸 목표를 더한 것이다(아래 수치는 모두 예시).

보고회가 끝나고 사업부장이 물었다. "그래서 고객 클레임 대응은 빨라졌습니까?" 아무도 답하지 못했다. 고객 클레임의 초기 대응, 즉 접수부터 출하 보류·선별 같은 임시조치까지는 고객지원팀, 고객품질팀, 품질분석팀, 공정기술팀, 제조팀의 다섯 팀을 거친다. 다섯 팀은 모두 자기 AX 목표를 달성했다. 고객품질팀은 8D 초안 챗봇을 만들었고, 공정기술팀은 공정 문서 검색 RAG를 만들었고, 품질분석팀은 시험 보고서 요약 도구를 만들었다. 그런데 리드타임의 대부분은 팀 안이 아니라 팀 사이에서 쓰였다. 메일로 LOT 이력을 요청하고, 엑셀 양식을 다시 채우고, 불량 이름이 서로 달라 확인 전화를 하는 시간이다.

더 아픈 사실도 있다. 열두 개 팀이 각자 만든 챗봇과 RAG는 상당 부분 같은 문서를 색인하고 있었다. 품질 규격서, 고객 요구사항, 과거 8D 보고서. 문서 파싱, 권한 설정, 평가 세트 구축을 열두 번 했고, 운영 비용도 열두 번 낸다. 어느 팀의 목표에도 "사업부 공통 지식 검색 하나로 통합"은 없었다. 그것은 누구의 목표도 아니었기 때문이다.

목표 관리(MBO)를 팀 단위로 운영하는 조직이라면 AX 목표도 자연스럽게 팀 단위로 내려가고, 상위 조직은 모으는 역할만 하게 된다. 목표 양식이 그렇게 생겼기 때문이다. 이 장은 그 양식을 바꾸는 이야기다.

왜 취합형 목표는 실패하는가

취합형 목표 체계는 운영하기 쉽다. 팀이 목표를 내고, 상위 조직은 엑셀을 합치고, 연말에 달성률을 평균 낸다. 책임 소재도 분명해 보인다. 그러나 AX에서는 이 방식이 여섯 가지 경로로 실패한다.

굿하트의 법칙: 측정치가 목표가 될 때

영국 경제학자 찰스 굿하트(Charles Goodhart)가 1975년 통화정책 맥락에서 지적한 현상은 인류학자 마릴린 스트래선(Marilyn Strathern)의 문장으로 더 널리 알려져 있다. "측정치가 목표가 되면 더 이상 좋은 측정치가 아니게 된다." AX 과제 수는 원래 괜찮은 신호였지만, 평가 항목이 되면 과제 하나가 셋으로 쪼개지고 엑셀 매크로 개선이 "AI 과제"로 이름을 바꾼다. 숫자는 오르고 신호는 사라진다. 활동 지표를 버리라는 말은 아니다. 활동 지표는 진단용으로 보고, 평가용 목표는 결과와 실제 채택으로 잡는다(지표 설계). 보고된 성과 숫자의 신뢰 문제는 평가·보상 운영의 증거 사다리에서 다룬다.

얼마나 손해인가: 단순 모델로 보기

취합형과 계층형의 차이를 숫자 감각으로 보기 위해 아주 단순한 모델을 만들었다. 사업부가 AX로 얻을 수 있는 잠재 가치(월 100으로 지수화)를 팀 안에서 완결되는 가치와 팀 간 흐름·공유 기반이 있어야 나오는 가치로 나눈다. 취합형에서는 팀 간 가치를 거의 얻지 못하고, 중복 구축의 운영비와 통합 부채(팀마다 다른 포맷·도구가 쌓여 나중에 유지·통합을 어렵게 만드는 끌림)가 붙는다. 계층형에서는 사업부·실이 기반 목표를 갖고 초기 기반 비용을 치르는 대신, 기반이 완성된 뒤 팀 간 가치를 얻고 중복이 줄어든다.

고도의 원칙: 각 계층은 그 계층만 할 수 있는 것을 목표로

계층별 목표 설계의 원칙은 한 문장이다. 각 계층은 그 계층의 결정권으로만 바꿀 수 있는 것을 목표로 삼는다. 이를 이 장에서는 고도의 원칙(altitude principle)이라고 부른다. 높이 올라갈수록 시야가 넓고 길어지는 대신, 손으로 직접 바꿀 수 있는 것은 줄어든다. 사업부장은 8D 보고서를 직접 쓰지 않지만, 다섯 팀에 걸친 클레임 흐름의 주인을 정하고 예산을 옮길 수 있다. 파트장은 예산을 옮기지 못하지만, 이슈 카드가 매일 제대로 채워지는지는 파트장만 챙길 수 있다.

목표의 다섯 가지 유형

AX 목표를 다섯 유형으로 나누면 계층별 차이가 선명해진다.

계층마다 이 다섯 유형의 비중이 달라야 한다. 아래 표는 권장 구성의 감각을 보인 예시다. 진할수록 그 계층 목표 시트에서 비중이 크다.

표에서 두 가지를 읽을 수 있다. 첫째, 기반 목표의 무게중심은 사업부와 실에 있다. 팀이 혼자 만들 수 없고 부문은 너무 멀다. 둘째, 결과 목표는 사업부와 팀 두 곳에서 무겁다. 사업부는 여러 팀을 관통하는 흐름 전체의 결과를, 팀은 자기 구간의 결과를 책임진다. 실은 결과를 직접 내기보다 결과가 나올 수 있게 만드는 계층이다.

아래로 내려올수록 AX는 작업의 언어가 된다

"AX"라는 한 단어가 내려오면 팀과 개인은 막막하다. 팀도 사업 가치를 금액으로 계산해야 하나? 개인이 AX를 "기획"해야 하나? 고도의 원칙을 언어에 적용하면 답이 나온다. AX는 위에서 쓰는 우산이고, 아래로 내려올수록 구체적인 작업의 언어로 바뀌어야 한다.

금액 환산도 계층의 일이다. 투자와 인력 배분을 바꾸는 부문·사업부는 금액으로 말하고, 실은 흐름 KPI를 사업부와 함께 환산한다. 팀은 위의 어느 KPI에 기여하는지 연결선만 있으면 되고, 파트와 개인은 무엇이 없어졌는지(시간·단계·오류)로 충분하다. 팀마다 "절감 시간 × 인건비"로 금액을 만들어 올리면 숫자는 커지지만 아무도 믿지 않는다. 절감 시간은 현금이 되지 않는 경우가 많고 여러 팀에서 중복 계산되기 때문이다(증거 사다리).

팀·파트의 AX는 새로운 것이 아니다. 디지털화(종이·메일을 레코드로), 표준화(양식·코드 맞추기), 자동화(반복 작업 없애기), 연결(API·데이터 계약)이다. 생성형 AI 덕분에 예전엔 개발 요청을 해야 했던 일 상당수를 팀이 직접 할 수 있게 되었을 뿐이다. 위의 몫은 "AX 기획"을 요구하는 것이 아니라 이 작업을 할 시간과 도구와 인정을 주는 것이다. 팀 사이의 인터페이스와 금액 환산의 주체는 16장에서 다룬다.

취합·캐스케이드·캐치볼: 목표를 잇는 방식

계층별 목표가 각자 다르다면, 그것들을 어떻게 하나로 묶을까? 목표를 계층 사이에서 연결하는 방식은 크게 세 가지다.

호신 칸리의 캐치볼

호신 칸리(Hoshin Kanri, 方針管理, 정책 전개)는 일본 제조업에서 발전한 목표 전개 방식이다. 핵심 장치가 캐치볼(catchball)이다. 상위 조직이 "무엇을" 달성할지 초안을 내려보내면, 하위 조직은 "어떻게" 할지와 그 과정에서 보이는 제약·필요 자원을 올려 보낸다. 몇 번 공을 주고받은 뒤 확정한다. 상위의 수단이 하위의 목표가 되는 구조라서, 사업부의 "클레임 흐름 표준화"라는 수단이 실의 "클레임 데이터 표준 확정"이라는 목표가 된다. 목표와 수단, 담당, 지표를 한 장에 교차해 보는 X-매트릭스 양식이 흔히 쓰인다.

OKR의 정렬: 위에서 절반, 아래에서 절반

OKR(Objectives and Key Results)은 앤디 그로브(Andy Grove)가 체계화하고 존 도어(John Doerr)가 『Measure What Matters』(2018)로 널리 알린 목표 방식이다. OKR 실무는 정렬(alignment)이 위에서만 내려오지 않는다고 강조한다. 하향 목표와 함께 현장이 제안하는 상향 목표를 상당 부분 허용한다. 어디에 AI를 쓸 수 있는지는 현장이 가장 잘 알기 때문에 AX에서 특히 중요하다(8장의 업무 분해). 피터 드러커(Peter Drucker)가 『경영의 실제(The Practice of Management)』(1954)에서 제시한 MBO도 원래 상하가 함께 목표를 정하는 방식이었다. 어떤 틀을 쓰든 상위 조직이 자기 목표를 가질 것, 그리고 위아래와 옆으로 주고받을 것 두 가지만 지키면 된다.

공동 목표와 매트릭스 목표

팀 사이의 흐름처럼 어느 한 팀이 책임질 수 없는 결과는 두 가지 방식으로 시트에 넣는다.

• 공동 목표(shared goal): 같은 지표를 여러 팀이 똑같이 갖는다. "고객지원팀·고객품질팀의 클레임 접수→분석 착수 인계 시간 1일 → 2시간(예시)"을 두 팀 모두의 시트에 넣고 함께 평가한다.
• 매트릭스 목표: 기반 목표의 주인은 실 또는 사업부가 갖고, 각 팀은 그 목표에 대한 기여 목표를 갖는다. 품질보증실이 "품질 데이터 제품 품질 점수 70 → 90(예시)"을 갖고, 각 팀은 "우리 팀 소관 필드의 입력 완전성 95%"를 갖는 식이다.

기여 귀속 규칙: 공은 어떻게 나누나

기반을 만든 쪽과 그것을 써서 결과를 낸 쪽 중 누구의 성과인가? 이 질문에 미리 답해 두지 않으면 기반 목표는 아무도 맡으려 하지 않는다. 흔히 쓰는 규칙은 세 가지다.

이 장의 권장은 둘째와 셋째의 조합이다. 기반 오너는 고유 지표(재사용·품질)로 평가하되, 그 기반을 쓴 결과 목표에도 이중 인정으로 이름을 올린다. 재무 성과 보고에서는 한 번만 센다. 규칙은 연초 목표 확정 때 문서로 남긴다.

하나의 사업부 결과를 파트까지: 캐스케이드 예시

장면의 사업부가 계층형으로 목표를 다시 세웠다고 하자. 사업부의 결과 목표는 "고객 클레임 초기 대응 리드타임 50% 단축(예시: 접수~임시조치 완료 월 중앙값 10일 → 5일, 2년)"이다. 이 목표를 캐치볼로 내려 보내면 아래와 같은 나무가 된다. 노드를 눌러 연결 사슬과 지표, 자체·기여 구분을 확인해 보자.

지표 설계: 활동이 아니라 결과와 채택을

8장이 유스케이스 하나의 KPI와 기준선을 다뤘다면, 여기서는 목표 체계 전체에서 지표가 어떻게 맞물리는지를 본다.

선행 지표와 후행 지표

카플란과 노턴(Robert Kaplan · David Norton)이 균형성과표(Balanced Scorecard)에서 강조한 구분이 여기서도 유용하다. 후행 지표(lagging)는 결과 그 자체(리드타임, COPQ)라서 늦게 움직이고, 선행 지표(leading)는 결과에 앞서 움직이는 신호(표준 코드 적용률, 도구 경유 처리 비율)다. 기반 공사가 1년 넘게 걸리는 AX에서 후행 지표만 보면 첫해는 늘 "미달성"이고, 선행 지표만 보면 결과 없이 활동만 늘어난다. 두 가지를 사슬로 묶어 함께 둔다.

기준선이 먼저다

"리드타임 50% 단축"은 지금 리드타임을 모르면 의미가 없다. 취합형 체계에서는 팀 사이를 흐르는 리드타임을 어느 팀도 재지 않아 기준선이 흔히 빠진다. 계층형 목표의 첫 분기 목표는 종종 "측정 가능하게 만들기" 그 자체다. 이슈 카드나 이벤트 로그로 접수·인계·완료 시각을 남기는 것(3장의 프로세스 마이닝)이 사업부 목표의 첫 마일스톤이 된다.

지표마다 측정 정의를 한 줄로 고정한다. 이름, 정의(시작·끝 시각), 계산식(중앙값인가 평균인가), 데이터 원천, 집계 주기, 기준선과 측정 기간, 오너. 같은 "리드타임"을 팀마다 다르게 계산하면 목표 체계가 통째로 흔들린다(4장의 KPI 정의 통일).

활동 지표의 함정과 바꾸는 법

목표 문장 하나를 넣으면 이런 함정을 규칙으로 점검해 주는 도구를 만들어 보았다. 키워드 기반의 단순한 점검이라 완벽하지 않지만, 목표 확정 회의 전에 문장을 다듬는 데는 충분하다.

다년 목표와 연간 마일스톤

기반 목표는 MBO 1년에 맞춰 자르지 않는다. 3년 목표를 먼저 정하고, 해마다 그 해에 측정 가능한 마일스톤을 목표 시트에 올린다. 예를 들어 사업부의 "클레임 데이터 표준" 기반 목표라면 1년차는 표준 코드 확정과 5개 팀 중 2개 팀 적용, 2년차는 전 팀 적용과 이벤트 로그 기반 리드타임 자동 측정, 3년차는 리드타임 결과 목표 달성이다(예시). 1년차 평가는 결과가 아니라 마일스톤 달성으로 한다. 이렇게 하지 않으면 2년짜리 기반 공사는 첫해 평가에서 늘 0점이고, 아무도 시작하지 않는다.

자체 목표와 기여 목표의 비중

계층마다 목표 시트에서 자체 목표(그 계층의 결정권으로 직접 달성하는 것)와 기여 목표(상위·공동 목표에 대한 자기 몫)의 비중을 다르게 둔다. 위로 갈수록 자체 목표 비중이 커진다. 상위 계층이 기여 목표만 가지면 그것이 곧 취합형이다. 아래는 가중치 예시다.

평가·보상 운영: 분기마다, 증거로

목표 체계를 잘 짜도 평가 방식이 그대로면 사람들은 예전처럼 행동한다. 계층형 AX 목표를 굴리는 운영 장치를 여섯 가지로 정리한다.

평가에 쓰는 증거를 실제로 만드는 방법, 즉 기준선·비교군·표본 크기·범위 보고는 9장에서 다룬다.

1. 기준은 연초에, 점검은 분기마다측정 정의와 기준선은 연초에 상위와 함께 등록한다. 연말 평가만으로는 기반 목표의 지연, 공동 목표의 병목이 너무 늦게 보인다. 분기마다 "지표가 움직였나, 어디가 막혔나, 위아래로 무엇을 요청할까"를 30분 안에 점검한다. 점검은 캐치볼의 연장이다.
2. 반기 조정 창구상반기 말에 목표를 공식적으로 조정할 수 있는 창구를 둔다. 단, 조정 사유(전제 변화, 의존 목표 지연)와 조정 전후 숫자를 기록해 하향 조정이 습관이 되지 않게 한다.
3. 기반·재사용·퇴역을 보상데이터 정리, 표준 코드 적용, 엑셀 양식 폐기, 중복 도구 통합, 다른 팀이 가져다 쓴 부품은 눈에 띄지 않는 성과다. 목표 시트의 정식 항목으로 올리고, 기여 귀속 규칙(이중 인정)으로 결과 목표에도 이름을 올린다.
4. 샌드배깅을 막고 정직한 중단에 가점쉽게 달성할 목표를 고르는 샌드배깅(sandbagging)은 기준선을 상위와 함께 확정하면 상당 부분 막힌다. PoC 완료는 성과가 아니라 결정 시점이다. 기한 내 근거 있는 전환·중단 결정을 보고, 빨리 접은 과제는 자원을 아낀 성과로 인정한다. 중단 보고에 불이익을 주면 다음 해부터 모든 과제가 성공하고, 아무것도 바뀌지 않는다.
5. 공동 목표는 공동 평가공동 목표를 가진 팀들은 같은 숫자로 함께 평가받는다. 한 팀의 지연이 다른 팀 점수를 깎는 것이 불공정해 보이지만, 그래야 서로 돕는다. 팀별 기여 목표(입력 완전성, 인계 시간)를 함께 두면 무임승차도 보인다.
6. 실험과 운영을 분리학습용 실험은 실패해도 되는 별도 트랙으로, 운영 중인 확산 과제는 결과 지표로 엄격하게 본다. 둘을 섞으면 실험은 위축되고 운영은 느슨해진다.

취합이 아니라 증거로: 보고된 성과를 얼마나 믿을 수 있나

연말에 성과를 다시 써서 올리고 위에서 점수를 매기는 방식은 비싸고, 보고서를 잘 쓰는 팀에게 유리하다. 숫자의 신뢰도 문제다. 팀 A는 "AI로 연 3,000시간 절감", 팀 B는 "보고서 작성 시간 70% 단축"이라고 보고한다. 한쪽은 설문으로 "체감 시간"을 물었고, 한쪽은 두 건을 재 보고 연간 건수를 곱했다. 상위 조직은 둘을 더해 "사업부 AX 성과"로 올린다. 하위 조직이 거짓말을 해서가 아니다. 측정 기준 없이 목표를 주면 모두가 자기에게 유리한 합리적 기준을 고른다. 굿하트의 법칙이 숫자의 신뢰 문제로 이어지는 지점이다. 해법은 하나다. 성과도 기준을 선언하게 하고, 증거의 수준을 함께 보고하게 한다.

1. 주장"많이 좋아졌다." 자기 보고, 체감 설문. 출발점으로는 괜찮지만 합산하면 안 된다.
2. 산출물데모, 화면, 만든 도구 목록. 만들었다는 증거지 쓰인다는 증거가 아니다.
3. 사용 기록로그로 본 주간 활성 사용자, 업무 건 중 도구를 거친 비율, 3개월 이상 유지 여부.
4. 전후 비교사전에 등록한 기준선과 같은 정의로 측정한 리드타임·재작업률·오류율의 변화. 합산 가능한 최소 수준이다.
5. 비교군단계적 도입(어떤 파트는 먼저, 어떤 파트는 나중)으로 같은 기간의 차이를 본다. 계절성·물량 변화를 걸러 낸다.
6. 독립 확인다른 조직(CoE, 품질, 재무)이 표본을 골라 현장에서 재확인한다. 감사가 아니라 교차 검증이다.

평가 항목마다 증거를 어디서 가져올지 미리 정해 두면, 평가를 위해 새로 만드는 자료가 거의 없어진다. 증거는 취합 엑셀이 아니라 업무 시스템, 성과 레지스트리, 사용 로그에서 나온다.

레지스트리와 로그는 AI가 1차 요약하고, 평가자는 숫자의 맥락과 예외를 묻는 대화에 시간을 쓴다. 평가 준비 시간을 줄이는 것이 평가 조직 자신의 AX다(15장). 평가 체계도 매년 평가한다. 하위 조직이 평가 준비에 쓴 시간, 이의 제기 비율, 평가 후 행동 변화를 보고 고친다.

계층별 안티패턴, 체크리스트, 한 장 목표 시트

계층별 점검 질문

부문·전사

• 목표 시트에 하위 조직 합계가 아닌, 부문만 결정할 수 있는 항목(투자 배분, 규정, 사업부 간 우선순위)이 있는가?
• 공통 기반(데이터·플랫폼) 투자에 다년 목표와 연간 마일스톤이 있는가?
• 사업부 간 성공 사례 복제를 목표로 갖고 있는가?

사업부

• 여러 팀을 관통하는 가치흐름 결과 목표가 있고, 이름 붙은 프로세스 오너가 있는가?
• 사업부 공통 데이터 표준과 중복 도구 통합이 사업부 자체 목표인가?
• 등대 팀의 성과를 다른 팀으로 확산하는 목표와 레거시 퇴역 목표가 있는가?

실

• 실이 오너인 도메인 데이터 제품(예: 품질 데이터)과 그 품질 지표가 있는가?
• 실 안의 용어·보고서 템플릿 통일과 중복 과제 통합을 목표로 갖는가?
• 파워유저·빌더 비율이 교육 시간이 아니라 그들이 운영하는 자동화의 실사용으로 측정되는가?

팀

• 목표가 특정 업무의 결과 KPI(리드타임, COPQ, 재작업)이고 기준선과 측정 정의가 있는가?
• 대상 업무 건 중 새 방식으로 처리된 비율(실사용)을 재는가?
• 폐기할 레거시 파일·양식이 목표 시트에 이름으로 적혀 있는가?
• 상위 기반 목표에 대한 기여 목표와 공동 목표가 시트에 있는가?

그룹·파트

• 입력 데이터 품질(필수 항목 완전성, 표준 코드 사용)을 주 단위로 보는가?
• 이슈 카드·도구 사용이 병행 작업(엑셀·메일) 없이 정착했는가?
• 프롬프트·에이전트 운영 로그와 AI 오답 사례를 정기적으로 점검하고 개선에 반영하는가?

한 장 템플릿: 계층별 AX 목표 시트

아래는 실 단위 목표 시트를 예시로 채운 한 장 양식이다. 열 구성은 모든 계층에 같게 쓰고, 행의 유형 구성만 계층에 맞게 바꾼다. 연간 계획 수립과 함께 쓰려면 17장의 로드맵 빌더와 19장의 경영진 한 장 요약에 붙이면 된다.