예산 회의 자리였습니다.
노트북에는 대시보드를 열어뒀죠. 계정 발급 수, 주간 접속자, 교육 만족도까지 다 있었다. 그런데 “그래서 이걸로 얼마 벌었나요”라는 질문에 비교할 숫자가 없었습니다. 도입 전에 이 업무가 몇 분 걸렸는지를 아무도 적어두지 않았기 때문이죠. 6개월간 팀이 한 일이 전부 기분 탓으로 정리되는 순간이다.
다 읽지 않아도 됩니다. 급한 게 우리 조직 수치라면 17문항 정밀 진단이 AMI 점수와 막힌 차원을 리포트로 돌려줍니다.
핵심 요약
- AI 도입 ROI 측정의 출발점은 계산식이 아니라 착수 전 2주간의 기준선 기록
- 편익은 하드 ROI(시간·비용·매출)와 소프트 ROI(품질·리스크·역량)로 분리 제시
- 비용은 구독료가 아니라 총소유비용(TCO) 5개 항목 합산
- 성숙도 단계별로 달라지는 AI 성과 지표 KPI, 단계당 3~5개 상한
숫자가 없는 게 아니라, 비교할 도입 전 숫자가 없다
우리 팀만 측정을 못 한 건가 싶어집니다. 아닙니다. MIT 미디어랩 NANDA 이니셔티브의 2025년 보고서는 기업 생성형 AI 파일럿의 약 95%가 손익에 측정 가능한 영향을 남기지 못했다고 봤죠.
기술이 나빠서가 아니다. 측정 설계 없이 시작한 파일럿이 그만큼 많았다는 뜻입니다.
실패 경로는 거의 같습니다. 파일럿 → 체감 만족 → 근거 없는 확대 요청 → 재무팀 반려 → 라이선스 축소 → 사용률 하락. 삼성SDS가 AI 프로젝트의 ROI를 강조하는 지점도 회수 근거 없이 늘어나는 실험 비용이다.
편익은 한 부서에 모이지도 않습니다. 마케팅팀이 줄인 시간은 외주비, 캠페인 회전율, 야근 수당으로 흩어지죠. 도구 비용은 계약 즉시 나가지만 편익은 2~3개월 뒤부터 올라옵니다. 그래서 1분기 실적만 보면 거의 모든 AI 프로젝트가 적자로 보인다.
전제가 하나 붙습니다. 성숙도 단계에 따라 측정 가능한 지표가 다르다는 것. 각자 챗봇을 쓰는 단계에서 매출 기여도를 요구하면 숫자가 나올 수 없으니, AI 활용 성숙도 5단계 진단을 먼저 보시면 아래 KPI 선택이 빨라집니다.
착수 전 2주, 이 4가지만 기록하면 된다
생성형 AI 효과 측정의 성패는 도입 2주 전에 갈립니다. 이 시기에 남기지 않은 값은 나중에 어떤 방법으로도 복원되지 않는다.
- 측정 단위 — 건·문서·티켓·캠페인 중 하나로 못박습니다. “문서 1건”이 A4 2장인지 20장인지까지 정의하면 논쟁이 사라지죠.
- 처리시간 — 착수부터 최종 승인까지의 리드타임과 실작업 시간을 나눠서 잡는다.
- 품질 기준 — 반려 횟수나 5점 척도 루브릭 중 최소 하나. “빨라졌지만 나빠졌다”는 반론을 막아줍니다.
- 인건비 단가 — 직급별 시간당 부담률(연봉÷연간 근무시간×복리후생 계수)을 재무팀에서 미리 받습니다. 이 값이 없으면 시간 절감이 금액으로 바뀌지 않는다.
실측은 2주간 타임트래킹 샘플링(팀당 3~5명)과 협업툴 로그 추출을 병행하죠. 자기보고는 과대 추정되므로 0.6~0.8의 보정계수를 곱해 씁니다. ROI 계산은 도입 전 측정에서 시작해야 한다는 원칙이 여기서 나왔다.
기준선 없이 시작했다면 우회로가 있습니다. 과거 6개월 치 이슈트래커·결재 로그를 역산해 평균 리드타임을 추정하고, AI를 아직 쓰지 않는 유사 팀을 임시 대조군으로 삼는 방식.
이때는 “추정치, 신뢰구간 ±20%”라고 반드시 적습니다. 정확한 척 꾸민 숫자가 반려의 가장 흔한 원인이다.
하드와 소프트를 분리해 적는 이유
AI 투자 대비 효과 보고의 흔한 실수는 모든 편익을 한 줄 금액으로 합산하는 것입니다. “연 3.2억 절감” 안에 ‘직원 만족도 상승분 8천만 원’이 섞이면, 재무팀은 나머지 2.4억까지 의심하죠.
하드 ROI는 처리시간·건당 단위원가·외주비·재작업률입니다. 1~3개월에 발현되니 월간 보고하고 재무 승인 근거로 씁니다. 소프트 ROI는 품질 점수·위반 건수·만족도·활용률로, 6~12개월에 드러나므로 반기 단위 보조 근거다.
1페이지에 하드 금액과 계산식, 2페이지에 소프트 추세선을 둡니다. IBM도 재무·비재무 지표를 함께 추적하라고 권하죠. 항목 구조는 AI 교육 품의서 작성법에 정리해 두었습니다.
50명 마케팅팀 숫자를 끝까지 대입해 보면
공식은 네 개면 충분합니다. ROI(%)=(총 편익−총비용)÷총비용×100, 순편익=총 편익−총비용, 회수기간=총비용÷월 편익, FTE 환산=연간 절감시간÷1,800시간.
비율보다 금액을 먼저 묻는 임원이 많습니다. “0.4명분 여력이 생겼다”는 표현이 금액보다 빨리 이해되죠.
계정 50개를 발급한 마케팅 조직을 가정합니다. 기준선 4항목은 월 산출물 200건, 건당 평균 90분, 시급 3.5만원.
- 도입 후 건당 55분. 검수·수정 시간이 포함된 값입니다. 절감 35분.
- 200건 × 35분 = 월 116.7시간
- 활용률 보정 0.62(주간 실사용 31명) → 월 72.4시간
- 재작업 10% 차감 → 월 65.1시간
- 65.1시간 × 3.5만원 = 월 227.9만원, 연 약 2,735만원. 연간 781시간은 0.43 FTE.
- 건당 단위원가 5.25만원 → 4.11만원(약 22% 절감). 사업부 보고에서 가장 잘 먹히는 지표다.
1년차 총비용 2,700만원을 넣으면 ROI는 약 1.3%, 회수기간 11.8개월. 첫해는 본전이다. 2년차에 일회성 비용 700만원이 빠지고 활용률이 75%로 오르면 편익 3,307만원 대 비용 2,000만원, ROI 약 65%가 됩니다.
첫해 손익분기·2년차 흑자 구조를 먼저 제시한 쪽이 오히려 재승인을 받습니다. 저는 결재하는 쪽에 앉아 품의서를 승인하고 반려해봤죠. 1년차 ROI를 60%로 부풀린 문서는 대개 두 번째 질문에서 무너졌다.
총소유비용은 최소 5개 항목으로 쪼갭니다. 라이선스·API 1,800만원(50석×월 3만원×12개월), 교육·온보딩 300만원, 프롬프트·워크플로 정비 250만원, 데이터·보안 정비 150만원, 내부 운영(CoE) 200만원.
구독료만 잡으면 ROI는 예외 없이 과대평가됩니다. 단가 근거가 더 필요하면 인당 단가와 국비 환급을 포함한 교육 비용 시뮬레이션을 TCO 표에 옮겨 쓸 수 있죠.
성숙도 단계가 다르면 같은 KPI가 독이 된다
| 단계 | 1차 KPI | 2차 KPI | 판단 기준선 | 보고 대상 |
|---|---|---|---|---|
| 실험·파일럿기(1~3개월) | 주간 활성 사용률(WAU), 과제 완료 건수 | 학습시간, 사용 사례 수집 | WAU 40% 이상, 사례 10건 이상 | 팀장·부서장 |
| 확산기(4~9개월) | 건당 처리시간, 단위원가 | 품질 점수, 재작업률 | 처리시간 25% 단축 | 본부장·CDTO |
| 내재화기(10개월~) | 매출 기여도, 순편익·ROI | 위반 건수 감소, FTE 재배치 | ROI 50% 이상, 회수 18개월 이내 | 경영진·이사회 |
AI 활용률 지표는 3층으로 나눠야 왜곡이 없습니다. 계정 발급률, 주간 활성 사용률(WAU), 업무 내 실사용 비율. 발급률 100%인데 WAU가 25%라면 도구 문제가 아니라 업무 재설계 문제다.
40곳 넘는 기업과 기관에서 AI 교육을 하며 가장 자주 본 장면. 만족도 4.6점을 들고 갔다가 “그래서 업무가 뭐가 달라졌냐”에 막히는 담당자였습니다.
그래서 참가자 전원이 자기 업무 기준 ‘AI 업무 지시서’ 1건을 완성해 나가게 운영하죠. 산출물이 남으면 그 업무의 처리시간이 곧 기준선이 되기 때문이다. 한 IT 기업 마케팅팀은 개인기가 아니라 팀 표준을 만들어달라고 요청했습니다.
내재화기에서는 언어를 바꿉니다. 절감된 0.43 FTE를 어디에 재배치했고 그 인력이 만든 신규 산출물이 얼마인지까지 붙어야 매출 기여도가 성립하죠.
단계별 역량 설계는 기업 AI 교육 도입 8단계 로드맵과 함께 보면 KPI와 커리큘럼이 어긋나지 않습니다. KPI는 단계당 3~5개를 넘기지 않는 것이 원칙이다.
ROI 증명에 실패하는 5가지 원인
시연은 박수를 받았는데 6개월 뒤 예산이 잘릴 조짐. 모델 성능 탓인 경우는 드뭅니다. 작동했다는 사실을 증명할 장치가 없었을 뿐이다.
- 스폰서·귀속 부재 — 성과 집계 담당자를 물었을 때 답이 갈린다. 편익 귀속 규칙 1페이지를 확정하고 임원 스폰서를 지정합니다.
- 변화관리 미비 — 발급률 대비 WAU 30% 미만. 직무별 사용 시나리오를 지정하고 팀장이 주간 점검합니다.
- 로그·계측 미설계 — 사용 로그와 채택 여부 필드를 추가해 월 단위로 모읍니다. 글로벌 IT 리더들의 ROI 측정 사례도 계측 인프라 선행을 공통 조건으로 꼽습니다.
- 기준선 부재 — 과거 로그 역산이나 2주 샘플링에 바로 착수합니다.
- 단기 ROI 강요·지표 남발 — KPI가 8개 이상이고 분기마다 정의가 바뀐다. 단계별 KPI를 3~5개로 줄이고 발현 시점을 문서로 합의합니다.
확산 판정은 감이 아니라 조건으로 정합니다. WAU 60% 이상, 품질 합격률이 기존 프로세스 수준 이상, 건당 단위원가 15% 이상 개선. 하나라도 미달이면 파일럿을 연장해 원인을 특정하는 편이 낫다.
무형 가치를 대리지표로 바꾸는 3단계
“분위기가 좋아졌다”는 보고는 예산을 지키지 못합니다. 먼저 행동 변화를 정의하죠. “품질이 좋아졌다”가 아니라 “리뷰에서 반려되는 초안이 줄었다”. 다음으로 로그에 남는 대리지표를 고릅니다. 반려 건수, 수정 라운드 수, 자발적 이탈률.
마지막이 금액 계수입니다. 재작업 시간 감소 × 시급, 이탈률 감소 폭 × 1인 대체비용. 월 재작업 40시간이 26시간으로 줄면 14시간 × 3.5만원 = 월 49만원이 하드 편익 쪽으로 넘어옵니다.
리스크는 조심합니다. “사고 1건 예방으로 5억 절감”은 가정이 너무 커요. 위반 건수와 검토 반려 건수의 변화로만 제시하고, 결론은 보수 시나리오 하한값으로 씁니다.
경영진은 1페이지 7블록으로 판단한다
빼는 기준은 하나입니다. 재무팀이 검증할 수 없는 문장을 지우면 됩니다.
12개월 흐름은 이렇습니다. 1분기는 기준선과 활용률만 봅니다. 이 시기에 하드 ROI를 요구하지 않는 것이 파일럿을 살린다.
2분기에 처리시간과 단위원가를 실측해 ROI·회수기간을 범위로 처음 제시하죠. 3분기에는 소프트 지표를 계수와 함께 편입하고 확산 게이트를 판정합니다. 4분기에 TCO 전 항목을 합산해 연간 순편익을 확정하고 차기 예산을 함께 올립니다.
- 요약 문장 — “○○ 업무 200건 기준, 건당 90분 → 55분, 연간 순편익 ○○만원(하한 기준)”
- 투입 비용(TCO) 5항목
- 하드 편익 — FTE 환산, 외주비 절감, 재작업 감소분
- 소프트 편익 — 금액 환산 시 계수 병기
- ROI와 회수기간 — 보수·기본 두 안만
- 가정과 한계 — 활용률 가정, 표본 크기, 미측정 영역
- 다음 분기 요청 — 예산·인력·의사결정 각 1줄
보고 원칙은 이렇습니다. 하한값으로 보고하고, 가정을 숨기지 않고, 지표 정의를 바꿨다면 각주로 이력을 남긴다.
“시간 절감이면 인원을 줄이자는 건가요”라는 질문에는 재배치 기준으로 답합니다. 밀려 있던 업무에 투입해 외주비 얼마를 대체한다는 식으로다. 나머지 계산 재료는 앞의 사례 수치와 자주 묻는 질문, 마지막 절에 있습니다.
AI 도입 ROI 측정 자주 묻는 질문
단기 ROI와 장기 ROI를 어떻게 다르게 봐야 하나요?
단기에는 선행지표, 장기에는 재무지표입니다. 1~2분기는 WAU와 실사용 비율, 건당 처리시간, 품질 합격률이 적절하죠. 단위원가와 매출 기여, 외주비 절감은 활용률이 안정된 뒤 6~12개월에 걸쳐 드러난다. 분기 리뷰에서 ‘이번에 볼 지표’와 ‘아직 보지 않을 지표’를 미리 합의해두면 오해가 줄어듭니다.
대조군 없이 측정해도 신뢰를 얻을 수 있나요?
여력이 되면 준실험 설계를 권합니다. 동일 직무 두 팀 중 한 팀만 3개월 먼저 도입하고 같은 지표를 양쪽에서 재는 방식이죠. 계절성 같은 외부 요인을 상쇄해주므로 규모가 작아도 설득력이 올라갑니다. 어렵다면 유사 팀을 임시 대조군으로 쓰고 추정치임을 명시하면 됩니다.
만족도 설문을 근거로 써도 될까요?
규칙을 지키면 됩니다. 동일 문항, 동일 주기, 응답률 명기. 문항을 바꾸면 추세가 무너지고, 응답률 30% 설문은 근거로 쓰기 어렵다. 자기보고 절감시간에는 보정계수를 곱하고 그 계수를 각주에 밝히는 편이 안전합니다.
ROI 계산 시트는 어떻게 구성하면 되나요?
입력값 6개면 됩니다. 월 건수, 건당 도입 전·후 시간, 시급, 활용률, 총소유비용. 값을 바꿔가며 활용률이 몇 %일 때 손익분기를 넘는지 확인하면 게이트 조건을 정하기 쉬워집니다.
기준선이 없으면 ROI는 계산이 아니라 주장이 된다
세 줄로 정리합니다. 측정 단위·처리시간·품질 기준·인건비 단가를 먼저 적어야 이후 모든 숫자가 검증 가능해진다. 하드와 소프트는 분리해 보고합니다. KPI는 성숙도 단계에 맞춰 3~5개로 제한하죠.
오늘 할 첫 행동은 하나입니다. AI를 쓰는 업무 한 가지를 골라 최근 20건의 처리시간과 재작업 횟수를 스프레드시트에 남기는 일. 표본으로 부족하지 않고, 이 기록이 다음 분기 ROI의 분모와 분자를 동시에 만들어줍니다.
그래도 남는 게 있습니다. 팀 단위 숫자는 나왔는데 조직 어디가 병목인지는 여전히 안 보인다는 점이다.
활용률이 62%에서 멈춘 이유가 지시 설계 역량인지, 거버넌스 부재인지, 스폰서 공백인지 구분하지 못하면 예산 요청서의 ‘무엇에 쓸 돈인지’가 비어버립니다.
이 글의 체크리스트는 ‘몇 개 해당하는가’까지만 알려줍니다. 파일럿은 돌렸는데 다음 분기 근거를 못 만들고 있다면, 200~1,000점 AMI 점수와 3계층 8차원 병목, 그 차원의 30/60/90일 로드맵이 나오는 정밀 진단이 더 실용적이죠. 17문항 5분, 제출 즉시 웹 리포트로 확인됩니다. 이메일을 남기면 같은 리포트를 메일로도 받아 품의서에 첨부할 수 있습니다.