AI 활용 성숙도 5단계 완전 정복: 우리 조직은 지금 몇 단계이고, 다음 분기에 무엇을 해야 하나

보고서는 두 장이었다. 라이선스 200개 결제 완료, 전사 워크숍 1회 완료. 그 앞에서 임원이 물었다.

“그래서 우리는 몇 단계입니까?” 담당자는 표를 다시 내려다봤다. 숫자로 잡힌 게 하나도 없어서, 다음 분기 예산 회의에서 지난 1년이 통째로 부정당할 것 같은 상태였다. AI 활용 성숙도를 단계로 말할 수 있어야 그 질문이 끝납니다.

다 읽지 않아도 됩니다. 채점표가 급하면 17문항 정밀 진단이 AMI 점수와 막힌 차원을 리포트로 돌려줍니다. 결론만 필요하면 마지막 절, 질문만 확인하려면 FAQ로 가셔도 됩니다.

핵심 요약

• 성숙도의 기준은 도구 개수가 아니라 반복 가능성과 측정 가능성
• 총점이 아니라 가장 낮은 축이 결정하는 실질 레벨
• 2단계 정체의 원인은 기술이 아니라 데이터 접근권·성공의 정의·확산 주체의 공백
• 레벨별 KPI를 먼저 고정한 뒤에 따라오는 12개월 AI 로드맵

성숙도는 도구 수가 아니라 ‘사람이 빠져도 돌아가는가’다

계정도 발급했고 교육도 돌렸다. 그런데 증명될 게 없다. 원인은 노력 부족이 아니라 기준의 부재입니다.

AI 활용 성숙도는 조직이 AI를 반복 가능하고 측정 가능하게 쓰는 정도를 말합니다. 한 사람이 잘 쓰는 것은 실력이다. 그 방식이 문서로 남아 다음 사람도 같은 결과를 내면 성숙도죠.

실무에서 쓸 만한 평가 축은 다섯 개로 수렴합니다. 전략, 데이터, 기술·플랫폼, 조직역량, 그리고 AI 거버넌스다. 뿌리는 역량 성숙도 모델(CI-CMM)에 있습니다.

이 축들은 함께 오르지 않는다. 기술은 4단계인데 거버넌스가 1단계인 조직이 훨씬 흔합니다. 그래서 총점보다 축별 분포를 봐야 합니다.

도입 지표는 조직 준비도를 거의 설명하지 못합니다. 계정 500개를 발급했는데 월 1회 이상 쓰는 사람이 60명이면, 그 조직의 실질 레벨은 개인 실험 단계죠. 생성형 AI 도입의 성과는 라이선스 수로 증명되지 않습니다.

IBM, AWS, Databricks, Microsoft의 AI 성숙도 모델은 단계 수와 명칭만 다릅니다. 실험 → 표준화 → 확산 → 내재화라는 뼈대는 사실상 같다.

그래서 벤더 모델 고르기는 급한 일이 아니다. 우리 레벨을 정의표에 대고 확인하는 일이 먼저입니다.

1~5단계의 실제 모습과 L3/L4를 가르는 선

3단계인지 4단계인지, 판단 기준 자체가 없다는 말을 자주 듣습니다. 아래 표는 다섯 모델을 통합해 성숙도 단계를 재구성한 것입니다.

레벨	전형적 장면	데이터·승인	대표 산출물	참고 지표
L1 인식	개인 계정으로 몰래 사용, 회사 입장 없음	사내 데이터 미연동, 승인 주체 없음	없음	공식 파일럿 0건
L2 개인 실험	잘 쓰는 몇 명이 부서 창구 역할	복사·붙여넣기, 팀장 구두 승인	파일럿 프로젝트 문서 몇 건	월간 실사용률 10~20%
L3 부서 표준화	부서가 프롬프트를 공유 문서로 관리	부서 데이터 일부 정리, 승인 규칙 존재	프롬프트 라이브러리, 업무 지시서	표준화 업무 3~10개
L4 전사 확산	여러 부서가 같은 플랫폼, CoE가 요청 배분	사내 RAG 운영, RACI로 승인 명시	사내 검색, 직무별 커리큘럼, 모델 레지스트리	통제 항목 10개 이상
L5 내재화	사람이 승인하고 에이전트가 다단계 수행	데이터 리니지 추적, 위험등급별 자동 승인	에이전트 워크플로, 위험관리 체계	사고·회수 지표 상시 감시

L3과 L4를 가르는 기준은 도구가 아니다. 재현 가능성과 예산의 정례화죠. 담당자가 바뀌어도 같은 품질이 나오고, 다음 해 예산안에 AI가 고정 라인으로 잡혀 있으면 L4입니다.

남는 예산으로 교육을 붙이고 있다면 아직 L3다. 이 구간에서는 인당 단가와 환급 기준을 정리해두는 작업이 예산 정례화를 앞당깁니다.

‘우리는 4단계’라고 답하는 조직에는 반복되는 신호가 있습니다. 월간 재사용률을 아무도 모른다. AI 확장(스케일링)을 라이선스 확대와 같은 말로 쓴다. 성과가 한두 명에게 몰려 있어 그 사람이 휴가를 가면 산출물이 멈춥니다.

도구 보급률이 아니라 사람이 빠져도 돌아가는지를 물어야 레벨이 정직하게 나옵니다. 그 질문을 문항으로 바꾼 것이 다음 절의 채점표다.

5분 자가진단: 10문항과 ‘가장 낮은 축’ 원칙

진단 도구는 많은데 우리 상황에 대고 채점할 수 있는 건 없다. 그래서 문항을 열 개로 줄였습니다.

각 문항을 0점(전혀 아니다)부터 4점(문서로 증빙 가능)까지 채점합니다. 근거 문서를 댈 수 없으면 2점을 넘기지 않는 규칙을 두는 편이 정확합니다.

• 전략 — AI로 개선할 상위 업무가 문서에 이름으로 적혀 있는가 / 경영진 책임자가 지정돼 있는가
• 데이터 — 참조 문서의 최신본 위치와 권한이 정리돼 있는가 / 반출 금지 데이터의 등급 기준이 있는가
• 도구 — 공식 승인 도구 목록이 있는가 / 지난달 실사용자 비율을 숫자로 말할 수 있는가
• 교육 — 직무별로 다른 커리큘럼이 설계돼 있는가 / 교육 후 산출물이 축적되고 있는가
• 거버넌스 — 검토·승인 책임이 RACI로 명시돼 있는가 / 오류·유출 시 신고와 회수 절차가 있는가

총점 40점 만점의 구간별 판정은 이렇습니다. 0~8점은 L1, 다음 90일은 도구 승인과 금지 데이터 기준이다.

• 9~18점 L2 — 우선 업무 선정과 파일럿 프로젝트 문서화
• 19~28점 L3 — 프롬프트 라이브러리 이관, 예산 정례화
• 29~35점 L4 — CoE 운영 규칙과 사내 RAG 품질 관리
• 36점 이상 L5 근접 — 에이전트 권한 설계와 위험 모니터링

총점보다 중요한 원칙이 하나 있습니다. 가장 낮은 축이 실질 레벨을 결정한다. 전략·도구가 4점인데 데이터가 1점이면 그 조직은 L4가 아니라 데이터 병목에 걸린 L2죠.

지난 몇 년간 40곳 이상의 기업·기관에서 AI 교육을 진행하며 가장 자주 본 장면은, 같은 문항에 IT팀이 3점을 주고 현업이 1점을 주는 상황이었습니다. IT는 ‘기능이 있다’로 읽고 현업은 ‘쓸 수 있다’로 읽는다.

그래서 저는 IT·현업·경영진에게 따로 응답을 받고 격차 자체를 지표로 봅니다. 2점 이상 벌어진 축이 대개 다음 분기에 사고가 나는 지점이다. 정체 원인은 다음 절에서 갈라봅니다.

2단계에서 멈추는 이유는 세 가지 공백이다

잘 쓰는 사람은 분명히 있다. 그런데 그 사람이 휴가를 가면 회사에서는 아무 일도 일어나지 않습니다. 개인의 요령이 조직의 자산으로 옮겨가지 못한 상태죠.

첫째 공백은 데이터 접근권입니다. 범용 LLM은 우리 회사 계약서 양식도, 작년 캠페인 결과도 모른다. 사내 문서를 붙이는 RAG가 없으면 AI는 일반론 생성기에 머뭅니다.

둘째는 성공의 정의다. 보고서 초안 작성이 90분에서 35분으로 줄었다는 전후 비교 한 줄이 없으면, 그 파일럿은 예산 시즌에 근거 없이 사라집니다.

셋째는 확산 주체다. RACI의 A(최종 책임)에 이름 한 명이 적혀 있지 않으면 확산은 모두의 부업이 되고, 결국 아무의 일도 아니게 됩니다. 개인 실험과 전사 활용의 간극을 다룬 분석도 같은 지점을 짚습니다.

가장 흔한 착각은 전사 배포를 확산과 같은 말로 쓰는 것입니다. 계정 5,000개를 열어도 주간 활성 사용자가 300명이면 실질 레벨은 2단계다. 배포는 입구이지 결과가 아닙니다.

이 공백을 메우는 최소 장치가 AI CoE입니다. 겸직 3인으로도 굴러간다. 리드는 우선순위와 경영진 보고, 예산 방어를 맡습니다.

기술 담당은 계정·보안 설정, 사내 RAG 연결, 로그 기반 사용 데이터를 본다. 현업 브릿지는 유스케이스를 발굴하고 챔피언을 모집합니다.

CoE가 모든 사례를 직접 만들려 하면 속도가 죽는다. 표준 사례 3~5개만 직접 만들고, 나머지는 부서 챔피언이 복제하는 구조가 빠릅니다. 챔피언은 부서당 1~2명, 주 2시간의 공식 할당 시간이 현실적이죠.

L4 이후에는 CoE의 성격도 바뀝니다. 관문 역할만 계속하면 CoE 자체가 병목이 되고, 템플릿과 교육 자산을 공급하는 플랫폼 조직으로 옮겨가야 합니다. 그 다음 질문은 누구에게 무엇을 가르치느냐다.

레벨이 다르면 교육도 다르다, 수료율은 지표가 아니다

전 직원 2시간 교육을 또 돌리면 이번에도 수료율만 남을 것 같다는 우려는 정확합니다. 같은 회사 안에서도 마케팅팀은 3단계, 생산관리팀은 1단계인 경우가 흔하다.

L1~L2에서는 안전한 사용 원칙이 먼저입니다. 넣으면 안 되는 데이터, 환각을 걸러내는 방법, 프롬프트의 기본 구조다. 이 단계에서 고급 자동화를 가르치면 현장에 남지 않습니다.

L3은 직무별 유스케이스 워크숍으로 바뀐다. 영업은 제안서, 인사는 직무기술서처럼 실제 업무 파일을 들고 와야 합니다. 그 결과물이 사내 프롬프트 라이브러리가 되죠.

L4~L5에서는 대상이 갈립니다. 실무 리더는 사내 데이터 연결과 에이전트 워크플로 설계, 챔피언은 동료 코칭, 경영진은 어디에 예산을 넣고 어디서 멈출지 판단하는 훈련이다.

한 IT 기업 마케팅팀은 잘 쓰는 직원과 못 쓰는 직원의 간극이 위화감이 됐다며 격차 해소를 교육 주제로 요청했습니다. 개인기가 아니라 팀의 표준을 만들어달라는 뜻이었다.

교육 KPI를 수료율로 잡으면 성숙도와 연결되지 않습니다. 4주 시점의 주간 활성 사용률, 등록된 재사용 자산 수, 해당 업무의 처리 시간 변화가 기본 지표다.

그래서 저는 참가자 전원이 자기 업무 기준으로 ‘AI 업무 지시서’ 1건을 완성해 나가게 운영합니다. 문서가 남아야 조직 자산이 된다. 예산 논리는 품의서 작성법에, 숫자는 다음 절에 있습니다.

레벨별 KPI와 ROI: 보고서 한 장의 다섯 칸

결재하는 쪽에 앉아 교육 품의서를 승인하고 반려해봤습니다. 반려 사유는 대개 “효과 불명확” 한 줄이었다. 아래 범위는 절대 기준이 아니라 목표 설정용 참고치입니다.

지표	L2	L3	L4	L5
주간 활성 사용률	5% 미만	대상 부서 30~50%	전사 50~70%	70% 이상
진행 파일럿 수	비공식 소수	문서화 3~8건	분기 10건 이상	상시 파이프라인
재사용 자산 수	개인 보관	프롬프트 20~50건	100건 이상 / RAG 운영	에이전트 워크플로
거버넌스 통제 항목	가이드 1종	승인 절차 3~5개	자동 통제 10개 이상	상시 모니터링
자동화 처리 비중	0%	단위 업무 일부	프로세스 20~40%	40% 이상
ROI	체감 수준	업무별 시간 절감	부서 원가·리드타임	사업 지표 연동

계산 골격은 단순합니다. (절감 시간 × 인건비 단가 × 보수 계수 − 총투입비용) ÷ 총투입비용이다. 함정은 보수 계수를 빼먹는 데 있습니다.

설문으로 받은 절감 시간은 과대 보고되기 쉽다. 0.5~0.7을 곱해 보고하는 편이 경영진 신뢰를 지킵니다.

선행지표와 후행지표를 섞지 않는 것도 중요합니다. 사용률과 재사용 자산은 3개월 안에 움직인다. 원가와 리드타임은 6~12개월 뒤에 나옵니다.

경영진 대시보드에는 다섯 칸만 있으면 대화가 됩니다. 활성 사용률, 재사용 자산 수, 대표 유스케이스의 전후 비교, 리스크 건수, 누적 투입비용이다.

반대로 통제가 과한 신호는 두 숫자로 잡힙니다. 유스케이스 승인 대기가 2주를 넘기면 현업은 기다리지 않는다. 개인 계정으로 쓰는 섀도우 AI 신고가 늘면 통제 항목을 더 늘릴 때가 아닙니다.

채점표를 앞에 두고 다음 분기 계획을 잡아야 하는 상태라면, 200~1,000점 AMI 점수와 3계층 8차원 병목 차트가 나오는 정밀 진단이 빠릅니다. 이메일을 남기면 같은 리포트를 받아 품의서에 첨부할 수 있습니다. 실행 순서는 다음 절이다.

다음 12개월, 분기별 실행 순서

레벨은 알겠는데 이번 분기에 무엇부터 손댈지가 남는다. 순서를 바꾸면 대체로 Q3에서 막힙니다.

Q1은 진단과 기준선이다. 세 집단 자가진단으로 가장 낮은 축을 기준선 레벨로 확정하고, KPI는 주간 활성 사용률·재사용 자산 수·처리 리드타임 셋만 고정합니다.

같은 분기에 유스케이스 백로그를 20~30건 모아 영향도와 실행난이도로 정렬합니다. CoE 3인도 이때 발족한다. 겸직 40% 배분으로 시작해도 됩니다.

Q2는 90일 스프린트다. 백로그 상단에서 두세 개만 골라 누가 해도 같은 결과가 나오는 상태까지 끌고 갑니다. 산출물은 업무 지시서, 검증 기준, 예외 처리 규칙이다.

사용 가이드도 이때 배포합니다. A4 두세 장으로 충분하고, 금지 목록보다 허용 사례를 먼저 쓰는 편이 활용률에 유리합니다.

Q3은 확산이다. 레벨별로 교육을 분리 운영하고 부서마다 챔피언을 지정합니다. 프롬프트 라이브러리와 사내 RAG를 쌓는 분기이고, 여기서 AI 확장의 속도가 결정됩니다.

Q4는 검증이다. 기준선 대비 KPI 변화를 확인하고 승인 일부를 자동 통제로 넘깁니다. 다음 해 예산과 에이전틱 검토안은 함께 올리는 편이 통과율이 높다.

규모에 따라 일정은 조정됩니다. 200명 미만이면 Q1과 Q2를 6개월로 압축하고, 200명 이상이면 Q1 진단만 6~8주를 잡고 Q2를 사업부 단위로 시차 실행합니다. 진단에서 품의까지의 전체 흐름은 도입 8단계 로드맵에 정리해 두었습니다.

성숙도는 계단처럼만 오르지 않는다. 활성 사용률이 두세 달 연속 감소하고, 챔피언이 이탈하고, 재사용 횟수가 정체하고, 섀도우 AI 문의가 늘면 후퇴 국면이다. 측정 주기를 반기에서 분기로 줄이면 발견이 늦지 않습니다.

AI 활용 성숙도 자주 묻는 질문

AI 성숙도 모델이란 무엇인가요

조직의 AI 활용 수준을 다섯 축으로 단계화해 진단하는 프레임워크입니다. 뿌리는 CI-CMM이고, 생성형 AI 시대에 확산과 리스크 통제 축이 더해졌다. 모델을 고를 때는 단계 이름보다 어떤 축을 중심에 두는지를 먼저 보는 편이 낫습니다.

생성형 AI 성숙도는 전통 AI 성숙도와 어떻게 다른가요

전통 AI는 모델 개발·운영 역량이 중심이었다. 지금은 프롬프트 라이브러리와 사내 RAG 같은 자산이 얼마나 재사용되는지가 레벨을 가릅니다. 리스크도 정확도 저하보다 환각·저작권·영업비밀 쪽이죠.

AI 거버넌스는 어떤 규제부터 보면 되나요

국내 기업의 현실적 출발점은 두 줄이다. 고객 실명·연락처·건강정보의 외부 도구 입력 금지, 미공개 재무·계약 정보의 취급 규칙입니다. 그 위에 NIST AI 위험관리 프레임워크로 절차를 잡고, EU·인증 요건은 해당될 때 얹으면 됩니다. 통제 수준의 판단 기준은 과잉 통제 신호 쪽을 보시면 됩니다.

도입이 정체되는 가장 큰 원인은 무엇인가요

기술이 아니라 조직 설계다. 데이터 접근권, 성공의 정의, 확산 책임자. 이 셋 중 하나라도 비어 있으면 라이선스를 더 사도 같은 자리를 돕니다.

레벨은 평균이 아니라 최저 축이 말해준다

도구는 갖췄는데 거버넌스가 비어 있으면 그 조직은 아직 L2다. L3에서 L4로 넘어가는 기준은 재현 가능성과 예산의 정례화입니다. 측정하지 않으면 3단계에서 예산을 잃는다.

이번 주에 할 수 있는 일은 하나입니다. IT 담당자 1명, 현업 팀장 2명, 경영진 1명을 모아 앞의 10문항을 각자 따로 채점하게 하고, 편차가 가장 큰 항목 하나를 적어두는 것이다. 30분이면 됩니다.

그래도 남는 어려움이 있습니다. 병목을 알아도 그것을 예산과 일정이 붙은 문장으로 바꾸는 일은 별개의 작업이다. 40곳 이상에서 만난 담당자들이 “문제는 알겠는데 무엇부터 결재를 올릴지 모르겠다”고 말한 지점이 정확히 여기였습니다.

이 글의 체크리스트는 해당 항목이 몇 개인지, 즉 증상의 개수까지만 알려줍니다. 점수와 병목 위치, 30/60/90일 순서, ‘정체 표류형’ 같은 조직 유형 판정까지 필요하면 17문항 진단 쪽이 맞습니다. 자가진단 결과를 품의서 근거로 쓰기엔 부족하다고 느끼는 상태라면 지금이 적기다. 정체기 신호와 성숙도의 정의로 다시 돌아와도 늦지 않습니다.

AI 활용 성숙도 심화 가이드 전체 보기

아래 글들은 이 가이드의 각 주제를 하나씩 끝까지 파고든 심화 편입니다.

• AI 성숙도 자가진단 체크리스트: 30문항으로 6개 영역 점수와 우리 팀 레벨 확인하기