데모 링크를 다시 열었다. 석 달짜리 파일럿 보고는 잘 끝났다. 자료도 깔끔했고 임원 반응도 나쁘지 않았다.
그런데 다음 분기 계획서에는 이걸 영업팀과 인사팀으로 넓힐 주체가 비어 있다. IT팀은 우리 일이 아니라 하고, 현업은 만들 사람이 없다고 한다. 반년 뒤 그 링크를 여는 사람은 아무도 없다.
이 단계의 진짜 걱정은 두 가지죠. 조직도에 상자 하나 그려봤자 6개월 뒤 민원 창구가 될 것 같고, 전담 10명을 요구하는 품의서는 통과되지 않을 것 같다. 우리 조직 위치부터 숫자로 보고 싶다면 17문항 5분 진단으로 먼저 가셔도 됩니다. 급하면 3인 코어 역할표와 90일 착수 순서, 자주 묻는 질문만 봐도 품의서 한 장은 나옵니다.
핵심 요약
- 전담 20명이 아니라 리드·기술·현업 연결자 3인 코어에서 출발
- 국내 기업 다수의 현실적 출발점은 하이브리드(허브앤스포크)
- CoE(전담·권한)와 CoP·챔피언(겸직·자발)의 병행 설계
- 실패의 주범은 기술이 아니라 구조 — 스폰서 부재, 챔피언 보상 누락, 대행 창구 전락
파일럿은 성공했는데 확산에서 멈추는 이유
성숙도 1~2단계, 개인 실험과 부서 파일럿까지는 열정적인 한 사람의 추진력으로 굴러갑니다. 3단계 전사 확산은 다릅니다. 표준, 예산 배분 권한, 교육, 보안 검토를 한꺼번에 붙잡는 주체가 필요하죠. 기술이 부족해서가 아니라 AI 추진 조직 설계가 없어서 멈춥니다.
다만 구조의 정답은 지금 몇 단계인지에 따라 달라집니다. 자사 위치가 흐릿하다면 AI 활용 성숙도 5단계를 먼저 짚고 오시는 편이 낫습니다.
CoE는 만들어주는 곳이 아니라 만들 수 있게 하는 곳
기존 IT팀·데이터팀과 무엇이 다른지 한 줄로 못 쓰면 품의는 되돌아옵니다. 이유는 중복 조직. 일반 AI 개발팀은 특정 모델과 서비스의 품질·납기에 책임을 집니다.
CoE는 여러 부서가 재사용할 표준과 역량에 책임을 집니다. IBM이 정리한 AI CoE의 일은 네 갈래입니다.
- 표준화 — 프롬프트 템플릿, 모델 선정 기준, 데이터 처리 규칙을 한 벌로
- 역량 확산 — 교육 커리큘럼과 챔피언 네트워크로 현업이 직접 만들게
- 거버넌스 — 가드레일과 검토 절차 설계
- 성과관리 — 부서별 활용 지표와 절감 효과 수집
가장 위험한 오해는 CoE를 개발 대행 창구로 쓰는 겁니다. “우리 부서 챗봇 좀 만들어주세요”가 쌓이면 5명 팀에 요청 20개, 대기열 3개월이 됩니다.
Red Hat의 자동화 CoE 가이드도 짚습니다. 중앙이 표준을 만들어도 현업의 자발적 공유 체계가 없으면 확산 속도가 나오지 않는다는 것. CoE 없는 CoP는 잡담방이 되고, CoP 없는 CoE는 문서만 쌓입니다.
순서로 보면 대개 TF가 먼저입니다. 기간을 3~6개월로 못 박고 유스케이스 발굴과 판정만 시키는 것. TF를 CoE로 바꿀 시점은 아래 신호가 동시에 잡힐 때입니다.
- 서로 다른 3개 이상 부서에서 유사한 AI 요청이 반복된다
- 보안·법무 검토가 건별로 들어와 매번 같은 논의를 되풀이한다
- 파일럿 결과를 다음 분기 예산에 반영하자는 논의가 시작됐다
하나만 있으면 TF 연장으로 충분합니다. 확산기라면 CoE와 CoP 병행이 기본값. 고객 대면 서비스에 AI를 붙이는 게 목표라면 애자일 스쿼드가 더 빠릅니다.
규모별 운영 모델: 국내 기업 대부분은 하이브리드
모델을 정하지 않고 사람부터 뽑으면 석 달 뒤 “이 팀이 결정권이 있나요”라는 질문이 돌아옵니다. 선택은 표준을 얼마나 세게 잡을지와 현업 속도의 맞교환이죠.
| 비교 축 | 중앙집중형 | 분산형 | 하이브리드 |
|---|---|---|---|
| 표준 일관성 | 높음 | 낮음, 툴 난립 | 허브가 최소 기준선만 |
| 현업 적합도 | 낮음 | 높음 | 높음, 스포크가 맥락 담당 |
| 주요 리스크 | 대행 창구 전락 | 거버넌스 공백, 섀도 AI | 역할 경계 모호, 이중 보고 |
| 적합 시점 | 성숙도 1~2단계 | 4단계 이상 | 3단계 전환기 |
100명 미만이면 겸직 2~3명의 중앙집중형 코어 하나로 충분합니다. 100~1,000명은 허브 2~3명(전임 1명 포함)에 부서별 스포크 겸직 1명씩. 1,000명 이상은 허브를 전임 4~6명으로 두고 사업부별 스포크를 직무기술서에 반영해야 합니다.
Microsoft의 Cloud Adoption Framework도 마찬가지입니다. CoE를 통제 기구가 아니라 가드레일과 재사용 자산을 공급하는 조직으로 정의하죠.
바꿀 때가 됐다는 신호는 셋. 요청이 2주 이상 밀리거나, 현업이 CoE를 거치지 않고 자체 툴을 결제하거나, 파일럿이 3개 부서 이상에서 동시에 돌아갈 때.
국내에서 하이브리드가 잘 맞는 이유는 인건비 제약과 겸직 문화입니다. 전임 10명은 어렵지만 각 부서 20~30% 시간을 떼는 품의는 통과됩니다.
부서별 툴 난립인지 확산 정체인지 판단이 서지 않는다면, 정밀 진단이 그림자 AI형·도구 수집형 같은 조직 유형 8종 중 어디인지까지 판정해줍니다.
최소 3인 코어: 리드·기술·현업 연결자
ML 엔지니어급을 못 뽑으면 시작도 못 한다는 걱정. 대부분의 회사에서는 틀린 걱정입니다.
| 역할 | 미션 | 주당 투입 | 성과 책임 |
|---|---|---|---|
| CoE 리드 | 우선순위 결정, 스폰서 확보, 예산 방어 | 겸직 40% | 분기 확산 부서 수, 예산 승인율 |
| 기술 리드 | 툴 검증, 보안·데이터 기준선, 재사용 자산 | 전임 또는 겸직 60% | 표준 툴셋 확정, 사고 0건 |
| 현업 연결자 | 과제 발굴, 파일럿 설계, 사용률 추적 | 겸직 30~40% | 월 활성 사용자, 과제당 절감 시간 |
상용 모델을 조합하는 단계라면 기술 리드에게 필요한 건 모델링이 아니라 검증 역량입니다. 프롬프트를 재사용 가능한 형태로 구조화하고, 어떤 데이터를 외부 모델에 넣으면 안 되는지 판단하고, 벤더 데모와 실제 성능의 격차를 테스트로 걸러내는 일.
성패를 가르는 자리는 현업 연결자입니다. AI 트랜스포메이션의 변화주체 논의에서도 현업과 기술을 잇는 역할이 CoE 구성의 핵심으로 꼽히죠.
40곳 넘는 기업과 대학에서 교육하며 본 장면이 있습니다. 두 달 뒤에도 사용률이 유지되는 조직에는 예외 없이 현업 쪽에 ‘물어볼 사람’이 남아 있었어요. 그래서 저는 참가자 전원이 AI 업무 지시서 1건을 완성해 나가게 합니다.
확장은 4번째 거버넌스·법무 파트너(겸직 20%), 5번째 교육 담당, 6번째 데이터 엔지니어 순. 외부에 맡길 수 있는 건 초기 툴 검증과 교육 실행, 데이터 파이프라인 구축까지입니다.
남겨야 할 자리는 둘. CoE 리드와 현업 연결자죠. 우선순위 결정권과 업무 맥락은 아웃소싱하는 순간 조직에 남지 않습니다. 인력 배치안은 교육 비용 시뮬레이션과 같이 짜는 편이 결재선에서 유리합니다.
챔피언 제도는 보상 설계 없이 두 분기를 못 넘긴다
“본업 하기도 바쁜데”라는 한 문장에 대부분의 사내 AI 챔피언 제도가 무너집니다. 흔한 실수는 ‘AI를 제일 잘 쓰는 사람’을 뽑는 것. 잘 쓰는 사람과 전파하는 사람은 다른 인재예요.
- 동료가 이미 업무 질문을 하러 찾아가는 사람
- 자기 업무를 문서로 설명할 수 있는 사람
- 실패한 시도를 숨기지 않고 공유하는 사람
- 소속 부서장이 활동 시간을 서면으로 보장한 사람
배치 기준선은 부서당 최소 1명, 전사 인원의 3~5%. 공인된 표준은 아닙니다. 부서당 1명을 깔았을 때 중견기업 규모에서 나오는 범위를 역산한 추정치죠. 1,000명이면 30~50명 선인데, 1차로 10명을 뽑아 3개월 돌려보고 늘리는 편이 안전합니다.
선의에 기대면 실패합니다. 공식 권한을 문서로 못 박아야 합니다.
- 시간 — 근무시간 내 주 2~4시간을 활동으로 인정하고 부서장 KPI에 반영
- 자원 — 유료 툴 계정과 월 10~30만 원 수준 테스트 예산 집행권
- 평가 — 인사평가 항목 명시, 최소한 연말 표창·승진 가점 연결
운영 리듬은 단순할수록 오래갑니다. 월 1회 챔피언 싱크 60분, 격주 사례 공유 15분, 분기 성과 리뷰에 경영진 배석. 후원은 그 분기 리뷰에 임원이 실제로 앉아 있는지로 증명되죠.
CoE와 챔피언 사이에는 SLA를 두세요. 툴 문의는 2영업일 내 회신, 신규 유스케이스는 2주 내 가부 판단, 보안 검토는 3주 내 결론.
한 IT 기업 마케팅팀에서 본 장면입니다. 잘 쓰는 직원과 못 쓰는 직원의 간극이 생산성이 아니라 위화감이라는 조직 문제로 번졌더군요. 개인기가 아니라 팀의 표준을 만들어달라는 요청이었습니다.
90일 착수: 스폰서·헌장·가드레일·첫 성과
상자를 그리는 데는 하루면 됩니다. 문제는 석 달 뒤에도 살아 있느냐. 0~30일에는 스폰서를 한 명으로 특정하세요. “경영진이 지지한다”는 말은 아무도 책임지지 않는다는 뜻입니다.
이름이 붙은 임원에게 연간 예산 라인, 분기 1회 이상 리뷰 참석과 의사결정, 전사 채널 메시지 발신을 요구합니다. 하나라도 확답이 없으면 착수를 미루는 편이 낫습니다.
헌장은 A4 2장. 목적, 범위, 의사결정 권한, 지원 방식, 금지 사항, 성과지표. 여섯 항목 중 ‘금지 사항’이 실패 패턴 대부분을 막아줍니다. “CoE는 현업 대신 프롬프트를 작성해주지 않는다”, “개별 부서 시스템 개발을 수탁하지 않는다” 같은 문장 하나의 힘이죠.
최소 가드레일도 한 달 안에. 데이터 등급 3단계(공개/사내/기밀), 승인된 툴 목록과 신청 절차, 사람 검토가 필요한 업무 정의. 한 장짜리 표로 배포해야 읽힙니다.
31~90일에는 파일럿을 2~3개로 좁힙니다. 기준은 난이도가 아니라 반복 빈도 × 관여 인원 × 낮은 데이터 민감도. 주 1회 하는 어려운 일보다 매일 하는 쉬운 일이 확산에 유리합니다.
90일차에 30분 경영진 리뷰와 전사 공유용 1페이지. 지표는 승인 툴 주간 활성 사용률, 파일럿 절감 시간(산식 공개), 재사용 자산 수면 충분합니다.
비용은 3인을 각 30~50% 겸직으로 잡으면 정규직 1.2명 안팎의 인건비. 여기에 유료 툴 라이선스(1인 월 3만~10만 원대)와 교육비가 붙습니다. 승인 문서 구성은 AI 교육 품의서 작성법을 참고하세요.
준비도 점검이 0~6점대면 기간 한정 TF, 7~13점대는 3인 코어 착수, 14~20점대는 하이브리드 확장 검토입니다.
반복되는 실패 패턴 네 가지와 조기 신호
- 개발 대행 창구 전락 — 백로그의 70% 이상이 특정 부서 요청. 접수 양식에 ‘다른 부서에도 재사용되는가’를 필수 항목으로.
- 스폰서 교체 시 소멸 — 임원 인사 후 첫 분기 리뷰가 취소됨. 헌장을 경영회의 정식 안건으로 재승인받아 개인이 아닌 기구에 귀속시킵니다.
- 챔피언 무보상 번아웃 — 싱크 참석률이 두 달 연속 60% 미달. 근무시간 내 활동 공식화와 팀장 KPI 반영 외에 해법이 잘 없습니다.
- 거버넌스가 활용을 질식 — 툴 승인이 2주를 넘김. 저위험 업무 화이트리스트로 균형을 잡습니다.
규제 산업은 순서가 다릅니다. 금융은 코어 3자리 중 하나를 1일차부터 준법·리스크 담당에게 주고, 의료는 진료·판독이 아니라 청구·원무 같은 비임상 백오피스에서 시작하죠.
한 제약사 사업부에서는 이런 요청을 받았습니다. 부서용 앱까지 만들어 쓰면서도, 민감정보를 넣지 말라는 당부로 교육을 시작해달라는 것. 다음 고민은 도구가 아니라 출처를 어떻게 믿게 만들 것인가였습니다.
결국 ‘어디까지가 허용 범위인가’에 대한 합의가 CoE의 첫 산출물입니다. 정리는 마지막 절에 담았습니다.
AI CoE 조직 구성 자주 묻는 질문
AI CoE와 일반 AI 팀은 어떻게 다른가요?
콜센터 상담 요약 모델을 만들어 배포하는 건 AI 팀의 일. 그 과정의 프롬프트 패턴과 데이터 등급 규칙, 검증 절차를 다른 부서도 쓰게 자산화하는 것이 CoE의 일입니다.
그래서 CoE의 지표는 모델 정확도가 아니라 재사용 자산 수와 활용 부서 수로 잡는 게 맞습니다.
몇 명 규모로 시작해야 하나요?
겸직 포함 3인이 현실적인 최소 단위입니다. 1,000명 이상이거나 사업부가 3개 이상이면 허브 6명에 사업부별 스포크 1명씩, 12명 안팎까지 늘어납니다. 처음부터 10명을 요구하는 품의서는 대개 반려됩니다.
구축 기간과 비용은 어느 정도인가요?
헌장 수립까지 약 4주, 첫 가시적 성과 발표까지 90일이 일반적인 리듬입니다. 인건비 편차가 크니 비용 시뮬레이션에 자사 인당 단가를 대입해 다시 계산하세요.
중소기업도 AI CoE가 필요한가요?
별도 조직은 필요 없지만 기능은 필요합니다. 100명 미만이면 겸직 1~2인 코어에 부서별 챔피언 2~3명을 붙인 경량형으로 대신할 수 있습니다.
승인 툴 목록이 문서로 있는가, 잘된 프롬프트가 공유 폴더에 쌓이는가, 분기마다 활용 현황을 보고받는 사람이 있는가. 이것들이 돌면 이름은 TF든 스터디든 상관없죠. 실행 순서는 AI 교육 도입 8단계에 정리해뒀습니다.
인원보다 스폰서와 헌장 한 장이 먼저입니다
CoE는 개발 조직이 아니라 확산 조직입니다. 이 정의가 흔들리면 석 달 안에 대행 창구가 됩니다. 리드·기술·현업 연결자 세 자리를 겸직으로라도 채우고, 거버넌스에서 교육, 데이터 순으로 넓히면 됩니다. 챔피언에게 시간·예산·평가라는 실권이 없으면 제도는 두 분기 안에 시들죠.
오늘 할 일은 하나. A4 한 장짜리 헌장 초안을 써서 스폰서 후보 한 명에게 보내는 것. 결재하는 쪽에 앉아 교육 품의서를 승인하고 반려해본 입장에서 보면, 반려의 절반은 내용이 부실해서가 아니라 현재 상태에 대한 공통 기준이 없어서 생깁니다.
헌장은 썼는데 근거 한 장이 비어 있다면 진단이 그 자리를 채웁니다. 200~1,000점 AMI 점수와 3계층 8차원 병목 차트, 병목 차원의 30/60/90일 로드맵이 나옵니다. 로그인 없이 약 5분, 이메일을 남기면 같은 리포트를 메일로 받아 품의서에 첨부할 수 있어요. 17문항 진단으로 우리 조직 점수 확인하기.