실행하는 AI(Acting AI) 시대, 기업이 먼저 바꿔야 할 3가지: 사람·프로세스·안전


요즘 CES 같은 행사 소식 보다 보면 딱 느껴져요. AI가 이제 “대답 잘하는 도구” 수준이 아니라, 로봇이 움직이고 차가 달리고 공장이 돌아가는 쪽으로 확 넘어갔다는 거요. 한마디로 실행하는 AI(Acting AI) 시대가 제대로 시작된 느낌입니다.

근데 여기서 제가 제일 강조하고 싶은 건 이거예요.
AI 도입의 성패는 “기술”이 아니라 운영 책임과 안전 기준을 누가/어떻게 잡느냐에서 갈립니다. “최신 모델 쓰면 되겠지?” 싶어도, 현장 들어가면 결국 사람·프로세스·안전이 다 결정하더라고요.



실행하는 AI 도입에서 먼저 바꿔야 할 3가지

1) 사람: ‘AI 담당자’ 말고 ‘운영 책임자(Owner)’부터 세우기

AI 도입하면 보통 이런 얘기부터 하죠.

  • “AI 담당 누구 하지?”

  • “데이터팀이 맡을까?”

  • “일단 외주 주면 되지 않나?”

근데 실행하는 AI는 다릅니다. 현장에서 움직이기 시작하는 순간부터는 기술이 아니라 운영이거든요. 그래서 제가 보기엔 기업이 제일 먼저 정해야 하는 질문은 이거예요.

  • 문제 생겼을 때 누가 멈추고(Stop), 누가 재가동 승인(Go)하나?

이게 안 정해져 있으면 실제로 이런 일이 생겨요.

  • 이상하게 움직이는데 “누가 판단하죠?”부터 나옴

  • 책임질 사람이 없으니 그냥 꺼버리고 “도입 실패”로 끝

  • 사고 날까 봐 직원들이 아예 안 쓰려고 함

그래서 “AI 담당자”보다 AI 운영 책임자(Owner)를 먼저 세우는 게 맞다고 봐요. 현장-IT-안전 사이를 연결해서, 멈춤/재가동을 책임지고 결정할 사람요.



2) 프로세스: ‘도입’보다 ‘운영 루틴’이 먼저

회사들이 AI 도입할 때 제일 흔한 실수는 이거예요.

  • “일단 깔아보고, 잘 되면 키우자”

근데 실행하는 AI는 “깔아보는 순간”부터 리스크가 생깁니다. 특히 로봇/자동화/현장 AI는 예외상황이 너무 많아요. 그래서 제가 추천하는 순서는 딱 이거예요.

  • 파일럿(작게) → 운영 기준 만들기 → 확장

성공한 조직들의 공통점은 “문서가 완벽함”이 아니라, 운영 루틴이 습관처럼 굴러간다는 점이더라고요.

운영 루틴은 이렇게만 잡아도 꽤 강력합니다.

  • 매일 5분 점검

    • 센서/장비 상태 확인(오염, 고장, 부착 상태)

    • 네트워크/전원 체크

    • 작업 구역 장애물/위험요소 확인

  • 운영 중 이상 신호 규칙

    • 어떤 경고가 뜨면 멈출지(즉시정지 기준)

    • 누가 확인하고 누구에게 알릴지(연락 체계)

  • 장애 발생 시 기본 플로우

    • 멈춤 → 사람 안전 확인 → 원인 기록 → 재발 방지 → 재가동 승인

  • 주간 회고(30분)

    • 실패 케이스 TOP3 정리

    • 원인(환경/센서/사람/설정) 분류

    • 다음주 개선 1개만 정하기

여기서 포인트는 거창한 회의가 아니라, 기록하고 반복해서 조금씩 고치는 구조예요.



파일럿 회의에서 남길 운영 합의 메모

작은 파일럿을 시작할 때는 “누가 담당한다”에서 한 걸음 더 나아가 담당자가 무엇을 확인하는지 적어두면 좋아요. 아래는 문서 정리나 검토 요청 같은 업무 흐름에 적용해볼 수 있는 빈 메모 형식입니다.

이번에 다룰 범위
시험할 업무와 제외할 업무를 각각 적습니다. 예: 제공된 자료의 요약 초안 만들기 / 외부 발송과 계약 조건 확정은 제외.
확인할 사람과 자료
초안을 검토할 역할, 검토에 사용할 원문, 답을 주고받을 경로를 정합니다. 담당자가 자리를 비웠을 때의 문의 경로도 비워두지 않습니다.
보류할 때 남길 것
출처가 없거나 요청 범위가 불분명한 경우에는 어떤 부분이 미확인인지 적고 담당자에게 확인할 질문을 남깁니다.
다음 회의에서 볼 것
원문과 달랐던 요약, 반복해서 비었던 입력값, 확인을 기다린 항목을 모아 다음에 바꿀 한 가지를 정합니다.

이 메모를 채웠다고 운영 준비가 모두 끝나는 것은 아니에요. 특히 실제 장비가 움직이는 현장이라면 장비별 매뉴얼과 현장의 승인된 절차를 따로 확인해야 합니다. 여기서는 성능이나 안전 수준을 판정하지 않고, 누가 어떤 자료를 보고 다음 결정을 맡을지 명확히 남기는 데 초점을 둡니다.

파일럿의 업무 범위와 검토 책임, 보류 질문, 다음 개선 항목을 정리하는 운영 메모
AI로 만든 설명용 이미지입니다. 실제 기업 자료나 제품 화면을 재현한 이미지가 아닌 가상 개념도입니다.

3) 안전: “잘한다”보다 “안전하게 멈춘다”가 먼저

이건 진짜 강하게 말하고 싶어요.
AI는 똑똑하지만, 확신이 없어도 행동할 수 있잖아요. 그래서 실행하는 AI는 “똑똑함”보다 “안전”이 먼저입니다.

제가 좋아하는 기준은 이 두 가지예요.

  • AI가 확신이 없을 때, 안전하게 멈추는가?

  • 사람이 개입해야 할 때, 바로 개입 가능한가?

안전은 “말”이 아니라 구조로 만들어야 합니다.

  • 즉시 정지(E-stop) 버튼/원격 정지가 가능한가?

  • 확신이 없으면 자동으로 보수 모드(속도 제한/정지)로 전환되는가?

  • 사람 접근 시 안전 거리/속도 기준이 명확한가?

  • 사고 발생 시 보고/책임/재가동 승인 체계가 있는가?

이게 없는 상태에서 “성능 좋은 AI”만 붙이면 현장에서는 결국 이런 반응이 나옵니다.

  • “좋긴 한데… 사고 나면 큰일이니까 그냥 안 쓰는 게 낫겠네요.”



도입 전 점검표: 이 4가지만 Yes/No로 체크하세요

도입 전에 이것만 체크해도 실패를 꽤 막을 수 있어요. 빠르게 Yes/No로 확인해보세요.

1) 데이터

  • 우리 현장 환경(조명/먼지/혼잡/야간)이 반영된 데이터가 있는가?

  • 실패/예외 케이스(사람 급접근, 물건 낙하 등) 데이터가 있는가?

2) 센서(눈)

  • 오염/가림/성에 등 “센서가 안 보이는 상황” 대응이 있는가?

  • 센서 하나가 문제 생겨도 경고/대체가 가능한가?

3) 안전

  • 즉시 정지(버튼/원격)가 가능한가?

  • 확신이 없으면 자동으로 멈추거나 보수 모드로 전환되는가?

4) 예외처리

  • 통신 끊김/전원 문제/서버 장애 시 동작 원칙이 있는가?

  • 실패했을 때 다음 행동(멈춤→알림→복구)이 정해져 있는가?



마무리

요즘 제가 더 확신하는 결론은 이거예요.
이제 AI는 “도입”이 아니라 운영의 문제입니다. 그리고 운영의 핵심은 결국 이 3가지예요.

  • 사람(운영 책임자)

  • 프로세스(운영 루틴)

  • 안전(멈출 수 있는 구조)

기술은 앞으로 더 좋아질 겁니다. 근데 회사가 이 3가지를 못 바꾸면 AI는 결국 파일럿에서 멈추거나, 실험으로 끝나는 경우가 많더라고요.



다음 이전