AI 자동화에서 실패한 것들 — 솔직한 회고
AI 자동화를 시도하다 실패한 경험을 솔직하게 공유합니다. 어떤 자동화가 기대에 못 미쳤는지, 왜 실패했는지, 그리고 다시 시도한다면 어떻게 접근할지를 담습니다.
범위·검수·도입 설명에서 겪은 시행착오
로보텍스트는 내부 업무를 자동화하고 도입을 상담하는 과정에서 범위를 너무 크게 잡고, 결과 검수를 놓치고, 실무자에게 변화를 충분히 설명하지 못한 경험이 있습니다.
실패 1: 처음부터 너무 큰 범위를 자동화하려 했다
무슨 일이 있었나
로보텍스트를 시작하고 가장 먼저 한 일은 "우리 회사 운영 전체를 AI로 돌리자"였습니다. 콘텐츠 제작, 이메일 마케팅, 데이터 분석, 고객 관리, 재무 정산 — 한꺼번에 자동화 시스템을 설계했습니다.
- 워크플로우 설계·도구 선정API 연동 시작
- 영역별 예외 발생한 곳을 고치면 다른 곳에 문제
- 전체 시스템 미완성실제 업무는 계속 수작업
개발과 수작업을 병행하면서 업무 부담이 늘었습니다.
배운 것
가장 부담이 큰 업무 하나를 먼저 자동화하고, 효과를 확인한 뒤 확대합니다. 우리는 콘텐츠 제작 파이프라인부터 다시 시작했습니다. 콘텐츠가 안정화된 뒤 이메일, 대시보드 순서로 확장했고, 전체 자동화까지 8주가 걸렸습니다.
체크리스트
- 가장 시간을 많이 잡아먹는 업무 1개를 골랐는가?
- 그 업무의 현재 프로세스를 단계별로 적었는가?
- 2주 안에 파일럿 결과를 볼 수 있는 범위인가?
- 파일럿이 실패해도 기존 업무에 지장이 없는가?
실패 2: AI 출력을 검증 없이 사용했다
무슨 일이 있었나
콘텐츠 파이프라인이 돌아가기 시작하자 자신감이 붙었습니다. "AI가 잘 쓰네? 그냥 바로 발행해도 되겠다."
블로그 글 하나를 AI가 생성한 그대로 발행했습니다. 다음 날 확인해보니, 본문에 존재하지 않는 통계 수치가 포함되어 있었습니다. "2024년 국내 AI 시장 규모 45조 원"이라는 문장이었는데, 실제로는 그 수치를 뒷받침하는 출처가 없었습니다. AI가 그럴듯하게 만들어낸 숫자, 즉 환각(hallucination)이었습니다.
해당 블로그 글은 확인한 뒤 빠르게 수정했습니다.
또 다른 사례도 있습니다. 이메일 캠페인에서 AI가 생성한 문구에 "귀사의 지난달 매출이 20% 하락한 것으로 보입니다"라는 내용이 들어간 적이 있습니다. 개인화 데이터를 잘못 참조한 문구였습니다. 발송 전 검수 과정에서 발견해 차단했습니다.
배운 것
외부에 공개하거나 발송할 AI 결과는 출처와 대상 정보를 확인한 뒤 사용합니다.
- 수치의 출처를 확인하고, 출처가 없으면 삭제합니다.
- 작성자가 아닌 다른 팀원이 최종 검수합니다. 1인 운영이면 최소 6시간 뒤 다시 읽습니다.
- 고객 리포트·이메일 등 외부 발송 자료는 검수 수준을 높입니다.
- 내부 문서에는 AI가 생성한 부분을 표시해 팩트체크 대상을 구분합니다.
환각 방지 실전 팁
- 구체적 수치를 AI에게 요청하지 않기. 대신 "최신 통계를 첨부할 자리를 [TODO]로 표시해줘"
- 고유명사(회사명, 인물명, 제품명) 정확도를 반드시 확인
- "~라고 알려져 있습니다" 같은 모호한 표현이 나오면 출처 확인
실패 3: 시연 전에 바뀔 업무를 충분히 설명하지 못했다
무슨 일이 있었나
컨설팅 초기에 잠재 고객에게 자동화를 시연했습니다. 효율을 높이는 도구로 설명했지만, 실무 팀장은 인력 감축으로 받아들였습니다.
도입 시연 중 대화
- 로보텍스트
반복 업무를 줄이는 효율화 도구입니다
- 잠재 고객
이거 도입하면 우리 팀원들 짤리는 거 아닌가요?
원고의 초기 설명과 고객 반응을 대화 형태로 재구성했습니다.
다른 상담에서도 비슷한 저항을 만났습니다. 기술적 장점만으로는 바뀔 업무에 대한 걱정을 해소하기 어려웠습니다.
배운 것
기술 도입 전에 사람의 마음을 먼저 얻어야 한다.
지금은 "반복적인 부분을 AI가 처리하면, 여러분은 더 중요한 일에 집중할 수 있습니다"라고 설명하고, 다음을 함께 정합니다.
- 실무자 참여: 자동화 대상 업무를 정할 때 실무자가 직접 참여. "어떤 업무가 가장 귀찮으세요?"부터 시작.
- 점진적 도입: 처음부터 전면 교체가 아니라, 기존 업무와 병행하면서 효과를 체감한 후 확대.
- 투명한 소통: AI가 처리할 반복 작업과 사람이 맡을 출처 확인·최종 검수 역할을 함께 설명합니다.
담당자가 줄어드는 반복 작업과 새로 맡을 확인 업무를 함께 이해해야 도입을 이어갈 수 있습니다.
실패에서 만든 원칙 3가지
- 작게 시작합니다. 업무 1개로 2주 파일럿을 진행하고, 결과를 검증한 뒤 확대합니다.
- 결과와 출처를 확인합니다. 외부 자료는 팩트체크와 이중 검수를 거칩니다.
- 사람부터 설득합니다. 실무자와 자동화 범위 및 사람이 맡을 역할을 정합니다.
지금은 범위·검수·역할을 함께 설계합니다
로보텍스트는 업무 하나를 먼저 완성하고, 출처와 수신 대상을 확인한 뒤 결과를 사용하며, 실무자와 운영 역할을 정하는 순서로 진행합니다. 도입 상담에서는 예외가 생겼을 때 처리할 방법과 수작업으로 복구할 방법도 함께 설계합니다.
시행착오를 줄일 첫 업무를 정하려면 문의하기 또는 hello@robotext.co.kr로 반복 업무와 현재 불편한 점을 알려주세요.
관련 글:
로보텍스트와 업무에 적용하기
반복 업무를 설명해 주세요. 구현할 순서를 잡겠습니다
- 문의에 적어주실 내용
- 현재 작업 순서, 사용하는 프로그램과 반복 주기. 가린 예시나 업무 설명이면 충분합니다.
- 함께 정할 내용
- 우선 자동화할 작업, 연결 방법과 사람이 승인할 단계을 정리합니다.
hello@robotext.co.kr