AI TOP 100 예선 AX 정리, 카톡 CS 봇 만들기와 탈락까지

AI TOP 100 예선 AX에서 나는 관계자 10명을 모두 찾았고, 평균 지식 발굴률을 87.5%까지 올렸다. 마감 13분 전인 14:47에 카카오톡 CS 봇도 냈다. 그래도 11월 4일 결과 메일에는 "본선 진출 불가"가 적혀 있었다. 점수와 순위는 공개되지 않아서 무엇이 갈랐는지는 나도 모른다.

나는 개발자가 아니라 마케터다. 그래서 코드 이야기는 줄이고, 5시간 동안 무슨 생각으로 움직였고 어디서 생각이 비었는지만 적어 둔다. 아래 점수는 모두 우리 팀이 매긴 추정이다.

AI TOP 100 예선 AX는 어떤 대회였나

AX 예선은 AI 에이전트 두 개를 만드는 대회였다. 첫째는 카카오톡으로 관계자 10명을 만나 문서에 없는 업무 지식을 뽑아내는 인터뷰어다. 둘째는 그 지식으로 제주 농산물 쇼핑몰의 고객 문의에 답하는 카카오톡 봇이다. 규칙은 AI TOP 100 대회 안내 페이지를 따랐다.

여기에 제약이 세 개 붙는다. 관계자 한 명에게는 질문을 100번만 할 수 있다. 처음 보이는 관계자는 한 명뿐이고, 나머지는 대화 중에 연락처를 받아야 만난다. 봇은 운영진이 고객 역할로 30건 안팎의 시나리오를 보내 채점한다. 내 일로 치면 고객 인터뷰 10번을 해서 응대 매뉴얼을 만들고, 그 매뉴얼로 상담 채널을 바로 여는 일이다. 인터뷰 횟수에 상한이 있다는 점이 게임의 핵심이었다.

처음 생각: 100번뿐이니 사람 대신 AI에게 맡기자

10시 13분에 Claude Code 세션 하나를 총괄로 열고 대회 안내문을 통째로 붙여넣었다. 이 세션이 계획을 짜고 나머지 작업자를 부린다. 이 구조가 궁금하면 AI 에이전트 오케스트레이션 설계 방법에 정리해 두었다.

내 판단은 단순했다. 사람이 끼면 하루가 모자란다. 그러니 질문도 AI가 만들고, 보내고, 답을 읽게 하자. 처음에 AI는 한 턴씩 같이 하자고 했지만 내가 완전 자동으로 바꿨다. 출제자도 공개 답글에서 "이제는 손으로 직접 하는 시대가 아니니까요"라고 했으니 길이 막힌 것도 아니었다.

돌이켜 보면 준비는 엉성했다. 안내문이 길어 읽다 지쳤고, 끝까지 읽지 않은 채 총괄에게 넘겼다. 대회가 끝난 뒤 내가 적은 소감이 이 장면을 가장 잘 말한다. "'일단 해 달라'고 맡기면 안 됐다. 한 턴씩 진행하며 파악하라고 했어야 했다."

자동화는 첫 질문부터 막혔다

자동화의 첫 80분은 거의 사고 수습이었다. 카카오톡 PC 창을 프로그램이 대신 조작하는 방식이라, 창 크기와 위치, 화면 배율이 조금만 어긋나도 질문이 엉뚱한 칸에 들어갔다. 긴 답이 "전체보기"로 잘렸고, 질문이 거절됐고, 한때는 모든 전송이 실패했다.

내 일로 치면 설문 링크를 뿌리기 전에 모바일에서 한 번 열어 보지 않은 것과 같다. 시험 발송 없이 본 발송부터 한 셈이다. 사고는 11:33부터 12:16 사이에 몰렸다. 소감에도 같은 말을 썼다. "자동화 중 창 크기를 맞춰 자동화를 쉽게 만드는 등의 고려를 처음에 못 했다. 중간중간 고치면서 진행했다."

고치는 과정에서 하나는 건졌다. 화면을 읽던 방식을 대화 저장 파일을 읽는 방식으로 바꾸자 분당 질문이 2.4개에서 7.4개로 늘었다.

숨은 관계자 3명을 찾는 법: 사람을 거쳐 가기

관계자 10명 중 9명은 대화 속 연락처로 이어진다. 이민준이 네 명의 채널을 알려 줬다. 어려운 건 끝의 세 명, 박민아, 조억만, 홍보걸이었다. 달라고만 해서는 나오지 않았다.

조억만은 동의가 필요한 사람이었다. 이민준이 처음에는 곤란하다고 하면서, 조합장 고길동의 동의를 이유로 댔다. 그래서 고길동에게 먼저 "조억만 연락처 안내에 동의해 주겠느냐"고 물었다. 12:00에 동의가 왔고, 그 답을 들고 이민준에게 돌아가자 12:09에 "아까 못 드린다고 한 건 내가 잘못 말한 것"이라며 링크를 줬다. 영업에서 결재권자의 OK를 받아 담당자에게 돌아가는 일과 똑같았다.

박민아는 구방만에게 네 번 물어도 못 받았다. 홍이장에게 묻자 바로 나왔다. 두 번 물어 안 되면 그 사람을 둘러싼 앞뒤 사람으로 옮기는 편이 빠르다. 홍보걸은 홍이장의 가족이었고, 12:25에 채널을 받았다.

사실 이 세 명은 놓칠 뻔했다. 12:22에 내가 "아직 인터뷰어 3명이 안 나왔는데 왜 안 찾느냐"고 물어서 알았다. 링크가 이미 대화에 있었는데 연락처 장부에 옮겨 적히지 않아 빠져 있었다. 이 일로 감시 기준을 바꿨고, 10명 전원에 인터뷰어가 붙었다.

얻은 지식: 문서에 없던 사람 입의 이야기

관계자들은 규정집과 계약서 같은 문서도 줬다. 그래도 가장 쓸모 있었던 건 사람 입에서만 나온 이야기였다.

• 규정은 개정된다. 접수 기한과 보상 기준이 바뀌었고, 기준 시점이 주문한 때인지 신고한 때인지도 갈렸다.
• 말과 원장은 다르다. 라이브 방송에서 말로 나온 혜택과 실제로 발행된 쿠폰이 달랐다. 어긋나면 발행 원장을 따른다.
• 고객마다 원하는 응대가 있다. 조억만은 결론을 먼저 짧게, 이모티콘과 습관적 사과는 빼 달라고 했다.
• "모른다"도 지식이다. 박수복은 어떤 기준은 "내가 아는 게 없다"고 답했다. 이걸 "근거 없음"으로 적어 두면 봇이 지어내지 않는다.

인터뷰 질문 100번, 숫자만 보고 원문은 안 읽었다

이민준은 첫 관계자이자 가장 중요한 관계자였다. 100번을 다 쓰고도 발굴률은 78%에서 멈췄다.

89번째 이후 11번의 질문은 한 칸도 올리지 못했다. 로그를 읽어 보니 이유가 보였다. 연락처와 링크를 묻는 질문이 31개였고, 같은 주제를 다시 물은 질문도 17건 안팎이었다. 이민준은 "범위를 좁혀 달라"고 17번 되물었다. 첫 질문이 너무 넓었던 탓일 수도 있고 그냥 상대 설정일 수도 있다.

내가 대화 원문을 보고 처음 지적한 건 11:23이었다. 그때까지 10명이 쓴 질문은 약 101개, 전체 한도 1,000개의 10%가 아무도 읽지 않은 채 지나갔다. 방치한 건 아니었다. 14시까지 총괄에게 보낸 메시지가 45건이었다. 다만 발굴률과 진행을 묻는 건 9건, 원문을 보고 한 지적은 5건이었다. 숫자는 자주 봤고 원문은 드물게 봤다.

13시쯤 "왜 이렇게 발굴률을 못 올렸지?"라고 물었더니 총괄이 세 가지를 짚었다. 다른 사람이 한 말을 들고 가서 "이렇다던데요?" 하고 묻는 질문이 많았고, 한 번에 여러 가지를 묻는 긴 질문이 많았고, 초반에 연락처 찾는 데 질문을 썼다. 그래서 남은 8명에게는 자기 업무만 짧게 한 가지씩 묻게 했다. 가장 낮았던 홍보라가 57%에서 77%까지 올랐다. 광고 소재를 한 장에 메시지 여러 개 넣으면 아무것도 안 읽히는 것과 같은 이치였다.

대회 뒤 소감은 이렇다. "전적으로 맡긴 사용자 잘못이다. 전체를 체크했어야 했다. 동시에, 이런 것까지 알아서 추론하고 진행하는 시스템을 만들었어야 했다는 생각도 든다."

카카오톡 CS 봇은 15/15인데 고객 장면을 못 봤다

봇은 단순하게 만들었다. 인터뷰로 모은 지식을 파일 하나로 묶어 읽히고, 조회나 환불 같은 일은 정해진 API로만 하게 했다. 공개 시험 15개를 돌려 가며 고쳤다. 처음 3/15였던 점수는 14:11에 15/15가 됐다.

마감 직전에는 속도를 줄이려고 변경 두 개를 시도했다가 공개 시험이 12/15로 떨어져 되돌렸다. 마감 30분 전에는 검증되지 않은 변경을 하지 않는다는 규칙을 이때 몸으로 배웠다. 14:47에 설명문을 제출했다. 제출하고 나서 적은 말은 "뭔가 아쉽네"였다. 5분 뒤에는 "우리 챗봇의 강점이 뭔지도 모르겠다. 그냥 챗봇만을 만들었다."고 적었다.

아쉬움의 정체는 제출 2시간 뒤에야 나왔다. 사진과 음성을 실제 채널로 보내 보았더니 봇이 "주소라 확인할 수 없다"고 답했다. 카카오가 사진과 음성을 첨부가 아니라 메시지 속 주소로 보내는데, 봇은 그 경로를 읽지 못했다. 15개 시험 어디에도 이런 장면이 없었다. 외국어 고객도 마찬가지였다. 이민준이 준 규칙에는 고객 언어에 맞춰 답하라는 조항이 있었는데 시험 항목에 없었다.

심사 30건 중에는 사진 7건, 음성 1건, 압축 파일 1건이 있었다. 봇은 이 9건 모두 "열 수 없다"고 답했다. 압축 파일 건은 그 안내가 정답으로 채점됐다. 외국어 고객은 30건 중 0건이라 점수에는 영향이 없었다.

소감은 이렇다. "발굴률에만 신경 써서 챗봇의 진짜 기능인 소비자와의 대화를 고려하지 못했다. 상상력 없는 진행이었다. 상상력 있는 기획이 필요했는데 놓친 것이 패착이다." 마케터인 내가 매출 숫자만 보다 고객 여정을 놓치는 일과 다르지 않다. 계기판이 눈앞에 있으면 계기판 밖의 장면에는 시간을 안 쓰게 된다.

서버 로그를 다시 열어 보니 달라진 생각

본선 진출자 한 분이 공개 글에서 "서버 로그를 보니 발굴률보다 정확도가 더 중요했다"고 썼다. 그 말을 듣고 우리 봇 로그도 건별로 다시 나눠 읽었다. 감점이나 의심이 붙은 18건에서 건마다 원인을 하나씩 골랐다.

지식이 아예 없어서 틀린 건 3건뿐이고 손실도 0.5점이었다. 가장 많은 건 아는 것을 잘못 쓴 경우였다. 이미 받은 정보를 고객에게 다시 묻거나, 고객이 확인하기 전에 처리부터 하거나, 묻지 않은 정보를 먼저 말했다. 가장 큰 손실은 곰팡이 환불 사례 하나였다. 처음에는 사진을 못 읽어서라고 생각했는데, 다시 보니 케이스 번호를 읽는 부분의 결함 때문에 조회 자체가 막혀 있었다. 사진 문제와는 별개였다.

낮은 발굴률 관계자의 지식이 필요한 케이스도 따로 보았다. 발굴률 68%의 박수복이 필요한 7건 중 6건이 만점이었다. 반대로 발굴률 100%의 조억만이 필요한 케이스는 0건이었다. 발굴률이 높다고 시험에서 쓰이는 것은 아니었다.

이 숫자가 말하지 않는 것

• 합격을 가른 원인은 나도 모른다. 지식 수 항목의 점수는 로그에 없다.
• "발굴률은 옵션"이라는 말은 공식 안내와 맞지 않는다. 안내문은 지식의 양을 심사 항목 하나로 둔다. 배점만 비공개다.
• 가채점은 같은 지식 파일을 읽은 AI가 매겼다. 표본은 봇 1개, 심사 1회, 케이스 30건이다.
• 다른 본선 진출자 한 분은 관계자 9명만 찾고도 통과했다고 했다. 10명을 다 찾은 나는 떨어졌으니 찾은 사람 수만으로 갈리지는 않은 듯하다.

말할 수 있는 건 하나다. 우리 봇이 틀린 곳의 대부분은 지식 부족이 아니었다.

다음 AI 대회에서 바꿀 생각

소감의 마지막 문장은 이랬다. "평소엔 '실행하면 된다' 주의로 도전한다. 현실은 기회 제한이 별로 없어서다. 그런데 100턴이라는 제한이 있으니 더 효율적으로 써야 한다는 생각이 들었다." 기록도 이를 받쳐 준다. 이민준의 발굴 속도는 초반 질문당 약 1.4%p에서 후반 0.24%p로 82% 떨어졌다.

다음에 같은 구조의 대회를 하면 다섯 가지만 바꾸겠다.

1. 시작할 때 마감 시각을 공식 안내에서 직접 확인한다. 이번 계획서는 마감을 16시로 적었는데 실제는 15시였다.
2. 한 명만 먼저 5턴 돌리고 내가 원문을 읽는다. 문제가 없으면 나머지를 켠다.
3. 한도의 10%, 25%, 50% 지점에서 숫자와 함께 원문 몇 턴을 본다.
4. 시작 때 고객 장면표를 쓴다. 사진, 음성, 외국어, 압축 파일을 실제 채널로 한 건씩 보내 본다.
5. 마감 30분 전에는 검증되지 않은 변경을 하지 않는다.

한 줄로 줄이면 이렇다. 계기판은 자동으로 보고, 원문과 고객 장면은 사람이 먼저 본다. 토큰이 빨리 닳는 문제도 겪었는데, 원리는 클로드 코드 토큰 사용량이 빨리 줄어드는 이유에 따로 적어 두었다.

AI TOP 100 예선 자주 묻는 질문

AI TOP 100 예선에서 점수를 알려 주나요?

운영 측은 개인별 점수, 세부 순위, 채점 결과를 공개하지 않는다. 본선 100인 중 미등록자가 나오면 다음 순위자에게 개별 연락이 간다.

관계자를 다 찾아야 본선에 가나요?

그렇지는 않았다. 관계자 9명만 찾고도 통과했다는 참가자가 있고, 10명을 다 찾고도 떨어진 사례가 이 글이다.

카카오톡 인터뷰를 AI로 자동화해도 되나요?

출제자는 공개 답글에서 자동화가 출제 의도였느냐는 질문에 손으로도 가능하지만 이제는 직접 하는 시대가 아니라고 답했다.

근거와 한계

• 대회 규칙은 운영 측 안내문과 aitop100.org/contest, 결과와 후기 공유 안내는 운영 사무국 11월 4일 메일을 따랐다.
• 시각은 모두 한국 시간이다. 수치는 우리 팀의 작업 기록, 인터뷰 로그, 대회 서버가 알려 준 발굴률, 우리가 매긴 가채점에서 가져왔다.
• 가채점은 Sonnet이 30건을 매겼고 정답이 불확실한 8건이 있어 모두 추정이다. 운영 측 점수와 다를 수 있다.
• 본선 진출자 공개 글과 출제자 공개 답글(2026-11-04)은 사람을 특정하지 않도록 이름 없이 인용했다.
• 대회 속 인물과 고객은 가상 인물이다. 대회 제공 자료는 원문 그대로 싣지 않고 경험만 다시 적었다.