문서를 읽는 건 이제 사람이 아니었습니다 — 지원 챗봇을 만들며 생각한 것
지원 챗봇을 하나 만들었습니다. 시작은 단순했습니다. 우리에겐 고객센터가 없었고, 솔직히 말하면 아무도 고객센터 업무를 맡고 싶어 하지 않았습니다. 누군가는 답해야 하는 문의는 계속 쌓이는데 붙잡을 사람이 없으니, 그 자리를 챗봇에게 맡겨보기로 한 것입니다. 로컬에 올린 Ollama가 사내 지식베이스를 근거로 답을 하고, 필요하면 Slack으로 알림을 던지는 정도의 물건이었습니다.
그런데 만드는 내내 묘한 감각이 따라다녔습니다. 그동안 제가 써온 문서를 이제 사람이 아니라 이 챗봇이 먼저 읽는다는 것. 사용자는 문서 페이지에 도착하지 않습니다. 챗봇에게 묻고, 챗봇이 저 대신 문서를 읽어 소화한 뒤, 조립된 답을 받아 갑니다. 문서는 여전히 소비되는데, 그 1차 독자가 사람에서 기계로 조용히 바뀌어 있었습니다.
트래픽은 줄고, 문서는 더 중요해지고
가장 먼저 실감한 건 역설이었습니다. 챗봇이 잘 동작할수록 문서 사이트로 들어오는 사람은 줄어듭니다. 지표만 보면 문서의 존재감이 옅어지는 것처럼 보입니다. 하지만 실제로는 정반대였습니다.
챗봇이 엉뚱한 답을 하는 경우를 뜯어보면, 거의 예외 없이 원천 문서나 데이터에 문제가 있었습니다. 몇 가지는 지금도 기억에 남습니다. 챗봇이 내부 직원용 매뉴얼을 참조하는 바람에, 외부 사용자에게는 적용되지 않는 내부 프로세스를 그대로 안내한 적이 있었습니다. 어딘가에 명시해두지 않은 아주 간단한 할인율 같은 값은, 근거가 없으니 그럴듯하게 지어내 틀린 숫자를 답했습니다. 개발 과정에서 이미 바뀐 내용이 챗봇이 참조하던 레포에는 옛날 상태로 남아 있어서, 지금은 존재하지 않는 경로를 안내한 경우도 있었습니다.
예전 같으면 이런 문서는 사람을 잠깐 헤매게 하는 정도였습니다. 사람은 이상하다 싶으면 다른 페이지를 열어 스스로 보정하니까요. AI는 그렇게 하지 않습니다. 부정확한 문서를 확신에 찬 문장으로 증폭시킵니다. 틀린 근거 위에 매끄러운 답변을 얹어 사용자에게 건넵니다. 문서의 오류가 처음으로 ‘조용한 불편’이 아니라 ‘증폭되는 사고’가 되는 순간을, 저는 이 챗봇을 통해 처음 목격했습니다. 트래픽은 줄었지만 문서 한 줄의 무게는 오히려 무거워졌습니다.
‘좋은 문서’의 기준은 사실 그대로였습니다
그래서 문서를 손보기 시작했습니다. 청크 단위로 잘려도 스스로 완결되게, 제목 계층을 명시적으로, 암묵지를 걷어내고 다 적어놓는 쪽으로. 흥미로운 건 이 작업이 전혀 새롭지 않았다는 점입니다.
스캔 가능하게 써라, 모호함을 없애라, 구조적으로 배치하라. 20년 동안 테크니컬 라이팅이 반복해온 원칙 그대로였습니다. 달라진 건 기준의 강도가 아니라, 그 기준을 어겼을 때 벌어지는 일이었습니다. 예전에는 못 쓴 문서가 사람만 불편하게 했다면, 이제는 검색 품질 저하로, 챗봇 오답률로, 눈에 보이는 숫자로 되돌아옵니다. 잘 쓴 문서와 못 쓴 문서의 격차가 처음으로 측정 가능해진 것입니다.
돌이켜보면 토픽 기반 저술이 오래 주장해온 방향 — 완결된 부품으로서의 문단 — 을 AI가 강제로 현실화시켰을 뿐입니다. 사용자는 이제 튜토리얼을 처음부터 끝까지 읽지 않습니다. 자기 상황에 맞는 답을 조립받습니다. 그렇다면 제 일은 완결된 내러티브를 짓는 것에서, 어떤 질문에도 정확히 조립될 수 있는 신뢰할 수 있는 조각을 만드는 쪽으로 옮겨갑니다.
명시하지 않은 것은, 없는 것과 같았습니다
문서 바깥에서도 비슷한 걸 배웠습니다. 챗봇은 같은 인사말도 상황에 따라 다르게 받아들였고, 사람 이름 하나조차 국문과 영문, 대문자와 소문자를 저마다 다른 값으로 취급했습니다. 사람에게는 당연히 같은 것으로 읽히는 표기들이, 챗봇에게는 명시적으로 “이건 전부 같은 값입니다”라고 지도해주기 전까지는 서로 다른 것이었습니다.
문서를 쓸 때 제가 은연중에 독자의 상식에 기대어 생략해온 것들이, 여기서는 하나도 통하지 않았습니다. 사람이라면 알아서 채워 넣던 맥락을, 이제는 빠짐없이 적어두어야 합니다. 명시하지 않은 것은 그냥 없는 것과 같았습니다. 문서의 미덕이 ‘간결함’에서 ‘명시성’으로 조금씩 이동하고 있다는 걸, 이 사소한 정규화 작업이 알려주었습니다.
쓰는 사람에서, 신뢰를 설계하는 사람으로
챗봇을 운영하며 든 생각을 조금 밀고 나가면, 라이터의 무게중심이 이동하고 있다는 결론에 닿습니다. 초안 생성은 이제 AI가 곧잘 합니다. 사람의 부가가치는 무엇이 참인지 판별하고, 무엇을 문서화할지 결정하고, 그 지식의 출처와 신선도를 관리하는 쪽에 남습니다.
이 답변의 근거가 어느 문서, 어느 버전인지 추적되지 않으면 AI 시대의 문서 품질은 보증할 방법이 없습니다. 오래 관심을 두었던 knowledge traceability가, 이제는 취향이 아니라 운영의 전제 조건이 되었습니다. 문서가 단순 참조 자료가 아니라 제품의 런타임 구성요소가 된 이상, 정확성과 최신성 관리는 콘텐츠 운영이라기보다 서비스 운영에 가까운 감각을 요구합니다. 문서에 SRE의 마음가짐이 필요해진 셈입니다.
그렇다고 사람이 읽는 글이 사라진다고는 생각하지 않습니다. 오히려 반대입니다. 조각 정보는 AI가 다 조립해주니까, 온보딩과 멘탈 모델을 세워주는 글, 왜 이렇게 설계했는지를 설득하는 글의 희소가치는 올라갑니다. 잘 쓴 개념 문서 한 편이 예전보다 더 귀해집니다.
소비의 형태는 ‘읽힌다’에서 ‘참조된다, 조립된다, 실행된다’로 넓어지는 중입니다. 그 안에서 저는 점점 글을 쓰는 사람이라기보다, 조직 지식의 신뢰성을 설계하는 사람에 가까워지고 있습니다. 작은 챗봇 하나가 알려준, 생각보다 큰 변화였습니다.
그리고 이렇게 한 편의 글로 남겨둡니다. 저라는 테크니컬 라이터가 AI 시대에 살아남을 근거를, 또 하나 조용히 쌓아 올리면서.