>마일드코드

클로드는 사실 이렇게 동작합니다 | 현직 개발자가 알려주는 AI 지식

2026.10.15읽는 시간 10분영상
#입문#클로드코드#LLM
영상: 클로드는 사실 이렇게 동작합니다
한눈에 답하면

클로드 코드에 「앞으로 답은 세 줄로만 해 줘」라고 해 두면 「네, 알겠습니다」라고 답합니다. 그런데 클로드는 그 말을 정말 기억하고 있을까요? 규칙 한 줄을 따라가면서 LLM 이 어떻게 학습되고, 어떻게 대답을 만들고, 왜 긴 작업에서 처음 정한 규칙을 놓칠 수 있는지 한 번에 정리했습니다.

클로드 코드로 바이브코딩을 하다 보면, 이 클로드가 실제로 어떻게 학습되고 어떻게 대답하는지 전혀 모르는 채로 쓰는 경우가 대부분이죠.

저는 원리를 모르고 기술을 쓰는 게 어떻게 보면 문맹이랑 비슷하다고 봅니다. 적어도 매일 쓰는 클로드 코드 뒤에서 무슨 일이 일어나는지는 조금 알고 쓰고 싶잖아요.

이 글은 규칙 한 줄을 주인공으로 둡니다. 「앞으로 답은 세 줄로만 해 줘」. 이 한 줄이 클로드 안으로 들어가서 답으로 나오기까지를 따라가 보겠습니다.

LLM 은 제품 속에 든 엔진입니다

먼저 LLM 이 무엇인지부터요. 우리가 쓰는 클로드, 챗GPT 같은 것들은 전부 LLM 이라는 엔진을 안에 품고 있는 제품입니다. 화면 뒤에서 실제로 제 말을 알아듣고 대답을 만들어 내는 게 LLM 이에요.

LLM 은 Large Language Model, 그러니까 큰 언어 모델이라는 뜻입니다. 정말 많은 글을 학습시켜서 사람처럼 자연스럽게 말하도록 만든 엔진이라고 보시면 됩니다.

클로드 코드도 클로드라는 LLM 으로 돌아가는 제품입니다. 대답만 하는 게 아니라 직접 파일을 만들고 실행까지 하죠. 이 글에서는 클로드를 예로 들어 설명하겠습니다.

다음 토큰을 하나씩 고르는 일의 반복입니다

그럼 컴퓨터가 어떻게 사람 말로 대답할 수 있게 됐을까요. LLM 은 기본적으로 어떤 말 뒤에 어떤 말이 올지 예측해서 출력하는 기술입니다.

휴대폰 자판으로 문자를 쓰다 보면 다음 단어를 추천해 주는 기능이 있잖아요. 클로드는 그 다음 단어 추천 기능을 정말 크게 키운 모델이라고 보시면 됩니다.

예를 들어 「오늘 점심 메뉴는」까지 쓰여 있다고 해 볼게요. 그 뒤에 올 말로 김치찌개, 짜장면 같은 그럴듯한 후보가 여러 개 떠오르죠. 클로드도 그 후보들 중에서 하나를 선택해서 출력합니다.

이때 선택하는 단위는 단어 하나일 때도 있고, 단어보다 작은 조각일 때도 있습니다. 이렇게 AI 가 글을 읽고 쓰는 단위를 토큰이라고 합니다. 예를 들어 「바이브코딩」이 「바이브」와 「코딩」으로 나뉘는 식이에요. 실제로 어디서 끊기는지는 모델마다 다릅니다.

그다음이 중요합니다. 방금 출력한 토큰까지 포함한 글을 다시 보고, 그다음에 올 토큰을 또 하나 선택합니다. 이걸 반복하면서 문장이 만들어지고, 그 문장이 그대로 우리가 받는 대답이 됩니다.

지금까지의 글다음에 고른 토큰(예시)
오늘 점심 메뉴는김치
오늘 점심 메뉴는 김치찌개
오늘 점심 메뉴는 김치찌개입니다

평소에 보던 장면이 전부 이 원리입니다

이걸 알고 나면 매일 보던 장면이 다르게 보입니다.

답이 한 번에 뜨지 않고 글자가 흘러나오듯 써집니다. 클로드 안에서 토큰을 하나씩 선택해서 출력하는 일이 계속 일어나고 있고, 선택한 토큰을 바로바로 화면에 보여 주니까 그렇게 보이는 겁니다.

같은 질문을 다시 했는데 답이 다르게 나옵니다. 매번 가장 그럴듯한 토큰 하나만 고르는 게 아니라, 후보 여러 개 중에서 하나를 고르기 때문이에요.

그리고 클로드 코드로 작업하다가 답이 너무 길어서 「앞으로 답은 세 줄로만 해 줘」라고 한마디 해 두면 바로 「네, 알겠습니다」라고 답하죠. 이 대답도 사실은 그 요청 뒤에 이어질 그럴듯한 토큰들이 「네, 알겠습니다」였던 겁니다.

이렇게 작업하는 동안 계속 지키도록 정해 두는 지시를 보통 규칙이라고 합니다. 그런데 클로드가 이 규칙을 정말 기억하고 있을까요.

학습은 가중치를 맞춰 가는 과정입니다

원리는 알겠는데, 이건 어떻게 학습되는 걸까요.

클로드 안에는 수많은 숫자가 들어 있습니다. 어떤 토큰 뒤에 어떤 토큰이 올지 판단하는 기준값이에요. 이 숫자들을 가중치라고 합니다. 학습은 이 가중치를 맞춰 가는 과정입니다.

방법은 이렇습니다. 문장을 하나 꺼내 뒷부분을 가려 두고, 앞부분만 보고 바로 다음에 올 토큰을 예측하게 합니다. 처음에는 엉뚱한 토큰만 내놓고, 틀릴 때마다 가중치를 정답 쪽으로 조금씩 조정합니다. 이걸 정말 많은 글로 수도 없이 반복합니다.

이렇게 다음 토큰을 예측하면서 가중치를 조정하는 학습을 사전 학습이라고 합니다. 양이 어느 정도냐면, 공개된 모델 하나가 밝힌 학습량을 영어 소설로 바꿔 보면 1억 권이 넘는다는 예시 환산이 나옵니다. 클로드의 학습량이 아니라 규모를 짐작하기 위한 예시로만 봐 주세요.

그렇게 사전 학습이 끝나고 남는 건 그 많은 글을 통째로 넣어 둔 창고가 아닙니다. 남는 건 가중치입니다.

그럼 아까 그 세 줄 규칙도 이 가중치에 반영되는 걸까요. 여기서부터는 AI 가 부딪힌 문제를 하나씩 풀어 온 순서대로 따라가 보겠습니다.

대답하는 법은 따로 가르쳤습니다

첫 번째 문제는 대답을 못 한다는 것이었습니다. 사전 학습만 한 AI 는 질문에 대답하는 게 아니라, 앞에 쓰인 글에 이어지는 문장을 생성할 뿐이거든요.

실제로 사전 학습만 한 작은 공개 모델이 있습니다. 누구나 내려받아서 집에서도 돌려 볼 수 있는 크기예요. 여기에 「앞으로 답은 세 줄로만 해 줘」를 넣어 보면, 「세 줄로만 해 줘야 한다」 하고 문장을 이어 쓰더니 하나, 둘, 셋, 넷 하고 번호만 계속 출력합니다. 대답이 아니라 글 이어 쓰기예요.

그래서 사람이 좋은 대답의 예시를 직접 보여 주고, AI 가 내놓은 여러 답 중에서 더 나은 답을 골라 주면서 대답하는 법을 따로 가르쳤습니다. 이렇게 사전 학습 다음에 대화 형식으로 답하도록 다시 학습시키는 것을 추가 학습이라고 하고, 다른 말로 미세 조정이라고도 합니다.

추가 학습을 거친 같은 모델에 똑같은 한 줄을 대화로 건네면, 그제야 「네, 알겠습니다」 하고 지금 우리가 쓰는 제품들처럼 대답합니다. 클로드도 사전 학습 뒤에 이런 추가 학습을 거쳐서 질문에 답하는 어시스턴트가 된 겁니다.

클로드는 대화를 기억하지 않습니다

추가 학습까지 끝나고 나니 또 다른 문제가 보입니다. 학습이 끝나면 가중치가 고정됩니다. 대화를 아무리 많이 해도 가중치는 바뀌지 않아요. 결국 세 줄로만 답해 달라는 규칙도 가중치에는 반영되지 않습니다.

NOTE

대화 내용이 나중에 새 모델을 학습시키는 데 쓰일 수는 있습니다. 하지만 그건 지금 대화하고 있는 모델과는 다른 모델입니다. 지금 이 대화가 지금 이 클로드의 가중치를 바꾸지는 않습니다.

그런데 가중치는 그대로인데 대화는 분명히 이어지잖아요. 대화 중에 「앞으로 답은 세 줄로만 해 줘」라고 해 두면 바로 다음 답이 실제로 짧아지고요.

대화가 이어지는 건 사실 엔진이 아니라 그 엔진을 쓰는 제품 덕분입니다. 클로드 코드는 클로드에게 답을 받을 때마다 지금까지 나눈 대화를 처음부터 다시 입력합니다. 클로드 코드 공식 문서도 모델은 요청 사이에 아무것도 기억하지 않아서 전체 맥락을 매번 다시 보낸다고 적어 두었습니다.

즉, 클로드는 대화 내용을 따로 저장해 두는 게 아니라 답할 때마다 대화 전체를 처음부터 다시 처리하는 겁니다.

INFO

정확히는 「지금까지 나눈 대화」입니다. 작업이 아주 길어지면 클로드 코드가 앞 대화를 요약으로 바꿔 넣기도 합니다. 그때는 대화 중에 한 번 말해 둔 지시가 요약 속에서 빠질 수도 있습니다.

그래서 꼭 지켜야 할 규칙이 지금 대화 안에 들어 있는지는 기억에 맡길 일이 아니라 내가 직접 챙겨야 하는 일입니다.

매번 다시 읽는 부담은 캐시로 줄였습니다

대화가 이어질수록 다시 처리해야 하는 양도 같이 늘어납니다. 이게 다음 문제였습니다. 세 줄 규칙 하나를 지키게 하려고 해도, 답할 때마다 그 규칙이 들어 있는 대화를 처음부터 다시 처리해야 했으니까요.

클로드 코드로 긴 작업을 해 보신 분들은 아실 겁니다. 대화가 길어지면 사용 한도가 유독 빨리 줄고, 답의 첫 글자가 나오기까지 한참 기다렸다가 그다음부터는 글자가 쏟아지듯 나오는 경우가 있죠. 처리할 양이 늘어나는 만큼 비용이 커지고, 앞 내용을 다시 처리하는 시간도 첫 글자가 늦게 나오는 이유 중 하나입니다.

그래서 AI 회사들은 이미 처리한 앞부분의 계산 결과를 저장해 두고, 다음 답을 만들 때 앞부분이 그대로면 처음부터 다시 처리하지 않고 저장해 둔 결과를 재사용하는 방법을 씁니다. 이렇게 처리한 결과를 저장해 두고 재사용하는 것을 캐시라고 합니다.

클로드 코드도 이 캐시를 써서 비용도 크게 줄고, 첫 글자도 더 빨리 나오게 됐습니다. 다만 캐시로 싸게 읽는다고 해도 대화가 길면 길수록 그만큼 사용량이 드는 건 그대로입니다.

긴 대화가 무너진 이유는 어텐션에 있었습니다

캐시 덕분에 긴 대화를 이어 갈 수 있게 됐는데, 이번엔 캐시 자체가 문제가 됐습니다.

AI 가 한 번에 처리할 수 있는 분량에는 한계가 있습니다. 이 최대 분량을 컨텍스트 윈도우라고 합니다. 대화가 계속 길어지면 캐시도 끝없이 커지고, 결국 컨텍스트 윈도우를 넘어서는 순간이 옵니다.

2023년 MIT 연구진이 이 상황을 실험했습니다. 긴 글을 AI 에게 계속 처리하게 하면서, 캐시에서 가장 오래된 부분부터 버려 봤어요. 그랬더니 캐시가 넘치는 순간부터 엉뚱한 토큰을 출력하기 시작했습니다. 대화가 정말 길어지면 AI 가 갑자기 엉뚱한 소리를 할 때가 있죠. 비슷한 장면입니다.

무너진 이유는 AI 가 앞 내용을 처리하는 방식에 있었습니다. AI 는 답을 만들 때 앞의 토큰 하나하나에 얼마나 주목할지 비중을 나눠서 정합니다. 이렇게 주목할 비중을 나누는 것을 어텐션이라고 합니다.

그런데 이 비중을 다 더한 양은 늘 정해져 있습니다. 딱히 주목할 내용이 없을 때도 남는 비중을 어딘가엔 둬야 하는데, 그 남는 비중이 몰리는 곳이 맨 앞 토큰이었어요. 정작 맨 앞에는 뜻도 거의 없는 토큰 몇 개가 있었을 뿐입니다. 오래된 부분부터 버리다 보니 바로 그 맨 앞 토큰을 버린 거죠.

그래서 연구자들은 맨 앞의 토큰 몇 개만은 늘 남겨 두고 나머지만 오래된 부분부터 버렸습니다. 그랬더니 긴 글이 계속 이어져도 무너지지 않고 버텼습니다.

버티는 것과 다 읽는 것은 다릅니다

이렇게 버티는 방법이 생겼고, 클로드 최신 모델은 컨텍스트 윈도우가 책 여러 권 분량까지 커졌습니다. 그런데 아직 풀리지 않은 문제가 있습니다. 버티는 것과 다 읽는 것은 다릅니다.

AI 는 긴 글을 읽을 때 끝에서 멀리 떨어진 말을 놓치기도 합니다. 2023년에 나온 한 연구에서는 질문의 답이 적힌 쪽지를 긴 서류 더미 한가운데에 끼워 두면, 아예 서류 없이 풀었을 때보다 못 맞히는 경우까지 나왔어요. 그때 모델들은 특히 가운데가 약했던 거죠. 요즘 모델을 대상으로 한 연구 중에는 가운데라서가 아니라 끝에서 멀어서 놓친다는 쪽에 무게를 두는 결과도 있습니다.

그럼 「앞으로 답은 세 줄로만 해 줘」라는 그 규칙은 지금 어디에 있을까요. 작업 중간에 입력해 둔 지시니까, 대화가 길어질수록 그 뒤로 토큰이 계속 쌓이면서 끝에서 점점 멀어진 위치로 갑니다.

작은 공개 모델로 같은 상황을 한번 만들어 봤습니다. 대화 중간에 세 줄로만 답해 달라고 해 두니까 처음 몇 번은 잘 지키더라고요. 그런데 그 뒤로 조금씩 들쭉날쭉하더니, 마지막에는 다시 길게 답했습니다. 작은 모델로 한 번 해 본 결과라서 이것만으로 원인을 단정할 수는 없습니다. 다만 작업이 길어지고 나서 처음에 분명히 정해 둔 규칙을 클로드 코드가 안 지키는 경우, 여러분도 한 번쯤 겪어 보셨을 겁니다.

규칙을 적어 두는 파일도 대화의 일부입니다

그래서 클로드 코드는 규칙을 대화 중간에만 남겨 두지 않도록 CLAUDE.md 라는, 규칙을 적어 두는 파일을 따로 둡니다. 작업을 시작할 때 이 파일을 읽어서, 일을 시킬 때마다 대화 앞쪽에 함께 넣습니다.

그럼 규칙을 이 파일에 적어 두면 이제 클로드가 다 지킬까요. 꼭 그렇지는 않습니다. 클로드 코드의 공식 안내도 이렇게 적어 두었습니다.

Claude reads it and tries to follow it, but there's no guarantee of strict compliance, especially for vague or conflicting instructions.

이 파일의 내용은 클로드가 읽고 따르려고 하는 참고 내용이지, 반드시 지켜지는 설정은 아니라는 뜻입니다. 지시가 모호하거나 서로 부딪히면 더 그렇다고 덧붙여 두었고요. 이 파일도 대화와 함께 매번 다시 입력되는 글이고, 입력됐다고 해서 그대로 지킨다는 보장은 없습니다.

저는 파일에 적은 규칙도 결국 클로드가 읽는 대화의 일부라서, 작업이 길어지면 놓치기 쉬워지는 건 마찬가지일 수 있다고 봅니다. 이건 공식 문서가 아니라 제 생각입니다.

그래서 이 원리를 아느냐에 따라 일하는 방식이 달라집니다. 파일에 적었으니 알아서 지키겠지 하고 길게 맡겨 두면, 한참 뒤에야 규칙이 깨진 걸 발견하고 그동안 만든 걸 다시 살펴봐야 하는 경우가 생깁니다. 클로드가 어떻게 읽는지 아는 분들은 파일에 적은 규칙도 놓칠 수 있다는 걸 처음부터 전제로 두고 일을 맡깁니다.

규칙 한 줄이 답이 되기까지

처음부터 다시 따라가 보겠습니다. 작업 중간에 「앞으로 답은 세 줄로만 해 줘」라고 보낸 규칙은 이렇게 흘러갑니다.

순서무슨 일이 일어나나
1규칙이 토큰으로 나뉩니다
2클로드 코드가 답을 받을 때마다 이 토큰들을 지금까지의 대화와 함께 클로드에게 다시 입력합니다
3앞부분이 그대로면 캐시를 재사용해서 다시 처리하는 부담을 줄입니다
4대화가 길어질수록 규칙 뒤로 토큰이 쌓여서 규칙은 끝에서 멀어집니다
5끝에서 멀어진 말은 클로드도 놓칠 수 있습니다
6학습이 끝나 고정된 가중치로 다음 토큰을 하나씩 선택해서 출력하고, 그게 화면에 흘러나오는 답이 됩니다

학습과 추론, 그리고 클로드 코드 뒤에서 일어나는 일이 바로 이 과정입니다.

이 정도만 구분할 수 있으면 충분합니다

이 글에서 가져가시면 좋은 건 클로드가 내 말을 어떻게 읽고 대답하는지에 대한 큰 그림입니다. 내 규칙이 지금 대화 안에 들어 있는지, 끝에서 멀어져서 놓치기 쉬운 상태인지를 구분할 수 있으면 충분합니다.

물론 여기서 다룬 내용이 전부는 아닙니다. 그래도 클로드가 내 규칙을 잊어버린 것처럼 보이는 건 운이 나빠서라기보다 읽는 방식과 관련이 깊습니다. AI 는 앞으로도 계속 좋아지겠지만, 저는 이렇게 읽는 방식 자체는 쉽게 바뀌지 않는다고 봅니다.

저도 현직 개발자로 일하면서 요즘 보면 AI 가 코드를 정말 빠르게 작성합니다. 그런데 클로드 코드에게 무엇을 믿고 맡기고 무엇을 직접 확인할지는 이 읽는 방식을 대충이라도 알아야만 정할 수 있습니다.

COPY THIS PROMPT
지금 하던 작업은 잠깐 멈추고, 아무것도 고치지 마.

1. 이 대화에서 내가 정해 둔 규칙이나 지시를 전부 찾아서 목록으로 적어줘.
 (예: 답 길이, 쓰지 말라고 한 것, 건드리지 말라고 한 파일)
2. 각 규칙을 네가 방금 한 답과 작업이 지켰는지 하나씩 표시해줘.
3. 지키지 못한 게 있으면 어디서 어긋났는지 짚어줘.
4. 목록에 빠진 것 같은 규칙이 있으면 나한테 물어봐줘.

내가 기억하는 규칙: [예: 답은 세 줄로만 / 디자인 파일은 건드리지 않기]

자주 묻는 것

COURSE
만드는 건 이제 쉽습니다. 문제는 그다음입니다.

바이브코딩 바닥부터 프로 개발자처럼 서비스를 운영하는 법과 수익화까지, 인프런 강의 「모두의 클로드 코드」에 순서대로 담았습니다.

개인 링크 페이지, 구글 로그인과 관리자 화면이 붙은 구독 관리 서비스, 결제 알림이 오는 모바일 앱, 자동 배포 파이프라인까지 네 가지를 직접 만들어 봅니다.

모두의 클로드 코드 보기