컨텍스트 윈도우

컨텍스트 윈도우(context window)는 AI 모델이 한 번에 읽고 쓸 수 있는 글의 최대 양이에요. 단위는 토큰이에요. 책상 크기와 같아요. 책상이 넓으면 자료를 한꺼번에 펼쳐 놓고 볼 수 있지만, 넘치는 종이는 책상에 못 올려요.

컨텍스트 윈도우에는 무엇이 들어가요?

그래서 대화가 길어지면 앞부분이 잘리거나, 요약해서 줄여야 해요. 챗봇이 "처음에 한 말을 잊는" 것처럼 보이는 이유예요.

요즘 모델은 얼마나 커요?

1만 토큰은 한국어로 대략 6천~1만 자예요.

표로 보기

모델	컨텍스트 윈도우(토큰)
Grok 4.20	2,000,000
GPT-6 Luna	1,050,000
Gemini 3.8 Flash	1,048,576
Claude Opus 5.5	1,000,000
Mistral Medium 3.5	262,144
DeepSeek V3.2	163,840
GPT-4o	128,000

값은 퓨쳐인프라 AI 라우터 목록과 OpenRouter 목록에서 같게 나온 것만 적었어요. 같은 회사라도 모델마다 크기가 달라요.

한국어로는 몇 글자예요? 직접 재 봤어요

퓨쳐인프라 요금 페이지 본문(4,205자)을 모델 3개에 넣고 응답의 토큰 수를 봤어요.

같은 "100만 토큰"이라도 모델이 글을 자르는 법에 따라 실제로 들어가는 글자 수가 달라요.

길게 넣으면 다 기억해요? 숨은 단어 찾기로 시험했어요

2026년 10월 29일, 요금 페이지 글을 12번 이어 붙여 50,514자(약 2만 9천 토큰)로 만들고, 그 앞·가운데·끝 중 한 곳에 이 한 줄을 숨겼어요.

(메모) 이번 달 행사 암호 단어는 '노란우산'이에요.

그리고 "위 글 어딘가에 있는 행사 암호 단어만 답해"라고 물었어요.

이 정도 길이에서는 위치와 상관없이 잘 찾았어요. 다만 연구에서는 아주 긴 글일수록 가운데 정보를 놓치기 쉽다는 결과가 보고돼 있어요("lost in the middle"). 그리고 짧은 질문이 1원이던 모델도 긴 글을 넣자 한 번에 7~16원이 됐어요. 넣을 수 있다고 다 넣는 건 손해예요.

한도를 넘으면 어떻게 돼요?

• API에서는 보통 "입력이 너무 길다"는 오류로 거절돼요. 앞부분을 잘라 내고 보내야 해요.
• 채팅 앱은 오래된 대화를 자동으로 요약하거나 빼고 이어 가요. 그래서 처음 정한 규칙을 잊은 것처럼 보일 수 있어요.
• 답이 잘려요. 입력이 한도를 거의 채우면 답을 쓸 자리가 모자라 중간에 끊겨요.

자주 하는 오해

• 컨텍스트 윈도우는 AI 의 기억력이다. 한 번의 요청 안에서만 쓰는 작업 공간이에요. 다음 요청 때는 다시 다 넣어 줘야 해요.
• 크면 무조건 좋다. 많이 넣을수록 느려지고 비싸져요. 필요한 조각만 골라 넣는 RAG가 더 싸고 정확한 경우가 많아요.
• 100만 토큰은 100만 글자다. 아니에요. 위 실측처럼 한국어는 모델에 따라 1토큰에 1~1.7자쯤이에요.

퓨쳐인프라에서는

퓨쳐인프라 AI 라우터로 300종이 넘는 모델 중 일에 맞는 크기를 골라 부를 수 있어요. 응답마다 실제로 쓴 입력 토큰과 원화 요금이 같이 와서, 긴 문서를 넣을 때 얼마가 드는지 바로 보여요. 시스템 지시처럼 매번 같은 앞부분은 제공사의 프롬프트 캐시에 얹혀 더 싸게 처리돼요.

문서가 너무 커서 한 번에 안 들어가면 세컨브레인에 저장해 두고 필요한 부분만 찾아 넣게 하세요. 사용료는 충전 지갑에서 빠져요.

자주 묻는 질문

컨텍스트 윈도우와 최대 출력 토큰은 달라요?

달라요. 컨텍스트 윈도우는 입력과 출력을 합친 전체 한도이고, 최대 출력 토큰은 그중 답에 쓸 수 있는 상한이에요. 출력 상한이 따로 더 작게 정해진 모델이 많아요.

대화가 길어지면 왜 비싸져요?

API 는 요청할 때마다 앞선 대화를 전부 다시 보내요. 대화가 길수록 매번 보내는 토큰이 늘어 요금이 올라가요.

PDF 수백 쪽을 통째로 넣어도 되나요?

100만 토큰 모델이면 들어가는 경우가 많아요. 하지만 느리고 비싸며 가운데 내용을 놓칠 수 있어서, 필요한 장만 넣거나 RAG 를 쓰는 게 나아요.

한국어 문서가 몇 토큰인지 미리 알 수 있나요?

모델마다 달라요. 이 글의 실측으로는 한국어 1,000자가 약 600~1,000토큰이었어요. 정확한 값은 응답의 usage 에서 확인해요.

관련 용어

AI 토큰 · LLM · RAG · 프롬프트 · 임베딩 · 캐시