멀티모달

멀티모달(multimodal)은 글뿐 아니라 사진·음성·영상처럼 여러 형태의 정보를 함께 알아듣고 다루는 AI 의 능력이에요. 모달(modal)은 정보의 형태를 말해요. 글만 읽는 AI 가 편지만 받는 사람이라면, 멀티모달 AI 는 사진도 보고 녹음도 듣는 사람이에요.

멀티모달 AI 는 사진을 어떻게 알아봐요?

AI 는 사진도 결국 숫자로 바꿔서 읽어요. 그림을 작은 칸으로 잘라 칸마다 숫자 묶음으로 바꾸고, 그걸 글의 토큰처럼 늘어놓아 LLM에게 같이 넣어요. 그래서 그림도 토큰 수로 값을 매겨요.

음성은 소리를 짧은 구간으로 잘라 숫자로 바꾸고, 영상은 여러 장의 그림과 소리로 나눠 같은 방식으로 넣어요.

어떤 조합이 있어요?

2026년 10월 29일 OpenRouter 와 퓨쳐인프라 목록에서 확인한 입력 종류는 이래요.

정말 알아보는지 직접 시험해 봤어요

막대 3개짜리 그림을 직접 그려서 4개 모델에 보여 줬어요. 가운데 막대가 가장 높고 주황색이에요.

질문: 이 그림에 막대가 몇 개 있고, 가장 높은 막대는 왼쪽에서 몇 번째이며 무슨 색인지 한 문장으로 답해.

질문 글자까지 합친 값이에요. 적을수록 그림을 싸게 읽어요.

표로 보기

모델	답	입력 토큰	요금
GPT-6 Luna	막대는 3개이고, 가장 높은 막대는 왼쪽에서 두 번째인 주황색	220	1원
DeepSeek V4.1 Flash	막대가 3개 … 왼쪽에서 두 번째이며 주황색	261	1원
Claude Haiku 5.5	막대가 3개 … 왼쪽에서 2번째이고 주황색	290	1원
Gemini 3.5 Flash Lite	막대가 총 3개 … 왼쪽에서 두 번째에 있는 주황색 막대	1,109	1원

네 모델 모두 맞혔어요. 다만 같은 그림을 읽는 데 쓴 토큰은 5배까지 달랐어요. 그림을 많이 다루는 서비스라면 이 차이가 요금 차이로 쌓여요.

글자가 든 사진으로도 해 봤어요. 한글 영수증 그림(품목 3개, 합계 13,500원)을 만들어 "품목 금액을 더한 값이 합계와 같은지 확인하고 합계를 알려 줘"라고 물었어요.

또렷하게 찍힌 영수증은 네 모델 모두 한글 품목과 금액을 제대로 읽었어요. 그림 토큰 차이(약 4배)는 이번에도 비슷하게 났어요.

어디에 써요?

• 가게·사무 — 영수증·명함·서류 사진에서 글자 뽑기, 상품 사진으로 설명 초안 쓰기
• 고객 응대 — 손님이 보낸 고장 사진을 보고 1차 안내하기
• 회의 — 녹음을 받아쓰고 할 일 정리하기
• 접근성 — 사진 설명을 만들어 화면 읽기 프로그램에 붙이기

자주 하는 오해와 주의

• 그림 속 숫자는 다 정확히 읽는다 — 작은 글씨, 흐린 사진, 복잡한 표는 틀릴 수 있어요. 금액은 꼭 다시 확인하세요(할루시네이션).
• 멀티모달 = 생성형 AI — 겹치지만 달라요. 멀티모달은 "여러 형태를 다룬다", 생성형 AI는 "새로 만든다"에 초점이 있어요.
• 사진 한 장은 공짜다 — 그림도 토큰으로 계산돼요. 큰 사진은 줄여서 보내면 싸져요.
• 개인정보 — 얼굴·신분증·주민번호가 찍힌 사진은 보내기 전에 가리세요.

퓨쳐인프라에서는

퓨쳐인프라 AI 라우터는 OpenAI 호환 형식이라 메시지에 그림 주소(또는 base64 그림)를 같이 넣으면 돼요. 위 실험도 같은 요청 형식으로 모델 이름만 바꿔 보냈어요. 응답마다 원화 요금이 같이 오고, 사용료는 충전 지갑에서 빠져요.

글을 목소리로, 녹음을 글로 바꾸는 일은 영상·음성 API 로 할 수 있어요.

자주 묻는 질문

멀티모달은 우리말로 뭐라고 해요?

'다중 양식'이라고 옮기기도 하지만 보통 멀티모달이라고 그대로 써요. 여러 형태의 정보를 같이 다룬다는 뜻이에요.

사진을 보내면 어떤 형식으로 보내요?

OpenAI 호환 API 에서는 메시지 내용에 image_url 항목으로 그림 주소나 base64 데이터를 넣어요.

사진 토큰을 줄이려면요?

필요한 부분만 잘라서, 긴 쪽을 1,000픽셀 안팎으로 줄여 보내세요. 모델에 따라 해상도 옵션을 낮게 고를 수도 있어요.

영상도 바로 넣을 수 있나요?

영상 입력을 받는 모델이 따로 있어요. 퓨쳐인프라 목록에서는 글 모델 400개 중 77개가 영상 입력을 받아요(2026-10-29).

관련 용어

생성형 AI · LLM · AI 토큰 · 임베딩 · 컨텍스트 윈도우