LLM 라우터가 무엇인가요?

LLM 라우터는 내 서비스와 여러 AI 모델 사이에 서서, 요청마다 어떤 모델에 보낼지 골라 주는 API입니다. 퓨쳐인프라 LLM 라우터(AI 라우터)는 Claude·GPT·Gemini 등 300종 이상의 모델을 API 키 하나로 부르게 해 주고, 모델 이름 자리에 auto 라고 쓰면 쉬운 요청은 싸고 빠른 모델로, 어려운 요청은 강한 모델로 보냅니다.

LLM 게이트웨이·AI 라우터와 같은 말인가요?

거의 같은 뜻으로 쓰입니다. 여러 회사 모델을 한 주소·한 키로 부르게 해 주는 중간 API를 LLM 게이트웨이라 부르고, 그중 요청마다 모델을 골라 주는 기능을 라우터라고 부릅니다. 퓨쳐인프라 AI 라우터는 두 가지를 함께 합니다.

OpenRouter 같은 해외 서비스와 무엇이 다른가요?

API 키 하나로 여러 회사 모델을 부른다는 점은 같습니다. 퓨쳐인프라 AI 라우터는 원화로 결제하고, 호출마다 실제 청구된 금액을 원화로 응답에 같이 돌려주며, 키마다 월 한도를 걸 수 있습니다. 모든 호출에 데이터를 보관·학습에 쓰지 않는 조건을 붙이고, 같은 계정으로 서버와 앱 호스팅까지 씁니다.

어떤 모델이 선택됐는지 알 수 있나요?

응답에 선택된 모델 이름과 이번 호출 요금이 원화로 함께 옵니다. 토큰 수로 추정하지 않고 실제 청구된 금액을 읽어서 보여드립니다.

쓰던 코드를 많이 고쳐야 하나요?

OpenAI 호환 형식이라 주소만 바꾸면 됩니다. 특정 모델을 쓰고 싶으면 model 자리에 이름을 그대로 적으시면 되고, 목록에 있는 모델은 전부 지정할 수 있습니다.

무한 루프가 돌면 요금이 계속 나가나요?

키마다 월 상한이 있어서 그 금액에서 멈춥니다. 키를 발급할 때 한도를 정해 두시면 됩니다.

프롬프트 캐시 할인도 반영되나요?

반영됩니다. 시스템 프롬프트처럼 반복되는 앞부분은 제공사 캐시에 얹혀 싸게 처리되고, 할인된 실청구액 그대로 정산합니다.

LLM 라우터 · AI 라우터

모델 고르기,
이제 LLM 라우터가 합니다

LLM 라우터는 여러 AI 모델 앞에서 요청마다 알맞은 모델을 골라 보내는 API입니다. 퓨쳐인프라 LLM 라우터는 300종 이상의 모델 중에서 요청에 맞는 것을 자동으로 고르는 OpenAI 호환 API입니다. 모델 이름 자리에 auto 라고만 쓰세요. 라우터가 요청을 보고 쉬운 건 싸고 빠른 모델로, 어려운 건 강한 모델로 보냅니다. 요금은 실제 선택된 모델의 정가 기준이고, 어떤 모델이 쓰였는지 응답에 함께 옵니다.

플레이그라운드에서 비교 문서 보기

쓰던 대로 쓰면 됩니다

새로 배울 게 없도록 만들었습니다.

난이도에 맞는 모델로

맞춤법 교정에 최상위 모델을 쓰면 돈 낭비고, 수학 증명에 경량 모델을 쓰면 답 낭비입니다. "model": "auto" 면 요청마다 알맞은 쪽으로 갑니다.

캐시에 잘 맞게

시스템 프롬프트처럼 반복되는 앞부분은 제공사 프롬프트 캐시에 얹혀 싸게 처리됩니다. 같은 접두사를 유지할수록 청구액이 내려가고, 할인된 실청구액 그대로 정산합니다.

쓰던 SDK 그대로

OpenAI 호환 형식이라 주소만 바꾸면 됩니다. 특정 모델을 쓰고 싶으면 이름을 그대로 적으면 됩니다. 목록에 있는 모델은 전부 됩니다.

글자가 나오는 대로

다 만들어질 때까지 기다리지 않고 토큰이 생기는 대로 받습니다. 채팅 화면에 그대로 흘려보내면 됩니다.

한도를 걸어 두면 안심

키마다 월 상한이 있어서, 무한 루프가 돌아도 그 금액에서 멈춥니다.

얼마 나갔는지 즉시

응답에 이번 호출 요금이 원화로 같이 옵니다. 토큰 수로 추정하지 않고 실제 청구액을 읽습니다.

코드로는 이렇게

API 키 하나면 됩니다. AI에게 맡기면 같은 일을 대신 합니다.

curl -X POST https://futureinfra.ai/v1/ai/chat/completions \
  -H "Authorization: Bearer $FI_KEY" -H "Content-Type: application/json" \
  -d '{
    "model": "auto",
    "messages": [{"role":"user","content":"이 계약서에서 위험한 조항 찾아줘"}]
  }'

# 응답에 어떤 모델이 선택됐고 얼마 나갔는지 함께 옵니다
# "model": "...", "usage": { "cost_krw": 3 }

LLM 라우터란?

AI 모델이 수백 개로 늘면서, 어떤 요청을 어떤 모델에 보낼지 정해 주는 층이 따로 생겼습니다.

LLM 라우터는 요청마다 어떤 모델이 답할지 고르는 부분입니다. 쉬운 일은 싼 모델, 어려운 일은 강한 모델로 보내 비용과 답의 질을 함께 챙깁니다.
LLM 게이트웨이는 여러 회사 모델을 한 주소·한 API 키로 부르게 해 주는 중간 API입니다. 키 관리·한도·요금 정산을 한곳에서 합니다.
퓨쳐인프라 AI 라우터는 둘을 함께 합니다. "model": "auto" 로 자동 선택하거나 300종 이상의 모델 중 하나를 이름으로 직접 적고, 요금은 원화로 응답에 같이 옵니다.

모델별로 먼저 눌러 보기(플레이그라운드) →

자주 묻는 질문

LLM 라우터가 무엇인가요?

LLM 라우터는 내 서비스와 여러 AI 모델 사이에 서서, 요청마다 어떤 모델에 보낼지 골라 주는 API입니다. 퓨쳐인프라 LLM 라우터(AI 라우터)는 Claude·GPT·Gemini 등 300종 이상의 모델을 API 키 하나로 부르게 해 주고, 모델 이름 자리에 auto 라고 쓰면 쉬운 요청은 싸고 빠른 모델로, 어려운 요청은 강한 모델로 보냅니다.
LLM 게이트웨이·AI 라우터와 같은 말인가요?

거의 같은 뜻으로 쓰입니다. 여러 회사 모델을 한 주소·한 키로 부르게 해 주는 중간 API를 LLM 게이트웨이라 부르고, 그중 요청마다 모델을 골라 주는 기능을 라우터라고 부릅니다. 퓨쳐인프라 AI 라우터는 두 가지를 함께 합니다.
OpenRouter 같은 해외 서비스와 무엇이 다른가요?

API 키 하나로 여러 회사 모델을 부른다는 점은 같습니다. 퓨쳐인프라 AI 라우터는 원화로 결제하고, 호출마다 실제 청구된 금액을 원화로 응답에 같이 돌려주며, 키마다 월 한도를 걸 수 있습니다. 모든 호출에 데이터를 보관·학습에 쓰지 않는 조건을 붙이고, 같은 계정으로 서버와 앱 호스팅까지 씁니다.
어떤 모델이 선택됐는지 알 수 있나요?

응답에 선택된 모델 이름과 이번 호출 요금이 원화로 함께 옵니다. 토큰 수로 추정하지 않고 실제 청구된 금액을 읽어서 보여드립니다.
쓰던 코드를 많이 고쳐야 하나요?

OpenAI 호환 형식이라 주소만 바꾸면 됩니다. 특정 모델을 쓰고 싶으면 model 자리에 이름을 그대로 적으시면 되고, 목록에 있는 모델은 전부 지정할 수 있습니다.
무한 루프가 돌면 요금이 계속 나가나요?

키마다 월 상한이 있어서 그 금액에서 멈춥니다. 키를 발급할 때 한도를 정해 두시면 됩니다.
프롬프트 캐시 할인도 반영되나요?

반영됩니다. 시스템 프롬프트처럼 반복되는 앞부분은 제공사 캐시에 얹혀 싸게 처리되고, 할인된 실청구액 그대로 정산합니다.