모델 고르기,
이제 라우터가 합니다
LLM 라우터는 340여 개 모델 중에서 요청에 맞는 것을 자동으로 고르는 OpenAI 호환 API입니다. 모델 이름 자리에 auto 라고만 쓰세요. 요청을 보고 라우터가 고릅니다 — 쉬운 건 싸고 빠르게, 어려운 건 강한 모델로. 요금은 실제 선택된 모델의 청구액 그대로이고, 어떤 모델이 쓰였는지 응답에 함께 옵니다.
쓰던 대로 쓰면 됩니다
새로 배울 게 없도록 만들었습니다.
난이도에 맞는 모델로
맞춤법 교정에 최상위 모델을 쓰면 돈 낭비고, 수학 증명에 경량 모델을 쓰면 답 낭비입니다. "model": "auto" 면 요청마다 알맞은 쪽으로 갑니다.
캐시에 잘 맞게
시스템 프롬프트처럼 반복되는 앞부분은 제공사 프롬프트 캐시에 얹혀 싸게 처리됩니다. 같은 접두사를 유지할수록 청구액이 내려가고, 할인된 실청구액 그대로 정산합니다.
쓰던 SDK 그대로
OpenAI 호환 형식이라 주소만 바꾸면 됩니다. 특정 모델을 지정하고 싶으면 그냥 이름을 쓰면 됩니다 — 340여 개 전부.
글자가 나오는 대로
다 만들어질 때까지 기다리지 않고 토큰이 생기는 대로 받습니다. 채팅 화면에 그대로 흘려보내면 됩니다.
한도를 걸어 두면 안심
키마다 월 상한이 있어서, 무한 루프가 돌아도 그 금액에서 멈춥니다.
얼마 나갔는지 즉시
응답에 이번 호출 요금이 원화로 같이 옵니다. 토큰 수로 추정하지 않고 실제 청구액을 읽습니다.
코드로는 이렇게
API 키 하나면 됩니다. AI에게 맡기면 같은 일을 대신 합니다.
curl -X POST https://futureinfra.ai/v1/ai/chat/completions \
-H "Authorization: Bearer $FI_KEY" -H "Content-Type: application/json" \
-d '{
"model": "auto",
"messages": [{"role":"user","content":"이 계약서에서 위험한 조항 찾아줘"}]
}'
# 응답에 어떤 모델이 선택됐고 얼마 나갔는지 함께 옵니다
# "model": "...", "usage": { "cost_krw": 3 }
자주 묻는 질문
-
어떤 모델이 선택됐는지 알 수 있나요?
응답에 선택된 모델 이름과 이번 호출 요금이 원화로 함께 옵니다. 토큰 수로 추정하지 않고 실제 청구된 금액을 읽어서 보여드립니다.
-
쓰던 코드를 많이 고쳐야 하나요?
OpenAI 호환 형식이라 주소만 바꾸면 됩니다. 특정 모델을 쓰고 싶으면 model 자리에 이름을 그대로 적으시면 되고, 340여 개 전부 지정할 수 있습니다.
-
무한 루프가 돌면 요금이 계속 나가나요?
키마다 월 상한이 있어서 그 금액에서 멈춥니다. 키를 발급할 때 한도를 정해 두시면 됩니다.
-
프롬프트 캐시 할인도 반영되나요?
반영됩니다. 시스템 프롬프트처럼 반복되는 앞부분은 제공사 캐시에 얹혀 싸게 처리되고, 할인된 실청구액 그대로 정산합니다.