스크래핑 시작하기

쓰는 법 세 가지

같은 액터를 어디서 실행하든 결과·요금·실행 기록은 한곳에 모입니다.

복사해서 바로 쓰기

네이버 블로그 검색 액터로 실행 → 끝날 때까지 기다리기 → CSV 내려받기까지 한 번에 합니다. 키만 바꿔 붙여 넣으세요.

export FI_KEY=pk_live_...        # 콘솔 › API 키 › 새 키 발급
API=https://futureinfra.ai/v1/scrape

# 1) 실행 — 결과를 기다리지 않고 실행 id 가 바로 옵니다
RUN=$(curl -s -X POST $API/runs -H "Authorization: Bearer $FI_KEY" -H "Content-Type: application/json" \
  -d '{"actor":"store:naver-blog-search","input":{"queries":["캠핑의자"],"maxResults":20,"sort":"sim","period":"all","includeContent":false}}' \
  | sed -E 's/^\{"id":"([^"]+)".*/\1/')

# 2) 끝날 때까지 5초마다 확인
until curl -s $API/runs/$RUN -H "Authorization: Bearer $FI_KEY" | grep -qE '"status":"(succeeded|failed|aborted)"'; do sleep 5; done

# 3) 결과를 CSV 로 내려받기 — 엑셀에서 바로 열립니다
curl -s "$API/runs/$RUN/items?format=csv" -H "Authorization: Bearer $FI_KEY" -o result.csv

실행 요청에는 바로 이런 답이 옵니다. 실제 수집은 뒤에서 이어집니다.

{ "id": "6705c1…", "actor": "store:naver-blog-search", "status": "queued", "items": 0, "costKRW": 0, … }

프로그램에서 — Node.js · Python

하는 일은 위와 같습니다. 키는 환경변수 FI_KEY 에 넣어 두세요.

// Node.js 18 이상, 설치할 것 없음 — 파일 이름을 run.mjs 처럼 .mjs 로 저장하세요
const API = "https://futureinfra.ai/v1/scrape";
const H = { Authorization: "Bearer " + process.env.FI_KEY, "Content-Type": "application/json" };

const run = await (await fetch(API + "/runs", { method: "POST", headers: H, body: JSON.stringify({"actor":"store:naver-blog-search","input":{"queries":["캠핑의자"],"maxResults":20,"sort":"sim","period":"all","includeContent":false}}) })).json();

let s;
do {
  await new Promise((r) => setTimeout(r, 5000));
  s = await (await fetch(API + "/runs/" + run.id, { headers: H })).json();
} while (s.status === "queued" || s.status === "running");

const items = await (await fetch(API + "/runs/" + run.id + "/items?limit=1000", { headers: H })).json();
console.log(s.status, s.costKRW + "원", items.total + "건");
console.log(items.data[0]);

# Python — pip install requests
import json, os, time, requests

API = "https://futureinfra.ai/v1/scrape"
H = {"Authorization": "Bearer " + os.environ["FI_KEY"]}
BODY = json.loads('{"actor":"store:naver-blog-search","input":{"queries":["캠핑의자"],"maxResults":20,"sort":"sim","period":"all","includeContent":false}}')

run = requests.post(API + "/runs", headers=H, json=BODY).json()
while True:
    s = requests.get(API + "/runs/" + run["id"], headers=H).json()
    if s["status"] not in ("queued", "running"):
        break
    time.sleep(5)

with open("result.csv", "wb") as f:
    f.write(requests.get(API + "/runs/" + run["id"] + "/items", headers=H, params={"format": "csv"}).content)
print(s["status"], s["costKRW"], "원")

AI 도구에서 — MCP

연결만 해 두면 AI 가 액터를 고르고, 입력을 채우고, 결과를 정리합니다.

이렇게 말하면 됩니다.

• "네이버 블로그에서 캠핑의자 글 20개 모아서 CSV로 줘"
• "이 유튜브 영상 댓글 모아서 많이 나온 말 정리해 줘"
• "매일 아침 9시에 이 검색어로 새 글 모으게 해 줘"

AI 가 쓰는 도구: scrape.actors · scrape.run · scrape.store · scrape.store_actor · scrape.fork_store_actor · scrape.run_batch · scrape.my_actors · scrape.get_actor · scrape.create_actor · scrape.update_actor · scrape.tasks · scrape.create_task · scrape.update_task · scrape.run_task · scrape.webhooks · scrape.create_webhook · scrape.runs · scrape.run_status · scrape.items · scrape.abort

여러 개 한꺼번에

한 번 요청에 최대 50개. 하나가 잘못돼도 나머지는 그대로 만들어집니다.

curl -s -X POST https://futureinfra.ai/v1/scrape/runs/batch -H "Authorization: Bearer $FI_KEY" -H "Content-Type: application/json" \
  -d '{"runs":[{"actor":"store:naver-blog-search","input":{"queries":["캠핑의자"],"maxResults":20,"sort":"sim","period":"all","includeContent":false}},{"actor":"store:youtube-search","input":{"queries":["캠핑 의자"],"searchType":"video","sortBy":"views","maxResults":20}}]}'

{ "created": 2, "failed": 0,
  "results": [ { "index": 0, "ok": true, "id": "…", "status": "queued" },
               { "index": 1, "ok": true, "id": "…", "status": "queued" } ] }

대기열(차례를 기다리는 줄)에 들어가 한 조직에서 동시에 3개씩 돌고, 하나가 끝나면 다음 것이 바로 시작합니다. 대기 중인 것과 도는 것을 합쳐 조직당 100개까지 올려 둘 수 있습니다.

실행 상태와 결과

결과는 GET /v1/scrape/runs/<id>/items 에서 받습니다. format 으로 모양을 고릅니다.

• 실행 기록 — GET /v1/scrape/runs/<id>/log
• 액터가 남긴 파일(스크린샷 등) — GET /v1/scrape/runs/<id>/records, 하나는 …/records/<이름>
• 최근 실행 목록 — GET /v1/scrape/runs
• 결과는 30일 동안 보관합니다. 오래 둘 것은 내려받아 두세요

매일 자동으로 — 태스크와 스케줄

태스크는 액터와 입력을 이름 붙여 저장해 둔 것입니다. 스케줄(cron)을 붙이면 정해진 시각마다 저절로 돕니다.

POST /v1/scrape/tasks
{
  "name": "매일 아침 블로그 모으기",
  "actor": "store:naver-blog-search",
  "input": {
    "queries": [
      "캠핑의자"
    ],
    "maxResults": 20,
    "sort": "sim",
    "period": "all",
    "includeContent": false
  },
  "maxCostKrw": 500,
  "cron": "0 9 * * *",
  "cronEnabled": true
}

• cron 은 "분 시 일 월 요일" 순서이고 한국 시간입니다. 매일 09:00 = 0 9 * * *, 평일 18:30 = 30 18 * * 1-5
• 가장 짧은 간격은 5분, 태스크는 조직당 50개까지 만들 수 있습니다
• 지금 한 번 돌리기 — POST /v1/scrape/tasks/<id>/run. 고치기는 PUT, 스케줄 끄기는 {"cronEnabled": false}
• maxCostKrw 를 주면 한 번 실행에 그 금액 안에서만 모읍니다
• 잔액이 모자라 3번 연속 시작하지 못하면 스케줄이 저절로 꺼집니다. 충전한 뒤 다시 켜면 됩니다

콘솔에서는 스크래핑 › 태스크·스케줄 탭에서 만들고 켜고 끕니다.

끝나면 알림 — 웹훅

웹훅은 실행이 끝났을 때 내 서버 주소로 결과를 알려 주는 기능입니다. 슬랙·n8n·Zapier 같은 자동화 도구의 웹훅 주소도 됩니다.

POST /v1/scrape/webhooks
{ "url": "https://my-server.example.com/hooks/scrape", "events": ["run.succeeded","run.failed","run.aborted"] }

실행이 끝나면 이런 JSON 이 POST 로 갑니다. links.csv 를 그대로 내려받으면 됩니다.

{
  "event": "run.succeeded",
  "createdAt": "…",
  "run": { "id": "…", "actor": "store:naver-blog-search", "status": "succeeded", "items": 20, "costKRW": 30, … },
  "links": { "run": "…/v1/scrape/runs/<id>", "items": "…/items?format=json", "csv": "…/items?format=csv" }
}

• 받는 쪽 확인용 머리글: X-FI-Event·X-FI-Delivery·X-FI-Signature
• X-FI-Signature = sha256= + HMAC-SHA256(비밀값, 받은 본문 그대로). 비밀값은 웹훅을 만들 때 한 번만 보여 드립니다
• 특정 태스크·액터의 실행만 받으려면 task·actor 를 같이 넣습니다. 웹훅은 조직당 10개까지
• 시험 전송 — POST /v1/scrape/webhooks/<id>/test. 받는 쪽이 응답하지 않으면 조금 뒤 다시 보냅니다

// 받는 쪽(Node.js)에서 서명 확인
import { createHmac, timingSafeEqual } from "node:crypto";
const want = "sha256=" + createHmac("sha256", process.env.FI_WEBHOOK_SECRET).update(rawBody).digest("hex");
const ok = want.length === sig.length && timingSafeEqual(Buffer.from(want), Buffer.from(sig));   // sig = X-FI-Signature

요금

충전해 둔 크레딧에서 실행이 끝날 때 빠집니다. 월 구독료는 없습니다. (부가세 포함)

• 준비된 액터는 결과가 0건이면 0원입니다. 결과가 있으면 한 번 실행에 최소 10원입니다
• 예) 네이버 블로그 검색(1,000건당 1,500원)으로 200건을 모으면 300원
• 시작할 때 잔액으로 모을 수 있는 건수까지만 모읍니다. 금액 상한을 정하려면 maxCostKrw 를 넣으세요
• 실행마다 쓴 금액은 실행 결과의 costKRW 와 콘솔 크레딧 내역에 남습니다

운영 규칙

• 한 조직에서 동시에 도는 실행은 3개, 대기열까지 합쳐 100개입니다. 다른 고객 실행 때문에 내 실행이 밀리지 않도록 조직마다 차례를 나눕니다
• 대기열에 넣은 지 24시간이 지나도록 시작하지 못한 실행은 요금 없이 정리합니다
• 도는 중에 멈추면 그때까지 모은 결과만큼만 청구합니다. 시작 전에 멈추면 0원입니다
• 공개된 정보만 모읍니다. 글쓴이·댓글 작성자 같은 개인 정보는 결과에 넣지 않습니다
• 사이트에 무리가 가지 않도록 요청 사이에 간격을 둡니다

자주 보는 오류