크롤링 뜻과 합법 기준, 파이썬 예제까지 — robots.txt 24곳 직접 확인

크롤링은 프로그램이 웹페이지를 돌아다니며 정보를 자동으로 모으는 일이에요. 공개된 페이지를 사람처럼 천천히 읽는 건 대체로 괜찮아요. 하지만 로그인·차단을 넘거나, 개인정보를 모으거나, 남의 데이터베이스를 통째로 베끼면 문제가 돼요. 파이썬 예제를 직접 돌려 보고, 국내외 사이트 24곳의 robots.txt 를 하나씩 열어 확인했어요.

이 글은 크롤링 뜻, 스크래핑·API 와의 차이, 대법원 판결문으로 본 합법 기준, robots.txt 읽는 법, 최소 파이썬 예제와 실제 출력, 결과가 0개 나오는 이유, 막혔을 때 해도 되는 일, 코딩 없이 하는 방법과 비용까지 차례로 다뤄요. 숫자는 2026년 10월 27일 직접 돌린 값과 원문 자료로만 썼어요.

글 서순명(웹 에이전시·SI 10년 PM, 퓨쳐인프라에서 스크래핑 서비스를 운영하는 팀) · 운영사 솔리드그루(퓨쳐인프라, 사업자등록번호 875-44-00335) · 실행·확인 2026-10-27 오전(KST) · 마지막 확인 2026-10-27 · 문의 support@futureinfra.ai · 개인정보처리방침 · 이용약관

크롤링은 무엇인가요?

crawl 은 영어로 '기어다니다'예요. 크롤러는 시작 주소에서 출발해 링크를 하나씩 따라가며 페이지를 모아요. 거미가 거미줄을 타는 모습 같다고 해서 스파이더라고도 불러요.

가장 큰 크롤러는 검색엔진이에요. 구글·네이버가 내 블로그 글을 검색 결과에 보여 줄 수 있는 것도 크롤러가 먼저 다녀갔기 때문이에요. 가격 비교 사이트, 뉴스 모음 앱, AI 학습 데이터도 크롤링으로 모아요. 회사에서는 경쟁사 가격 확인, 리뷰 모으기, 공고 모니터링에 많이 써요.

※ 다른 뜻으로 찾으셨다면 — 대출·홈택스·건강보험 앱에서 말하는 '스크래핑'은 내 아이디·인증서로 기관 사이트에 대신 접속해 내 정보를 가져오는 방식이에요(개인정보위 보도자료 정의, 2026-01-16). 그 앱의 "스크래핑 오류"는 해당 앱이나 기관에 문의하세요. 펍 크롤링(술집 순회)·크롤링 머신(운동기구)도 이 글과 다른 뜻이에요.

크롤링·스크래핑·API 는 뭐가 달라요?

한국어 글에서는 크롤링과 스크래핑을 섞어 써요. 엄밀히 나누면 아래와 같아요.

API 가 있으면 API 먼저 보세요

공식 API 는 허락받은 길이라 법·차단 걱정이 적어요. 대신 한도가 있어요. 2026-10-27 공식 문서 기준이에요.

한도는 회사가 바꿀 수 있으니 쓰기 전에 위 공식 문서에서 다시 확인하세요. API 로 안 되는 정보가 있을 때 크롤링을 생각하면 돼요. 이때부터는 아래 법·규칙을 꼭 봐야 해요.

크롤링, 불법인가요?

크롤링 자체를 금지하는 법은 없어요. 대신 크롤링하면서 하는 행동이 여러 법에 걸릴 수 있어요. 가장 많이 인용되는 판결부터 원문으로 볼게요.

대법원 2021도1533 판결문에는 뭐라고 적혀 있나요?

경쟁 숙박 앱 회사 쪽 피고인들이 상대 회사 앱이 쓰는 서버 주소를 알아내 프로그램으로 숙박업소 정보를 모은 사건이에요. 대법원은 2022년 5월 12일 검사의 상고를 기각해 무죄를 확정했어요(판결문 PDF).

이 판결을 "크롤링은 다 합법"으로 읽으면 안 돼요. 거꾸로 보면 로그인·차단 같은 보호조치가 있거나, 데이터베이스의 상당 부분을 가져가거나, 서버에 실제 장애를 내면 판단이 달라질 수 있다는 뜻이에요. 또 이건 형사 재판이에요. 손해배상 같은 민사 책임은 따로 다퉈요.

robots.txt 를 어기면 불법인가요?

robots.txt 의 국제 표준(RFC 9309, 2022년 9월)은 이 규칙이 "접근 권한을 주는 수단이 아니다"라고 스스로 밝혀요. 위 판결문 7쪽 어디에도 robots.txt 는 나오지 않아요. 그래서 "robots.txt 만 어겨도 처벌"이라는 말은 판결문으로 확인되지 않아요.

그렇다고 무시해도 된다는 뜻은 아니에요. 개인정보보호위원회의 2024년 7월 「AI 개발·서비스를 위한 공개된 개인정보 처리 안내서」는 웹에서 데이터를 모을 때 사이트 약관과 robots.txt 를 지키라고 안전조치로 권해요. 사이트 주인의 뜻이 적힌 문서이니, 지키는 쪽이 분쟁을 피하는 길이에요.

그 밖에 걸릴 수 있는 법

robots.txt 는 어떻게 읽어요?

사이트 주소 뒤에 /robots.txt 를 붙이면 누구나 볼 수 있어요. 줄은 세 종류만 알면 돼요.

규칙이 겹치면 더 길게 들어맞는 줄이 이겨요. 예를 들어 네이버 첫 화면(www.naver.com)은 "모든 로봇: 전부 막음, 단 첫 화면(/$)만 허용"이라고 적어 두었어요.

국내외 사이트 24곳을 직접 열어 봤어요

2026-10-27 10시 44분, 사이트마다 robots.txt 를 한 번씩 받아 "하위 페이지 하나(/zzz/test-page)에 들어가도 되나"를 로봇 종류별로 판정했어요. 판정은 RFC 9309 규칙(가장 긴 규칙 우선, * 와 $ 지원)대로 했어요.

쿠팡·무신사는 robots.txt 요청 자체에 403(접근 거부)을 돌려줘 표에서 뺐어요. 판정은 그 시각의 파일 기준이라 바뀔 수 있어요.

표로 보기

사이트	이름 없는 크롤러	Googlebot	Yeti	ClaudeBot	GPTBot
네이버 첫 화면	X	X	X	X	X
네이버 뉴스	X	X	X	X	X
네이버 블로그	O	O	X	X	X
다음	X	X	X	X	X
11번가	X	O	O	X	X
G마켓	O	O	O	X	X
예스24	O	O	O	O	O
교보문고	O	O	O	O	O
다나와	O	O	O	O	O
나무위키	X	X	X	X	X
인벤	O	O	O	O	O
디시인사이드	O	O	O	X	X
뽐뿌	O	O	O	O	O
클리앙	O	O	O	O	X
대한민국 정책브리핑	O	O	O	O	O
공공데이터포털	O	O	O	O	O
연합뉴스	O	O	O	X	X
조선일보	O	O	O	O	X
중앙일보	O	O	O	X	X
유튜브	O	O	O	O	O
인스타그램	X	O	X	X	X
X(트위터)	X	O	X	X	X
위키백과(대문)	O	O	O	O	O
한국어 위키백과	O	O	O	O	O

눈에 띈 점은 세 가지예요.

• 포털·위키는 거의 다 막았어요 — 네이버 첫 화면·네이버 뉴스·다음·나무위키는 이름 없는 크롤러뿐 아니라 구글도 하위 페이지에는 못 들어가게 적었어요.
• AI 봇은 이름을 찍어 막는 추세예요 — 24곳 중 13곳이 AI 회사 봇 이름을 직접 적었어요. 네이버 블로그·G마켓·디시인사이드·연합뉴스·중앙일보는 일반 크롤러는 받으면서 GPTBot 은 막았어요. 네이버 뉴스·블로그 파일에는 AI 학습·검색 증강용 봇 접근을 금지한다는 주석까지 있어요.
• 네이버 블로그는 네이버 자기 봇(Yeti)도 막아 두었어요 — robots.txt 맨 위에 User-agent: Yeti, Disallow: / 가 있어요.

파이썬 기본 도구는 결과가 달라요

파이썬에 들어 있는 urllib.robotparser 로 같은 파일을 읽으면 네이버 첫 화면도 "막힘"으로 나와요. 소스를 열어 보니 규칙을 위에서부터 읽어 처음 맞는 줄을 쓰고, $ 와 * 를 글자 그대로 비교해요(Python 3.12.8). 그래서 "Allow: /$" 를 알아보지 못해요. 규칙이 복잡한 사이트라면 RFC 9309 를 구현한 Protego(Scrapy 가 쓰는 파서) 같은 도구로 다시 확인하세요.

파이썬으로 직접 해 보기

연습은 크롤링 연습용으로 만든 공개 사이트에서 하세요. books.toscrape.com 은 가짜 책 1,000권을 올려 둔 연습장이에요. 준비물은 파이썬과 라이브러리 두 개예요.

pip install requests beautifulsoup4

아래 코드는 robots.txt 를 먼저 확인하고, 2초씩 쉬면서 3쪽만 읽어 제목·가격·재고를 CSV 로 저장해요.

# 크롤링 연습용 사이트(books.toscrape.com)에서 책 제목·가격 모으기 — 3쪽, 요청 사이 2초
import csv, time, requests
from urllib.parse import urljoin
from urllib.robotparser import RobotFileParser
from bs4 import BeautifulSoup

START = "https://books.toscrape.com/catalogue/page-1.html"
UA = {"User-Agent": "my-study-crawler/0.1 (+mailto:me@example.com)"}

robots = RobotFileParser("https://books.toscrape.com/robots.txt")
robots.read()                                   # 404 면 '전부 허용'으로 읽어요

rows, url = [], START
for page in range(3):                           # 연습이니까 3쪽만
    if not robots.can_fetch(UA["User-Agent"], url):
        print("robots.txt 가 막은 주소:", url); break
    t0 = time.time()
    r = requests.get(url, headers=UA, timeout=10)
    r.raise_for_status()
    r.encoding = "utf-8"
    soup = BeautifulSoup(r.text, "html.parser")
    for book in soup.select("article.product_pod"):
        rows.append({
            "제목": book.h3.a["title"],
            "가격": book.select_one(".price_color").text,
            "재고": book.select_one(".availability").text.strip(),
        })
    print(f"{page+1}쪽 {r.status_code} {len(r.content):,}바이트 {time.time()-t0:.2f}초 누적 {len(rows)}권")
    nxt = soup.select_one("li.next a")
    if not nxt: break
    url = urljoin(url, nxt["href"])
    time.sleep(2)                               # 사이트에 무리 주지 않게

with open("books.csv", "w", newline="", encoding="utf-8-sig") as f:   # utf-8-sig = 엑셀에서 한글 안 깨짐
    w = csv.DictWriter(f, fieldnames=rows[0].keys()); w.writeheader(); w.writerows(rows)
print("저장:", len(rows), "권 → books.csv")

실제로 돌린 결과예요(2026-10-27, 서울 사무실 회선).

1쪽 200 50,469바이트 0.97초 누적 20권
2쪽 200 50,877바이트 1.09초 누적 40권
3쪽 200 51,374바이트 1.11초 누적 60권
저장: 60 권 → books.csv

# books.csv 앞부분
제목,가격,재고
A Light in the Attic,£51.77,In stock
Tipping the Velvet,£53.74,In stock
Soumission,£50.10,In stock

쪽마다 약 50KB, 1초 안팎이 걸렸어요. 2초씩 쉬었으니 3쪽에 약 9초예요. 1,000권 전부라면 50쪽이라 2분 30초쯤 걸려요. 서두를 이유가 없어요.

처음 돌릴 때 실제로 난 오류 2개

엑셀에서 한글이 깨질 때는 저장할 때 encoding="utf-8-sig" 로 쓰면 돼요. 위 코드에 이미 들어 있어요.

코드는 도는데 결과가 0개예요

가장 흔한 이유는 자바스크립트로 그리는 페이지예요. 브라우저는 HTML 을 받은 뒤 자바스크립트를 실행해 내용을 채워요. requests 는 자바스크립트를 실행하지 않으니 빈 뼈대만 받아요. 같은 인용구 10개를 두 방식으로 보여 주는 연습 사이트로 확인했어요.

requests 로 받은 /js/ 는 HTML 5,808바이트에 인용구 0개, 크롬으로 연 뒤 HTML 은 8,987바이트에 10개였어요. 크롬은 2.4초 걸렸어요.

표로 보기

받는 방법	받은 HTML	인용구	걸린 시간
requests · /	11,064바이트	10개	1초 안쪽
requests · /js/	5,808바이트	0개	1초 안쪽
크롬 헤드리스 · /js/	8,987바이트	10개	2.4초

해결은 두 가지예요. 하나는 브라우저를 프로그램으로 움직이는 도구(Playwright·Selenium)로 페이지를 연 뒤 읽는 거예요. 느리고 컴퓨터를 더 써요. 다른 하나는 브라우저 개발자 도구(F12)의 네트워크 탭에서 페이지가 몰래 불러오는 데이터 주소를 찾아 그걸 읽는 거예요. 다만 그 주소가 공개용인지, 약관이 허락하는지 먼저 확인하세요.

※ 크롬 헤드리스는 주소창 없이 뒤에서 도는 크롬이에요. 이 실험은 chrome --headless=new --dump-dom 주소 한 줄로 했어요.

403·429 로 막혔어요

사이트가 "그만"이라고 말하는 신호예요. 신호마다 해도 되는 대응이 달라요.

"User-Agent 를 바꿔라", "프록시로 IP 를 돌려라" 같은 차단 피하기 요령도 검색하면 나와요. 하지만 사이트가 일부러 막은 걸 피해 들어가면, 위 판결이 말한 '보호조치로 막은 접근'을 넘는 쪽으로 기울어요. 막혔다면 멈추는 게 가장 안전해요.

코딩 없이 할 수는 없나요? 비용은요?

방법은 크게 다섯 가지예요. 2026-10-27 공개 가격 기준이에요.

퓨쳐인프라 스크래핑은 이렇게 써요

퓨쳐인프라 스크래핑에는 바로 돌릴 수 있는 수집 프로그램(액터)이 99개 있어요. 네이버 25개, 유튜브 7개, SNS 16개, 커뮤니티 25개, 쇼핑몰 15개, 구글 3개, 웹·범용 8개예요(준비된 액터 목록). 콘솔에서 카드를 골라 입력 칸을 채우고 실행하면 결과를 표로 보고 CSV·엑셀로 받아요.

셈해 보면, 네이버 블로그 검색(1,000건당 1,500원)으로 200건을 모으면 300원이에요. 매일 1,000건씩 한 달이면 약 4만 5천 원이에요. 기본 수집기로 공개 페이지 300쪽을 매일 읽으면 한 달 9,000원이에요(스크래핑 시작하기, 요금).

이럴 땐 이렇게

자주 묻는 질문

크롤링을 배우려면 어떤 언어가 좋아요?

파이썬이 가장 쉬워요. requests 로 페이지를 받고 BeautifulSoup 으로 칸을 찾는 두 가지만 알면 위 예제처럼 30줄 남짓으로 시작할 수 있어요.

네이버 블로그도 크롤링해도 돼요?

네이버 블로그 robots.txt 는 일반 크롤러에게 일부 경로만 막고, GPTBot 같은 AI 봇과 네이버 자체 봇 Yeti 는 막아 두었어요. 글 목록이 필요하면 하루 25,000회까지 쓰는 네이버 검색 API 를 먼저 쓰세요. 글 본문을 그대로 다시 올리는 건 저작권 문제가 돼요.

크롤링한 데이터를 팔거나 공개해도 되나요?

가격·주소 같은 사실 정보는 비교적 덜 위험하지만, 남의 데이터베이스 상당 부분을 꾸준히 가져가 팔면 데이터베이스권·부정경쟁 문제가 될 수 있어요. 글·사진은 저작물이에요. 사업이라면 법률 검토를 받으세요.

클로드나 ChatGPT 에게 크롤링을 시켜도 되나요?

돼요. MCP 로 수집 도구를 연결하면 말로 시킬 수 있어요. 다만 AI 가 대신 해도 robots.txt·약관·개인정보 규칙은 똑같이 적용돼요.

대출 앱의 '스크래핑 오류'도 이 글과 관련 있나요?

아니요. 그건 내 아이디·인증서로 기관 사이트에서 내 정보를 가져오는 방식이에요. 오류는 그 앱이나 기관(홈택스·건강보험공단 등)에 문의하세요.