자동화 접근 및 Bot 이용 정책
확인해보세요.자동화 접근 및 Bot 이용 정책
본 정책은 본 사이트 및 본 사이트가 제공하는 웹페이지, API, 데이터 및 관련 서비스(이하 "서비스")에 대한 검색엔진, 웹 크롤러, 스크래퍼, AI 크롤러, 자동화 프로그램 및 기타 비인간적 자동화 수단의 접근 기준을 정하기 위한 것입니다.
본 사이트에 자동화된 방식으로 접근하는 경우 해당 접근 주체는 본 정책을 확인하고 준수하여야 합니다.
1. 기본 원칙
본 사이트는 일반적인 사람의 정상적인 서비스 이용을 우선적으로 보호합니다.
검색엔진 및 기타 자동화 시스템의 접근은 본 사이트가 명시적으로 허용한 범위에서만 허용됩니다.
자동화된 접근이 기술적으로 가능하다는 사실만으로 해당 접근에 대한 허가가 부여된 것으로 해석되지 않습니다.
또한 `robots.txt`에 특정 경로가 차단되어 있지 않다는 사실만으로 해당 데이터의 수집, 복제, 저장, 분석 또는 재이용을 포괄적으로 허용하는 것은 아닙니다.
2. 자동화 접근의 정의
본 정책에서 "Bot" 또는 "자동화 접근"이란 사람이 일반적인 웹 브라우저를 직접 조작하여 서비스를 이용하는 것이 아니라 다음과 같은 프로그램 또는 시스템을 이용하여 자동으로 서비스를 요청하는 행위를 의미합니다.
- 검색엔진 크롤러
- 웹 크롤러 및 웹 스크래퍼
- AI 학습 또는 검색용 크롤러
- 데이터 수집 프로그램
- 가격 또는 상품정보 수집 프로그램
- 브라우저 자동화 프로그램
- Headless Browser
- API 자동 호출 프로그램
- 자동화된 데이터 분석 시스템
- 기타 이와 유사한 자동화 수단
3. robots.txt 정책
본 사이트는 자동화 프로그램에 대한 기본적인 접근 범위를 안내하기 위하여 `robots.txt`를 운영할 수 있습니다.
`robots.txt`는 자동화 접근에 대한 기술적 안내 수단이며, 본 정책 전체를 대체하지 않습니다.
따라서 Bot은 다음 두 가지 조건을 모두 준수하여야 합니다.
- robots.txt에 명시된 접근 기준
- 본 Bot Access Policy에 명시된 접근 기준
두 정책의 내용이 서로 다른 경우에는 보다 제한적인 기준을 우선 적용합니다.
robots.txt 예시
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: *
Disallow: /
위 예시는 Googlebot과 Bingbot의 접근을 허용한다는 기본적인 의사를 나타내는 것이며, 해당 User-Agent를 사용한다는 이유만으로 접근이 최종 승인되는 것은 아닙니다.
4. 허용 Bot의 인증 조건
본 사이트가 허용하는 Bot은 원칙적으로 다음 조건을 모두 충족하여야 합니다.
4.1 User-Agent 조건
- 해당 Bot은 실제 운영 주체가 공식적으로 사용하는 User-Agent를 사용하여야 합니다.
- 다른 검색엔진, AI 서비스 또는 제3자의 Bot 명칭을 임의로 사용하거나 사칭하여서는 안 됩니다.
4.2 IP 및 CIDR 조건
- 해당 Bot의 접속 IP 주소는 해당 Bot 운영자가 공식적으로 공개하거나 본 사이트가 별도로 승인한 IP 주소 또는 CIDR 대역에 포함되어야 합니다.
- 예를 들어 다음 조건을 모두 충족하여야 정상적인 Googlebot으로 인정될 수 있습니다.
User-Agent = Googlebot
AND접속 IP ∈ Google이 공식적으로 사용하는 것으로 확인된 IP/CIDR 범위
4.3 추가 인증
- Reverse DNS 확인
- Forward DNS 재확인
- 공식 IP 목록 확인
- ASN 확인
- TLS 또는 기타 네트워크 정보 확인
- Bot 운영자가 제공하는 공식 검증 방법
- 본 사이트 내부 Allowlist
5. CIDR 변경 및 관리
Bot 운영자는 서비스 특성상 IP 주소 또는 CIDR 대역을 변경할 수 있습니다.
본 사이트는 특정 시점에 관찰된 개별 IP만을 기준으로 허용 여부를 판단하지 않을 수 있으며, 필요한 경우 해당 Bot 운영자가 공식적으로 제공하는 최신 IP/CIDR 정보를 기준으로 판단할 수 있습니다.
본 사이트는 서비스 운영 및 보안상의 필요에 따라 허용 CIDR 목록을 추가, 수정 또는 삭제할 수 있습니다.
6. 허용 Bot
본 사이트는 서비스 운영상 필요에 따라 일부 검색엔진 및 자동화 서비스를 허용할 수 있습니다.
허용 여부는 다음 요소를 종합하여 결정합니다.
- 서비스 운영 목적
- 검색 노출 필요성
- Bot의 운영 주체
- 공식적인 IP/CIDR 제공 여부
- 접근 빈도
- 서버 부하
- 데이터 이용 목적
- 서비스 안정성
- 기타 운영상 필요
* 허용 Bot의 종류 및 범위는 사전 통지 없이 변경될 수 있습니다.
7. 허용되지 않는 자동화 접근
다음과 같은 자동화 접근은 본 사이트의 허가를 받지 않은 접근으로 판단할 수 있습니다.
- 허용되지 않은 Bot의 접근
- 허용된 Bot의 User-Agent를 사칭하는 행위
- 허용된 User-Agent를 사용하면서 승인된 IP/CIDR 외부에서 접근하는 행위
- User-Agent를 지속적으로 변경하며 접근하는 행위
- IP를 순환하거나 Proxy/VPN 등을 이용하여 접근 제한을 회피하는 행위
- 분산된 다수의 IP를 이용하여 수집하는 행위
- Rate Limit을 우회하는 행위
- robots.txt 또는 본 정책에서 제한한 경로에 반복적으로 접근하는 행위
- 서비스의 정상적인 이용 형태를 가장하여 자동으로 데이터를 수집하는 행위
- 본 사이트의 기술적인 접근 제한 장치를 우회하는 행위
- 비정상적인 빈도로 대량 요청을 발생시키는 행위
8. 비허용 Bot에 대한 대응
본 사이트는 허용되지 않은 자동화 접근에 대하여 서비스 보호 및 데이터 보호를 목적으로 하나 이상의 기술적 조치를 적용할 수 있습니다.
해당 조치에는 다음 사항이 포함될 수 있습니다.
- 요청 차단
- HTTP 403 응답
- HTTP 404 응답
- HTTP 429 응답
- 연결 종료
- 응답 지연
- Rate Limit 적용
- CAPTCHA 또는 추가 인증 요구
- 특정 기능 이용 제한
- 일부 필드 또는 데이터 미제공
- 축약된 데이터 제공
- 캐시 또는 별도 데이터 제공
- 대체 응답 제공
- 합성 또는 변형된 응답 제공
- 요청 대상과 다른 데이터 구조 또는 콘텐츠 제공
- 동일 요청에 대해 서로 다른 응답 제공
- 기타 정상적인 일반 사용자에게 제공되는 서비스와 다른 방식의 응답
* 본 사이트는 이러한 조치 중 어느 하나를 적용할 의무가 없으며, 접근 형태 및 서비스 운영 상황에 따라 서로 다른 조치를 적용할 수 있습니다.
9. 비허용 자동화 접근에 대한 데이터 정확성 비보장
본 사이트는 허용되지 않은 자동화 접근에 대하여 정상적인 사람의 서비스 이용 또는 승인된 Bot에게 제공되는 것과 동일한 데이터를 제공할 의무가 없습니다.
허용되지 않은 자동화 시스템에 제공되는 응답은 다음과 같은 특성을 가질 수 있습니다.
- 실제 서비스 데이터와 다를 수 있음
- 일부 데이터가 누락될 수 있음
- 요청한 조건과 다른 데이터가 반환될 수 있음
- 값이 변경되거나 변형될 수 있음
- 합성된 데이터가 포함될 수 있음
- 테스트용 또는 대체 데이터가 포함될 수 있음
- 요청마다 서로 다른 결과가 반환될 수 있음
따라서 본 사이트는 허용되지 않은 자동화 접근을 통해 취득한 정보의 다음 사항을 보장하지 않습니다.
- 정확성
- 완전성
- 최신성
- 일관성
- 신뢰성
- 실제 서비스 데이터와의 동일성
허용되지 않은 자동화 접근을 통하여 취득한 데이터를 이용하여 의사결정, 서비스 제공, 데이터베이스 구축 또는 제3자 서비스에 활용하는 것은 해당 이용자의 책임으로 합니다.
10. 정상적인 사람의 서비스 이용
본 정책에서 규정하는 자동화 접근 제한은 일반적인 사람이 정상적으로 웹사이트를 이용하는 행위를 대상으로 하지 않습니다.
정상적인 사용자에게 제공되는 데이터와 자동화 접근으로 판단된 요청에 제공되는 데이터는 기술적·운영상 서로 다를 수 있습니다.
본 사이트는 다음 요소를 종합적으로 분석하여 자동화 접근 여부를 판단할 수 있습니다.
- 접속 IP
- CIDR
- ASN
- User-Agent
- HTTP Header
- 요청 빈도
- 요청 간격
- 접근 URL 패턴
- 세션 및 쿠키 정보
- JavaScript 실행 여부
- 브라우저 동작 특성
- 네트워크 특성
- 기타 자동화 여부를 판단하기 위한 기술적 정보
11. API 접근
본 사이트가 공식 API를 별도로 제공하는 경우 해당 API의 이용 조건은 별도의 API 이용정책 또는 계약을 따를 수 있습니다.
공식 API가 존재한다는 사실이 웹페이지에 대한 자동화된 데이터 수집을 허용한다는 의미는 아닙니다.
마찬가지로 웹페이지에 접근할 수 있다는 사실이 공식 API와 동일한 방식으로 데이터를 자동 수집할 수 있다는 의미도 아닙니다.
12. 접근 빈도
허용된 Bot이라고 하더라도 과도한 요청으로 서비스 운영에 영향을 미쳐서는 안 됩니다.
본 사이트는 필요에 따라 다음과 같은 제한을 설정할 수 있습니다.
- 초당 요청 횟수
- 분당 요청 횟수
- 시간당 요청 횟수
- 일일 요청 횟수
- 동시 연결 수
- 특정 URL별 접근 횟수
허용된 Bot이라도 이러한 기준을 초과할 경우 일시적 또는 영구적으로 접근이 제한될 수 있습니다.
13. 접근 허용의 철회
Bot에 대한 접근 허용은 영구적인 권리를 의미하지 않습니다.
본 사이트는 다음과 같은 경우 사전 통지 없이 접근 허용을 변경하거나 철회할 수 있습니다.
- 서비스 운영에 영향을 주는 경우
- 과도한 서버 자원을 사용하는 경우
- 정책 위반이 확인된 경우
- Bot의 운영 목적이 변경된 경우
- 데이터 이용 방식에 문제가 있다고 판단되는 경우
- 서비스 또는 데이터 보호를 위해 필요한 경우
14. 데이터 이용 권한과의 관계
본 정책에 따라 기술적으로 Bot의 접근이 허용되었다는 사실만으로 다음 행위까지 자동적으로 허용되는 것은 아닙니다.
- 데이터베이스 전체 또는 상당 부분의 복제
- 데이터의 재판매
- 제3자 서비스 제공
- 경쟁 서비스 구축
- 콘텐츠의 무단 복제 또는 배포
- 별도의 권리가 존재하는 콘텐츠의 이용
- 관계 법령 또는 별도 약관에서 제한하는 행위
데이터의 이용 범위는 본 사이트의 이용약관, 저작권 정책, 별도 계약 및 관련 법령에 따라 별도로 판단됩니다.
15. 자동화 접근에 따른 책임
본 정책을 위반하여 자동화된 방법으로 서비스를 이용하는 자는 해당 접근 및 그 결과에 대한 책임을 부담합니다.
특히 허용되지 않은 자동화 접근을 통하여 수집한 데이터가 실제 서비스 데이터와 다르거나 불완전한 경우에도 본 사이트는 해당 데이터가 정상적인 서비스 데이터와 동일함을 보장하지 않습니다.
허용되지 않은 자동화 접근을 수행하는 시스템은 본 사이트가 자동화 접근을 탐지하고 차단하기 위하여 서로 다른 응답을 제공할 수 있다는 점을 고려하여야 합니다.
16. 정책 변경
본 사이트는 서비스 운영 방식, 기술 환경, Bot 정책 또는 관련 법령의 변경에 따라 본 정책을 수정할 수 있습니다.
변경된 정책은 본 사이트에 게시한 때부터 적용됩니다.
자동화 접근을 지속하는 경우 최신 정책을 확인하여야 합니다.
17. Bot 운영자의 접근 허가 요청
본 사이트에 자동화된 접근이 필요한 사업자 또는 서비스 운영자는 사전에 접근 허가를 요청할 수 있습니다.
허가 요청 시 다음 정보를 요구할 수 있습니다.
- 운영 회사 또는 기관명
- 서비스명
- Bot 이름
- User-Agent
- 접근 목적
- 대상 URL
- 예상 요청량
- 공식 IP 주소 또는 CIDR 목록
- ASN
- 담당자 연락처
- 수집 데이터의 이용 목적
본 사이트는 해당 정보를 검토한 후 접근 허용 여부 및 범위를 결정할 수 있습니다.
18. 최종 원칙
본 사이트의 자동화 접근 정책은 다음 원칙을 따릅니다.
사람의 정상적인 서비스 이용과 본 사이트가 명시적으로 승인한 Bot의 접근은 허용합니다.
승인되지 않은 자동화 접근에 대해서는 정상적인 서비스와 동일한 접근 권한, 응답 내용 또는 데이터 정확성을 보장하지 않습니다.
특히 특정 Bot의 명칭 또는 User-Agent를 사용하는 것만으로 승인된 Bot으로 인정되지 않으며, 본 사이트가 정한 IP/CIDR 및 기타 검증 조건을 충족하여야 합니다.