크롤러로부터 사이트를 제어하기 위해서 사용하는 파일은? | [정보보안기사 필기] 17년 1회차 기출문제 상세 페이지
1[정보보안기사 필기] 17년 1회차
크롤러로부터 사이트를 제어하기 위해서 사용하는 파일은?
1
crawler.txt
2
access.conf
3
httpd.conf
4
robots.txt
해설
크롤러(검색엔진 로봇)로부터 사이트의 수집 범위를 제어하기 위해 사용하는 파일은 robots.txt이다.
웹 서버 루트 경로에 robots.txt를 두어 크롤러의 접근 허용·차단 범위를 명시하면, 표준을 따르는 크롤러는 이 지침에 맞춰 수집 대상을 조정한다.
내용에 오류가 있거나 최신 법령·기준과 다른 부분이 보이면 알려주세요. 확인 후 반영하겠습니다.