검색엔진이 사이트를 수집하기 위해 사용하는 크롤러(Crawler)에 대… | [해양경찰 정보시스템보안] 25년 1회차 기출문제 상세 페이지
1[해양경찰 정보시스템보안] 25년 1회차
검색엔진이 사이트를 수집하기 위해 사용하는 크롤러(Crawler)에 대하여 사이트의 수집·허용 여부를 표시하는 파일은?
1
access.conf
2
httpd.conf
3
robots.txt
4
crawler.txt
해설
검색엔진 크롤러에게 사이트의 수집 허용·차단 여부를 알려주는 파일은 robots.txt이다.
웹 루트에 두며 User-agent와 Disallow·Allow 지시어로 수집 범위를 지정한다. 다만 권고 규약일 뿐 접근 통제 수단은 아니다.
- access.conf는 아파치 웹 서버의 접근 제어 설정에 쓰이던 설정 파일이다.
- httpd.conf는 아파치 웹 서버의 주 설정 파일이다.
- crawler.txt는 크롤러 제어용 표준 파일이 아니다.
오류나 개정된 내용이 보이면 알려주세요