웹 검색 로봇은 웹사이트들을 방문하여 웹페이지들에 대한 자동색인을 생성… | [전자상거래운용사 필기] 16년 2회차 기출문제 상세 페이지

검색로봇의 접근을 제어하기 위해 사이트 관리자가 사용하는 파일은 robots.txt이다.
웹사이트 루트에 robots.txt를 두고 로봇이 접근하거나 색인하지 말아야 할 디렉터리·페이지를 명시하면, 표준을 따르는 검색로봇은 이를 참고해 접근을 제한한다.
noindex.txt, nofollow.txt, meta.txt는 표준으로 정해진 로봇 제어 파일명이 아니다. noindex·nofollow는 파일이 아니라 개별 페이지의 meta robots 태그나 링크 속성으로 지정하는 값이다.