워드프레스 robots.txt 사용방법

robots.txt는 웹사이트에 방문하는 웹 로봇(크롤러 또는 스파이더라고도 함)에 대한 접근 규칙을 정의하는 텍스트 파일입니다.웹 사이트의 루트 디렉터리에 위치하여, 검색 엔진 봇이 사이트를 크롤링 할 때 어떤 페이지를 인덱싱하거나 인덱싱하지 말아야 하는지 알�

read more