포털 검색 로봇이 도메인 사이트 내용을 못 긁어가게 ( robots.txt )

간단하다.

루트 디렉토리에 

 

아래 내용을 넣어서 모든 내용에 대하여 허락하지 안도록  한다.

 

robots.txt 

User-agent: *
Disallow: /

 

 

참고 : https://ojji.wayful.com/2013/10/Google-blogger-How-to-set-Robots-txt-file-for-controling-search-engine.html

참고 : https://homzzang.com/b/free-4299