robots.txt 의 뜻

내 사이트에서 포털사이트(검색엔진)의 로봇이 가져가도 괜찮다고 허락하는 부분과,

가져가면 안된다 라는 설정을 하는 부분.

 

포털사이트(검색엔진)들이 여러가지가 있다. 대표적으로 구글, 네이버, 다음 등

각각의 검색엔진에서는 검색 봇, 혹은 로봇, 봇이라고 부르는 놈들이 있는데,

이 봇들이 이 사이트 저 사이트를 돌아다니면서 정보, 즉 사이트의 내용을 수집해가게 된다.

이 수집해간 자료를 바탕으로 우리가 포털사이트에서 검색을 하면 내 사이트가 노출이 되고 사용자들에게 보여진다.

 

이 때 내 사이트에서 외부에 노출되지 않기를 원하지 않은, 혹은 원하는 부분을 따로 설정해서 이 봇들의 접근을 막거나

접근을 가능하게 만들때 사용하는 문서가 바로 robot.txt이다.