로봇배제표준은 웹문서를 수집해가는 로봇들을 배제하여 개인정보 영역까지
검색엔진이 수집해가는것을 방지하는 것을 말합니다.

일반적으로 알려진 로봇들은 로봇배제표준 적용으로 방지가 가능하지만,
개인적으로 만든 로봇들은 방지가 쉽지가 않습니다.
이런부분들은 서버보안강화 작업을 거쳐  개인정보노출이 되지 않게 해야합니다.