XE 로 홈페이지 + 블로그를 만들고나서 리퍼러 통계를 매일 보는데
이상한 리퍼러가 항상 남겨있는 것이다.
실질적으로 나의 홈페이지를 방문한 사람의 리퍼러가 아닌 로봇이 남긴 리퍼러 같았다.
MS에서 운영하는 search.live.com 이놈들이 바로 그 주인공이다.

search.live.com/results.aspx?q=newest
search.live.com/results.aspx?q=naver
search.live.com/results.aspx?q=content


이런 종류의 리퍼러인것이다.
이거 말고도 참으로 다양한 짝퉁 리퍼러를 많이 남겨놓는다.
참고로 저 페이지를 접속하면 내 홈페이지 링크가 없다.
죽어도 저 주소에서는 내 홈피를 접속할 수 없는것이다.
그런데 저런 종류의 주소들을 남겨 놓는다.

이유?
난 모르겠다. 대체 어떠한 이유에서 저런 리퍼러를 남기게 해놨는지...

검색엔진의 로봇을 차단하는 방법으로는 robots.txt를 통하여 차단할 수 있다.
그러나 라이브서치의 검색엔진의 이름을 알길이 없다.
네이버를 비롯하여 여기저기 찾아봤는데 없다.
그래서 홈페이지에 직접 문의를 했다.

그래서 받은 답변은 좀 치사한 답변을 줬다.
차단하는 방법이 아닌 딜레이 시키는 방법을 알려주는거다.
그러나 무시해버리고 차단시켜버렸다.

robots.txt 란 텍스트 파일을 홈페이지 계정 루트에 업로드 한다.
내용은 아래처럼 넣으면 된다.

User-agent: msnbot
Disallow: /


이름 머 거창하고 독특한거 아니였다. msnbot 였다.
간단히 설명을 하자면 msnbot이 루트디렉토리(하위포함) 전체를 검색하지 못하도록 한다는거다.
특정 디렉토리를 설정해도 되지만 전체 막아버렸다.

이렇게 차단을 시키고 일주일 정도 지켜본 결과
쓰레기 리퍼러는 두 건 있었다.
그동안 하루에 수십개씩 남기던 쓰레기가 확 줄었다.

그 두개는 왜 생겼는지는 모르겠지만 그리 신경써야할만한 수준이 아니라고 생각되고
이정도면 만족한다. 쓰레기 리퍼러 정말 짜증났었는데...