구글 검색에서 네이버 블로그에 대한 검색 결과

네이버 쪽의 폐쇄 정책 얘기는 오래된 화두죠. 아마도 수많은 e-바닥 관련 블로거들이 네이버를 싫어하는 이유 중 하나일 겁니다. 하지만 네이버로서는 준비가 된 것부터 하나하나 차근차근 공개하고 있다고 생각할 것이고, e-바닥 사용자들은 왜 뜸들이며 게으름을 피우냐라는 생각을 할 겁니다. 이건 애초에 서로 관점이 다르기 때문에 서로 이해가 안되는 거죠.

네이버 블로그는 기본적으로 외부 검색엔진 로봇에 대해서 거부를 하고 있습니다.

User-agent: * 

Disallow: /PostList.nhn 

Disallow: /PostPrint.nhn 

Disallow: /NBlogPostPreview.nhn 

Disallow: /NBlogHidden.nhn 

Disallow: /BlogInfo.nhn 

Disallow: /PostExportDoc.nhn 

Disallow: /PostPreview.nhn 

Disallow: /NTag4Ajax.nhn 

Disallow: /NWeather4Ajax.nhn 

Disallow: /buddy/ 

Disallow: /export/ 

Disallow: /common/ 

Disallow: /post/ 

Disallow: /npost/ 

Disallow: /main/ 

from http://blog.naver.com/robots.txt

위의 robots.txt을 잘 준수하는 로봇이라면 네이버 블로그를 크롤해서는 안되겠지요. 그래서 구글의 크롤 로봇은 네이버 블로그의 robots.txt를 잘 따르고 있습니다. 그러면 구글에서 네이버 블로그는 검색되면 안되겠죠? 그렇지만 구글에서는 네이버 블로그에 대한 검색이 되기는 합니다.

보시면 아시겠지만 뭔가 조금 이상하죠. 가장 위의 결과를 제외한 나머지 문서의 제목은 모두 하나같이 '네이버 블로그 :: 포스트 내용보기'입니다.

이 현상이 발생하는 이유는 현재 구글의 로봇이 크롤해 가는 페이지가 네이버의 robots.txt에서 거부한다고 정의한 페이지가 아닌 http://blog.naver.com/PostView.nhn 문서들이기 때문입니다. 구글 검색결과에 나타난 저 '네이버 블로그 :: 포스트 내용보기'를 클릭하고 들어가면 네이버 블로그의 정상적인 레이아웃(블로그 상단, 하단, 사이드바 등등)이 나오지 않고 딱 포스트 부분만 표시됩니다. 정말 말 그대로 '포스트 내용보기'인거죠. robots.txt를 준수하면서도 크롤해가는 이 부분은 NHN 이준호 COO의 구글의 무임승차 발언과도 연관이 있을 듯 하네요.

두 회사의 입장을 추측해 본다면.. 구글은 구글대로 크롤할 수 있는 것을 수집해서 검색되게 하는 것이고, 네이버는 네이버대로 네이버 블로그 사용자들에게 설정을 통해서 외부수집 허용 권한을 부여 (포스트 쓰기 하단에 네이버 검색허용과 외부수집허용 등의 옵션 설정 가능)하고 있는 것인데요. 어쩐지 누군가는 자신만의 고유한 것에 대해 가급적이면 지켜보겠다는 교묘함이 살짝 느껴진다고 할까요?