웹로봇들의 포투 블로그 방문이 잦다. 자주 방문하지 않아도 되는 블로그인 줄 모르는 모양이다. 그러니 알려줄 방법을 찾을 밖에...

웹로봇 점유율 이미지

66.249로 시작되는 웹로봇은 구글의 것이고 61.247로 시작되는 녀석은 네이버로봇이다. 날마다 꾸준히 들어온다. 웹로봇과 직접 소통할 수 있다면 데려다 앉혀놓고 설명을 해주면 좋으련만, 워낙 제멋대로인 녀석인지라, 끌고 갈 필요없는 파일 확장자를 알려주면 트래픽 소모가 줄어들 것이다.

포털의 웹로봇들이 설치형 블로그를 방문할때는 예의를 지켜야 하는 것은 아닌가 하는 생각도 있다. 블로거들에게 트래픽은 돈이기 때문이다. 웹로봇들은 블로거들의 글을 가져가서 돈벌이로 이용하면서 블로거들에게는 웹로봇들이 소모한 트래픽때문에 웹호스팅회사에 돈을 지불하게 한다. 불합리해 보인다.

포털이 일부러 설치형 블로그 트래픽을 왕창 소모해서 자사 블로그 서비스로 들어오라고 압력을 가하는 지도 모른다. 이래저래 포털들은 마음에 안드는 구석이 많다.

일단 robots.txt를 작성했다.

User-agent: *
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.jpg$
Disallow: /*.bmp$
Disallow: /*.log$
Disallow: /*.xls$

.php와 .js를 못끌고 가게 하면 웹로봇들이 어떤 반응을 보일지 알 수 없다. 디렉토리를 막아 볼까 생각도 있지만 일단 파일 확장자를 막는 것만으로도 충분한 효과를 볼 수 있을 것이다.

웹로봇들이 robots.txt를 무시하지 않는다는 전제에서다.

또, 최근 하루에 한 두 개 정도의 아이피(IP Address)를 계속해서 막고 있다. 오늘은 룩셈부르크와 러시아에 소재한 회사의 아이피였는데, 외국산 IP가 심하게 트래픽을 소모하면 계속해서 막을 것이다.

방문자수가 제로가 돼도 상관없다.

         



<< prev 1 ... 63 64 65 66 67 68 69 70 71 ... 244 next >>

CATEGORY

RECENT COMMENT



[르포] 뉴욕 애플은 공사중…MS는 갤노트10에 '올인' 메트로신문  "인공지능 시대 '과학의 격의불교(格義佛敎)' 필요하다" 불교신문
[양희동의 타임머신]`갤노트`..스티브잡스 뒤집은 삼성의 역발상 이데일리  인덕션 카메라 '조롱'받은 애플에 반사이익 삼성 '노트10' 일요서울
'펜' 품은 스마트폰…‘갤럭시 노트’ 패블릿 개척 8년 이투데이  끊임없이 변하는 욕망 알아야 재테크로 돈 번다 스카이데일리
작가회의 "김용희가 위험하다…삼성과 정부, 조속히 나서야" 고발뉴스  삼성전자, 갤럭시 폴드·노트 ‘쌍두마차’로 올해 스마트폰 혁신 정점 찍나 조선비즈
부활하는 샤오미, 내가 아직도 좁쌀로 보이니? 더스쿠프  나의 삶을 행복하게 해주는 소소한 아이템들 헤모필리아라이프
[Who Is ?] 이재용 삼성전자 부회장 비즈니스포스트  [브릿지 칼럼] ‘금수저’CEO 제친 ‘흙수저’CEO 브릿지경제
삼성, AR도 잰걸음...혁신 잃은 애플과 기술 격차 벌린다 조선비즈  [Weekly Global] 빌 게이츠 "잡스는 최고의 마법사였다" 더스쿠프
[전화성의 기술창업 Targeting]76.이탈리아에서 디자인 콘텐츠 스타트업 발전방향 찾다(1) 전자신문  "지금의 권력자는 '포노족', 그들이 미쳐 날뛰게 만들어야" 시사저널
[데스크 칼럼]리더와 미래 예측 능력 에너지경제  손정의 회장의 제안은 항상 기간 인프라였다...문 대통령, 받을까? 이코노믹리뷰
현대인 마음 건강 회복하는 ‘마음챙김 명상’ | “마음이 고요해질 때 직관이 피어났다”(故 스티브 잡스) 월간조선  [설왕설래] 소프트뱅크 손정의 세계일보
19