Blocks Web Robots Crawler

  

Arsip

Sn Sl Rb Km Jm Sb Mg
12345
6789101112
13141516171819
20212223242526
2728293031

Newsletter

Langganan newsletter:

Voting: Oktober 2008

Fasilitas handphone terpenting?

  
  
  

Referensi IT

    
    

    
    
  • email Email kan kepada kawan anda
  • Tambahkan ke Yahoo! web Anda Tambahkan ke del.icio.us Digg berita atau artikel ini Tambahkan ke Furl Tambahkan ke Squidoo Tambahkan ke Technorati Tambahkan ke StumbleUpon Tambahkan ke Reddit Tambahkan ke Netscape Tambahkan ke Newsvine
    Kontak BeritaNET.com :
    Naskah : redaksi AT beritanet.com
    Iklan : iklan AT beritanet.com
    Lowongan : karir AT beritanet.com
    Kursus IT : kursus AT beritanet.com
    Beli Buku : buku AT beritanet.com
    Kerjasama : joint AT beritanet.com

Prakiraan Cuaca Besok

  sumber : http://bmg.go.id
         

Sesuaikan ukuran huruf: Perkecil font Perbesar font
foto berita artikel

Sebagai webmaster, anda tentu tidak ingin resource dan quota bandwidth anda habis hanya karena kunjungan robots atau web crawler atau web spider tertentu, bukan. Setelah diblok melalui baris perintah di robots.txt pun dia tidak mau patuh. Nah, berikut ini adalah cara memblok akses nya melalui directive di .htaccess.

Contoh kasus untuk robot Sbider. Sbider ini robot milik situs penjual konten dan MLM di USA. Dari log server diketahui bahwa Sbider adalah user agent :

sbider/0.8-dev (sbider; http://www.s itesell.com/sbider.html; http://support.sitesell.com/contact-support.html)

Caranya membloknya mudah, tinggal tambahkan baris berikut di .htaccess root direktori anda :

RewriteCond %{HTTP_USER_AGENT} ^sbider/0.8-dev [OR]

RewriteCond %{HTTP_USER_AGENT} ^sbider [OR]

 

Selamat mencoba.

Roy Wikan/BeritaNET.com 

 



Diskusikan berita ini di Diskusi BeritaNET.com


Berikan komentar comment Komentar (0 dimuat)


Paling Dicari Hari Ini


Pasang Iklan : news  © 2007-2008. BERITA NET.com - SITUS BERITA INDONESIA
Links to Site
  eXTReMe Tracker