F Tipi Blog » Kötü Botları ve Çevrimdışı Tarayıcıları Engelleyin

Kötü Botları ve Çevrimdışı Tarayıcıları Engelleyin

Kötü botlar sunucunuza olağanüstü yük oluşturarak sitenizin yavaş yanıt vermesine, bant genişliği ve işlemci kullanımının aşırı artmasına sebep olabilirler. Böylece siteniz ya barındırma şirketiniz tarafından bant genişliğini veya işlemci kullanım süresi dolduğu için kapatılabilir ya da sunucunuz aşırı yüke dayanamayarak çökebilir. Bu nedenle sitenize giren bu botların tespit edilmesi ve zararlı olanların (Kısaca arama motoru botları ve sitenin yanıt verip vermediğini kontrol eden servislerin botları dışında hepsi.) sitenize erişimlerinin kesilmesi gerekir. Çünkü bu botlar hiçbir işinize yaramayarak sadece sitenizin bant genişliği ve işlemci kullanımını arttırırlar.
Çevrimdışı tarayıcılar (Offline Explorer, WinHTTrack vs.) sitenizin isteyen kişiler tarafından bilgisayarlarına indirilmesini ve bilgisayarlarında sizin sitenizde dolaşırcasına kaydedilen sayfalarınızda gezinebilmelerini sağlar. Bunlarda önemli bant genişliği ve işlemci hırsızıdırlar. Ayrıca sitenizin tanımadığınız birinin bilgisayarına indirilmesini ve orada çalıştırılmasını siz de istemezsiniz. Hatta bu yöntemle indirilen siteniz başka bir sunucuya atılarak hazır bir site olarak kullanılabilir bile. Sizin hiçbir işinize yaramadığı için bu tür çevrimdışı tarayıcıların da sitenize erişiminin kesilmesi gerekir.
Bu istenmeyen kötü amaçlı botlar ve çevrimdışı tarayıcıların sitenize erişimini engellemek için yapmamız gereken şey .htaccess dosyasına istemediğiniz botların UserAgent denilen isimlerini ve engellenmelerini belirten bazı kodlar girmek. Bu dosya sunucunuz tarafından her dosyaya erişimde okunduğu için sitenize giren botlar için oldukça garantili bir yöntemdir. Apache sunucusu gelen bot ile .htaccess içindeki isimleri karşılaştırır ve eğer dosyada kayıtlı ise o bota 403 Forbidden (yasak) hatası verir. Böylece bu botlar sitenize erişemez ve siteniz çevrimdışı tarayıcılar tarafından indirilemez.
Bot ve çevrimdışı tarayıcıları engellemek için yazacağınız kod şu şekilde;

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteRule ^.* - [F,L]

Bu kod ile BlackWidow (ismi bile kötü, karadul) botunun sitenize erişimi yasaklanıyor.
Ben size kolaylık olması amacıyla bulduğum bir kodu aşağıda paylaştım. Burada neredeyse çoğu kötü amaçlı bot ve çevrimdışı tarayıcı kayıtlı. Bunu doğrudan .htaccess dosyanızın içerisine kopyala-yapıştır yapın. Bunu yaparken önceden yazılı kodların arasına bir yere değilde dosya sonuna vs. yazmaya dikkat edin, yoksa sitenize erişimi engelleyebilirdiniz. Buyrun yazmanız gereken kod;

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]

.htaccess dosyası sunucunuzda yoksa tek yapmanız gereken FTP, kontrol panelinizin dosya yöneticisi gibi kısımlarından “.htaccess” adında bir dosya oluşturmak. Bu dosya Apache dosyanın bulunduğu klasöre her erişim yaptığında tekrar tekrar okunur. Bu sebeple dosyada çok fazla sayıda komutun bulunması Apache’nin siteniz açılırken yavaş yanıt vermesine sebep olabilir. Bu yüzden Wordpress vs. blog veya hazır forum sitelerinde botları engelleyen eklentiler ve modüller de kullanılabilir. Tabi böyle eklentiler mi yoksa .htaccess yöntemimi daha hızlıdır onu bilmiyorum. Ancak her iki yöntem de sunucunuz işlemcisi üzerinde bir miktar yük oluşturacaktır. Tabi bu yük, bu yöntemlerin kullanılmaması durumunda botların oluşturacağı yüke oranla bahsetmeye bile gerek olmayan bir yüktür. Eğer gerçekten bu yükten rahatsız oluyorsanız yukarıdaki listede sunucu kayıtlarınızda görmediğiniz botların isimlerinin olduğu satırları silerek komut sayısının küçülmesini sağlayabilirsiniz.
Not: .htaccess dosyası sadece Apache sunucularda kullanılır. Sunucu ile ilgili çeşitli komutlar içerir.

Kaynak