Judul : Siapa yang Menyediakan Tip Pada Cara Mengatasinya dengan Bots, Spider Dan Crawler
link : Siapa yang Menyediakan Tip Pada Cara Mengatasinya dengan Bots, Spider Dan Crawler
Siapa yang Menyediakan Tip Pada Cara Mengatasinya dengan Bots, Spider Dan Crawler
Apa bots ini?Mereka adalah jenis perangkat lunak yang digunakan oleh mesin pencari untuk menghapus konten baru dari internet untuk tujuan pengindeksan.
Mereka melakukan tugas berikut:
Kunjungi halaman web yang telah Anda tautkan untuk memeriksa
kode HTML Anda karena kesalahan
Mereka menyimpan halaman web yang Anda tautkan dan melihat halaman web mana yang terhubung ke konten Anda.
Mereka mengindeks konten Anda
Namun, beberapa bot berbahaya dan mencari situs Anda untuk alamat email dan formulir yang biasanya digunakan untuk mengirimi Anda pesan atau spam yang tidak diinginkan. Orang lain bahkan mencari celah keamanan dalam kode Anda.
Apa yang dibutuhkan untuk memblokir perayap web?
Sebelum menggunakan file .htaccess, Anda perlu memeriksa hal-hal berikut:
1. Situs Anda harus berjalan di server Apache. Saat ini, bahkan perusahaan web hosting yang setengah layak dalam pekerjaan mereka, memberi Anda akses ke file yang dibutuhkan.
2. Anda harus memiliki akses ke log server mentah dari situs Anda sehingga Anda dapat menemukan bot apa yang telah mengunjungi halaman web Anda.
Perhatikan tidak mungkin Anda bisa memblokir semua bot berbahaya kecuali Anda memblokir semuanya, bahkan yang Anda anggap bermanfaat. Bots baru muncul setiap hari, dan yang lebih tua dimodifikasi. Cara yang paling efisien adalah mengamankan kode Anda dan membuat keras bagi bot untuk spam Anda.
Mengidentifikasi bot
Bot bisa dikenali dari alamat IP atau dari "User Agent String" mereka, yang mereka kirim ke header HTTP. Misalnya, Google menggunakan "Googlebot."
Anda mungkin memerlukan daftar ini dengan 302 bots jika Anda sudah memiliki nama bot yang ingin Anda simpan menggunakan .htaccess
Cara lain adalah mendownload semua file log dari server dan membukanya dengan menggunakan editor teks. Lokasi mereka di server mungkin berubah tergantung pada konfigurasi server Anda. Jika Anda tidak dapat menemukannya, mintalah bantuan dari host web Anda.
Jika Anda tahu halaman apa yang dikunjungi, atau saat kunjungan, lebih mudah datang dengan bot yang tidak diinginkan. Anda bisa mencari file log dengan parameter ini.
Sekali, Anda telah mencatat bot apa yang perlu Anda blokir; Anda kemudian dapat memasukkannya ke dalam file .htaccess. Perlu diketahui bahwa pemblokiran bot tidak cukup untuk menghentikannya. Mungkin kembali dengan IP atau nama baru.
Cara memblokir mereka
Download salinan file .htaccess. Buatlah backup jika diperlukan.
Metode 1: pemblokiran oleh IP
Cuplikan kode ini mencekal bot menggunakan alamat IP 197.0.0.1
Order Deny, Allow
Tolak dari 197.0.0.1
Baris pertama berarti server akan memblokir semua permintaan yang sesuai dengan pola yang Anda tentukan dan mengizinkan yang lainnya.
Baris kedua memberitahu server untuk mengeluarkan halaman 403: terlarang
Metode 2: Pemblokiran oleh agen pengguna
Cara termudah adalah dengan menggunakan mesin rewrite Apache
RewriteEngine On
RewriteCond% {HTTP_USER_AGENT} BotUserAgent
RewriteRule - [F, L]
Baris pertama memastikan modul rewrite diaktifkan. Baris kedua adalah kondisi dimana peraturan berlaku. The "F" di baris 4 memberitahu server untuk mengembalikan 403: Terlarang sementara "L" berarti ini adalah aturan terakhir.
Anda kemudian akan mengunggah file .htaccess ke server Anda dan menimpa yang sudah ada. Dengan waktu, Anda perlu mengupdate IP bot. Jika Anda membuat kesalahan, cukup unggah cadangan yang Anda buat.
Pasal Sumber: http://EzineArticles.com/expert/Jahangir_Hossain/2466687
Demikianlah Artikel Siapa yang Menyediakan Tip Pada Cara Mengatasinya dengan Bots, Spider Dan Crawler
Sekianlah artikel Siapa yang Menyediakan Tip Pada Cara Mengatasinya dengan Bots, Spider Dan Crawler kali ini, mudah-mudahan bisa memberi manfaat untuk anda semua. baiklah, sampai jumpa di postingan artikel lainnya.
Anda sekarang membaca artikel Siapa yang Menyediakan Tip Pada Cara Mengatasinya dengan Bots, Spider Dan Crawler dengan alamat link https://teknokui.blogspot.com/2018/03/siapa-yang-menyediakan-tip-pada-cara.html