Fail robots.txt yang disimpan dalam akar tapak web anda akan memberitahu robot web seperti labah-labah enjin carian apa direktori dan fail yang mereka boleh merangkak. Mudah digunakan fail robots.txt, tetapi ada beberapa perkara yang perlu diingat:
- Robot web topi hitam akan mengabaikan fail robots.txt anda. Jenis yang paling biasa adalah bot malware dan robot mencari alamat e-mel untuk menuai.
- Beberapa pengaturcara baru akan menulis robot yang mengabaikan fail robots.txt. Ini biasanya dilakukan secara tidak sengaja.
- Sesiapa sahaja boleh melihat fail robots.txt anda. Mereka sentiasa dipanggil robots.txt dan sentiasa disimpan di akar tapak web.
- Akhirnya, jika seseorang memaut ke fail atau direktori yang dikecualikan oleh fail robots.txt anda dari halaman yang tidak dikecualikan oleh fail robots.txt mereka, enjin carian boleh menemukannya.
Jangan gunakan fail robots.txt untuk menyembunyikan sesuatu yang penting. Sebaliknya, anda harus meletakkan maklumat penting di sebalik kata laluan selamat atau meninggalkannya di seluruh web.
Cara Penggunaan Fail Sampel Ini
Salin teks dari sampel yang paling dekat dengan perkara yang anda ingin lakukan, dan tampalkannya ke dalam fail robots.txt anda. Tukar robot, direktori, dan nama fail untuk menyesuaikan konfigurasi pilihan anda.
Dua Fail Robots.txt Asas
Agen-pengguna: *
Tidak membenarkan: /
Fail ini mengatakan bahawa mana-mana robot (Pengguna-agen: *) yang mengakses ia harus mengabaikan setiap halaman di laman web ini (Disallow: /).
Agen-pengguna: *
Tidak membenarkan:
Fail ini mengatakan bahawa mana-mana robot (User-agent: *) yang mengakses ia dibenarkan untuk melihat setiap halaman di laman web ini (Larang:).
Anda juga boleh melakukan ini dengan meninggalkan fail robots.txt kosong atau tidak mempunyai satu di laman web anda sama sekali.
Lindungi Direktori Khusus Dari Robot
Agen-pengguna: *
Tidak membenarkan: / cgi-bin /
Tidak membenarkan: / temp /
Fail ini mengatakan bahawa mana-mana robot (User-agent: *) yang mengakses ia harus mengabaikan direktori / cgi-bin / dan / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Lindungi Halaman Tertentu Daripada Robot
Agen-pengguna: *
Tidak membenarkan: /jenns-stuff.htm
Tidak membenarkan: /private.php
Fail ini mengatakan bahawa mana-mana robot (Pengguna-agen: *) yang mengaksesnya harus mengabaikan fail /jennsstuff.htm dan /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Mencegah Robot Spesifik daripada Mengakses Laman Anda
Pengguna-agen: Lycos / xx
Tidak membenarkan: /
Fail ini mengatakan bahawa bot Lycos (Pengguna-agen: Lycos / xx) tidak dibenarkan masuk ke mana-mana sahaja di laman web ini (Disallow: /).
Benarkan Hanya Satu Akses Robot Khusus
Agen-pengguna: *
Tidak membenarkan: /
Agensi-pengguna: Googlebot
Tidak membenarkan:
Fail ini pertama kali melarang semua robot seperti yang kami lakukan di atas, dan kemudian secara jelas membolehkan Googlebot (User-agent: Googlebot) mempunyai akses kepada segala-galanya (Tidak Memungkinkan:).
Menggabungkan Pelbagai Talian untuk Dapatkan Tepat Pengecualian Anda Ingin
Walaupun lebih baik menggunakan garis Agen Pengguna yang sangat inklusif, seperti Ejen Pengguna: *, anda boleh menjadi seperti yang anda suka. Ingat bahawa robot membaca fail dalam rangka. Jadi jika baris pertama mengatakan bahawa semua robot disekat dari segala-galanya, dan kemudian dalam fail ia mengatakan bahawa semua robot dibenarkan akses kepada segalanya, robot akan mempunyai akses kepada segalanya.
Sekiranya anda tidak pasti sama ada anda telah menulis fail robots.txt dengan betul, anda boleh menggunakan Alat Juruweb Google untuk menyemak fail robots.txt atau menulis yang baharu.