Utiliti wget membolehkan anda memuat turun halaman web, fail dan imej dari web menggunakan baris perintah Linux.
Anda boleh menggunakan perintah wget tunggal sendiri untuk memuat turun dari laman web atau menyediakan fail input untuk memuat turun beberapa fail di beberapa tapak.
Menurut wget halaman manual dapat digunakan bahkan ketika pengguna telah keluar dari sistem. Untuk melakukan ini, anda akan menggunakan perintah nohup.
Utiliti wget akan mencuba pengunduhan walaupun sambungan turun, meneruskan dari mana ia berhenti jika mungkin ketika sambungan kembali.
Anda boleh memuat turun seluruh laman web menggunakan wget dan menukar pautan untuk menunjuk ke sumber-sumber tempatan supaya anda dapat melihat laman web di luar talian.
Ciri-ciri wget adalah seperti berikut:
- Muat turun fail menggunakan HTTP, HTTPS dan FTP
- Teruskan unduh
- Tukar pautan mutlak dalam laman web yang dimuat turun ke URL relatif supaya laman web dapat dilihat di luar talian
- Menyokong proksi dan kuki HTTP
- Menyokong sambungan HTTP berterusan
- Boleh berjalan di latar belakang walaupun anda tidak log masuk
- Bekerja di Linux dan Windows
Cara Untuk Muat Turun Laman Web Menggunakan wget
Untuk panduan ini, saya akan menunjukkan kepada anda bagaimana untuk memuat turun blog peribadi saya.
wget www.everydaylinuxuser.com
Ia bernilai membuat folder anda sendiri pada mesin anda menggunakan perintah mkdir dan kemudian pindah ke folder menggunakan perintah cd .
Sebagai contoh:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Hasilnya adalah satu file index.html tunggal. Dengan sendirinya, fail ini tidak berguna kerana kandungannya masih ditarik dari Google dan imej dan gaya masih lagi dipegang di Google.
Untuk memuat turun laman web penuh dan semua halaman yang anda boleh gunakan arahan berikut:
wget -r www.everydaylinuxuser.com
Ini memuat turun halaman secara rekursif sehingga maksimum 5 tahap dalam.
5 tahap mendalam mungkin tidak cukup untuk mendapatkan segala-galanya dari laman web ini. Anda boleh menggunakan suis -l untuk menetapkan bilangan tahap yang ingin anda pergi seperti berikut:
wget -r -l10 www.everydaylinuxuser.com
Jika anda mahukan rekursi tak terhingga anda boleh menggunakan perkara berikut:
wget -r -l inf www.everydaylinuxuser.com
Anda juga boleh menggantikan inf dengan 0 yang bermaksud perkara yang sama.
Terdapat satu lagi masalah. Anda mungkin mendapatkan semua halaman dalam negara tetapi semua pautan di halaman masih menunjuk ke tempat asalnya. Oleh itu, tidak mungkin untuk klik di antara pautan di halaman.
Anda boleh menyelesaikan masalah ini dengan menggunakan suis -k yang menukar semua pautan di halaman untuk menunjuk ke setaraf yang dimuat turun secara tempatan seperti berikut:
wget -r -k www.everydaylinuxuser.com
Sekiranya anda ingin mendapatkan cermin lengkap laman web, anda boleh menggunakan suis berikut yang mengambil keperluan untuk menggunakan suis -r -k dan -l.
wget -m www.everydaylinuxuser.com
Oleh itu jika anda mempunyai laman web anda sendiri, anda boleh membuat sandaran lengkap dengan menggunakan satu perintah mudah ini.
Jalankan wget Sebagai Perintah Latar Belakang
Anda boleh mendapatkan wget berjalan sebagai perintah latar belakang yang membolehkan anda dapat meneruskan kerja anda di tetingkap terminal semasa muat turun fail.
Hanya gunakan arahan berikut:
wget -b www.everydaylinuxuser.com
Anda tentu boleh menggabungkan suis. Untuk menjalankan perintah wget di latar belakang sambil mencerminkan tapak anda, anda akan menggunakan perintah berikut:
wget -b -m www.everydaylinuxuser.com
Anda boleh mempermudah ini seperti berikut:
wget -bm www.everydaylinuxuser.com
Pembalakan
Jika anda menjalankan perintah wget di latar belakang, anda tidak akan melihat mana-mana mesej biasa yang ia hantar ke skrin.
Anda boleh mendapatkan semua mesej yang dihantar ke fail log supaya anda boleh menyemak kemajuan pada bila-bila masa menggunakan arahan ekor .
Untuk mengeluarkan maklumat dari perintah wget ke fail log gunakan arahan berikut:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
Sebaliknya, sememangnya, tidak memerlukan pembalakan sama sekali dan tiada output pada skrin. Untuk menghilangkan semua output gunakan arahan berikut:
wget -q www.everydaylinuxuser.com
Muat turun Daripada Tapak Pelbagai
Anda boleh menyediakan fail input untuk memuat turun dari banyak tapak yang berbeza.
Buka fail menggunakan editor kegemaran anda atau juga arahan kucing dan semak mula menyenaraikan laman web atau pautan untuk dimuat turun dari pada setiap baris fail.
Simpan fail dan kemudian jalankan perintah wget berikut:
wget -i / path / to / inputfile
Selain menyandarkan laman web anda sendiri atau mungkin mencari sesuatu untuk dimuat turun untuk membaca di kereta api, tidak mungkin anda ingin memuat turun keseluruhan laman web.
Anda lebih cenderung untuk memuat turun URL tunggal dengan imej atau mungkin memuat turun fail seperti fail zip, fail ISO atau fail imej.
Dengan itu anda tidak perlu mengetik yang berikut ke dalam fail input kerana memakan masa:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Jika anda tahu URL asas selalu akan menjadi sama, anda hanya boleh menentukan perkara berikut dalam fail input:
- file1.zip
- file2.zip
- file3.zip
Anda kemudian dapat menyediakan URL asas sebagai sebahagian daripada perintah wget seperti berikut:
wget -B http://www.myfileserver.com -i / path / to / inputfile
Cuba semula Pilihan
Jika anda telah menyediakan giliran fail untuk dimuat turun dalam fail input dan anda meninggalkan komputer anda berjalan sepanjang malam untuk memuat turun fail yang anda akan agak marah apabila anda turun pada waktu pagi untuk mendapati ia terjebak pada fail pertama dan telah mencuba sepanjang malam.
Anda boleh menentukan bilangan pemulangan menggunakan suis berikut:
wget -t 10 -i / path / to / inputfile
Anda mungkin ingin menggunakan arahan di atas bersamaan dengan suis -T yang membolehkan anda menentukan masa tamat dalam beberapa saat seperti berikut:
wget -t 10 -T 10 -i / path / to / inputfile
Perintah di atas akan mencuba 10 kali dan akan cuba menyambung selama 10 saat untuk setiap pautan dalam fail.
Ia juga menjengkelkan apabila anda memuat turun sebahagian daripada 75% fail 4 gigabait pada sambungan jalur lebar yang lambat hanya untuk sambungan anda untuk keluar.
Anda boleh menggunakan wget untuk mencuba semula dari mana ia berhenti memuat turun dengan menggunakan arahan berikut:
wget -c www.myfileserver.com/file1.zip
Sekiranya anda memalu pelayan, tuan rumah mungkin tidak menyukainya dan mungkin menyekat atau membunuh permintaan anda.
Anda boleh menentukan tempoh menunggu yang menentukan berapa lama menunggu di antara setiap pengambilan semula seperti berikut:
wget -w 60 -i / path / to / inputfile
Perintah di atas akan menunggu 60 saat antara setiap muat turun. Ini berguna jika anda memuat turun banyak fail dari satu sumber.
Sesetengah web host mungkin melihat kekerapan dan bagaimanapun juga akan menghalang anda. Anda boleh membuat tempoh menunggu secara rawak untuk membuatnya kelihatan seperti anda tidak menggunakan program seperti berikut:
wget --random-wait -i / path / to / inputfile
Melindungi Had Muat Turun
Banyak pembekal perkhidmatan internet masih menggunakan had muat turun untuk kegunaan jalur lebar anda, terutamanya jika anda tinggal di luar bandar.
Anda mungkin mahu menambahkan kuota supaya anda tidak meniup had muat turun itu. Anda boleh melakukannya dengan cara berikut:
wget -q 100m -i / path / to / inputfile
Ambil perhatian bahawa arahan -q tidak akan berfungsi dengan satu fail.
Jadi jika anda memuat turun fail yang saiznya 2 gigabytes, dengan menggunakan -q 1000m tidak akan menghentikan muat turun fail.
Kuota hanya digunakan apabila memuat turun secara pantas dari tapak atau apabila menggunakan fail input.
Mendapatkan Melalui Keselamatan
Sesetengah tapak memerlukan anda untuk log masuk untuk dapat mengakses kandungan yang anda ingin muat turun.
Anda boleh menggunakan suis berikut untuk menentukan nama pengguna dan kata laluan.
wget --user = yourusername --password = yourpassword
Perhatikan sistem berbilang pengguna jika seseorang menjalankan arahan ps mereka akan dapat melihat nama pengguna dan kata laluan anda.
Pilihan Muat turun Lain
Secara lalai suis -r akan memuat turun kandungan secara rekursif dan akan mencipta direktori kerana ia berjalan.
Anda boleh mendapatkan semua fail untuk dimuat turun ke satu folder menggunakan suis berikut:
wget -nd -r
Sebaliknya ini adalah untuk memaksa penciptaan direktori yang boleh dicapai dengan menggunakan arahan berikut:
wget -x -r
Cara Muat turun Jenis Fail Tertentu
Jika anda ingin memuat turun secara rekursif dari laman web tetapi anda hanya mahu memuat turun jenis fail tertentu seperti mp3 atau imej seperti png anda boleh menggunakan sintaks berikut:
wget -A "* .mp3" -r
Sebaliknya ini adalah untuk mengabaikan fail tertentu. Mungkin anda tidak mahu memuat turun executable. Dalam kes ini, anda akan menggunakan sintaks berikut:
wget -R "* .exe" -r
Cliget
Terdapat add-on Firefox yang dikenali sebagai cliget. Anda boleh menambah ini ke Firefox dengan cara yang berikut.
Lawati https://addons.mozilla.org/en-US/firefox/addon/cliget/ dan klik butang "add to Firefox".
Klik butang pemasangan apabila ia muncul. Anda akan diperlukan untuk memulakan semula Firefox.
Untuk menggunakan cliget, lawati halaman atau fail yang anda mahu muat turun dan klik kanan. Menu konteks akan muncul dipanggil cliget dan akan ada pilihan untuk "copy to wget" dan "copy to curl".
Klik pilihan "salinan untuk wget" dan buka tetingkap terminal dan kemudian klik kanan dan tampal. Perintah wget yang sesuai akan dimasukkan ke dalam tetingkap.
Pada dasarnya, ini menjimatkan anda untuk menaip arahan itu sendiri.
Ringkasan
Perintah wget sebagai sejumlah besar pilihan dan suis.
Oleh itu, adalah bernilai membaca halaman manual untuk wget dengan menaip yang berikut ke dalam tetingkap terminal:
lelaki wget