Πώς να χρησιμοποιήσετε το Wget για να κάνετε λήψη οτιδήποτε από το Internet

• 2019

Το Wget είναι ένα βοηθητικό πρόγραμμα γραμμής εντολών που μπορεί να χρησιμοποιηθεί για να μεταφορτώσει σχεδόν οτιδήποτε διατίθεται στο διαδίκτυο. Το catch, είναι ότι θα πρέπει να είναι διαθέσιμο μέσω πρωτοκόλλων HTTP, HTTPS ή FTP. διαφορετικά η Wget δεν θα μπορέσει να την κατεβάσει. Υπάρχουν διάφοροι τρόποι με τους οποίους η Wget μπορεί να χρησιμοποιηθεί, για παράδειγμα, μπορείτε να χρησιμοποιήσετε το Wget για να κάνετε λήψη κάθε εικόνας σε έναν ιστότοπο ή μπορείτε επίσης να κάνετε λήψη ενός μόνο αρχείου. Η Wget είναι ακόμα σε θέση να συνεχίσει τις λήψεις, όταν είναι δυνατόν. Έτσι, αν αναρωτιέστε πώς λειτουργεί το Wget και τι μπορεί να κάνει για εσάς, εδώ είναι πώς να χρησιμοποιήσετε το Wget :

Εγκατάσταση του Wget

1. Εγκατάσταση του Wget σε MacOS Sierra

Πριν αρχίσουμε να χρησιμοποιούμε τη Wget, θα πρέπει να την εγκαταστήσουμε στο σύστημά μας. Τώρα, ευτυχώς, οι περισσότερες διανομές Linux έρχονται προεγκατεστημένες με την Wget, επομένως δεν θα χρειαστεί να κάνετε επιπλέον εργασίες. Ωστόσο, εάν βρίσκεστε σε Mac, θα πρέπει να εγκαταστήσετε το Wget. Αυτό μπορεί να γίνει εύκολα χρησιμοποιώντας το Homebrew (λήψη). Εάν χρειάζεστε βοήθεια, ακολουθήστε τα βήματα που πρέπει να ακολουθήσετε:

• Πρώτον, θα πρέπει να εγκαταστήσετε το Homebrew στο Mac σας, για να μπορέσετε να κάνετε λήψη του Wget. Για να το κάνετε αυτό, απλώς ξεκινήστε το τερματικό και πληκτρολογήστε την ακόλουθη εντολή:

 / usr / bin / ruby ​​-e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)" 

• Μετά την ολοκλήρωση της εντολής, το Homebrew θα εγκατασταθεί στο σύστημά σας. Τώρα μπορείτε να χρησιμοποιήσετε το Homebrew για να εγκαταστήσετε πακέτα, όπως το Wget. Στο Terminal, εκτελέστε την ακόλουθη εντολή:

 εγκαταστήστε το wget 

• Το Homebrew θα ξεκινήσει αυτόματα τη λήψη, την αποσυσκευασία και την εγκατάσταση του Wget στο σύστημά σας. Αυτό το βήμα μπορεί να διαρκέσει αρκετό χρόνο, ανάλογα με την ταχύτητα του δικτύου σας, επομένως να είστε υπομονετικοί. Μόλις ολοκληρωθεί η εντολή, θα πρέπει να μπορείτε να χρησιμοποιήσετε το Wget στον Mac σας. Για να ελέγξετε αν έχει εγκατασταθεί, απλώς χρησιμοποιήστε την εντολή:

 wget -V 

2. Εγκατάσταση του Wget στα Windows

Η εγκατάσταση του Wget στα Windows απαιτεί λίγο περισσότερη προσπάθεια, αλλά μπορεί εύκολα να γίνει. Εάν θέλετε να εγκαταστήσετε το Wget στον υπολογιστή σας Windows, ακολουθήστε τα παρακάτω βήματα:

• Κατ 'αρχάς, κατεβάστε το Cygwin και, στη συνέχεια, εκτελέστε το ληφθέν αρχείο εγκατάστασης .

• Όταν ζητάει την προεπιλεγμένη πηγή λήψης, επιλέξτε την επιλογή " Εγκατάσταση από το Internet " και κάντε κλικ στο "Επόμενο".

• Επιλέξτε έναν κατάλογο εγκατάστασης για Cygwin, καθώς και έναν κατάλογο στον οποίο θα αποθηκεύονται τα αρχεία πακέτων για την εγκατάσταση βοηθητικών προγραμμάτων.

• Στην επόμενη οθόνη, πρέπει να επιλέξετε τη σύνδεσή σας στο διαδίκτυο. Εάν χρησιμοποιείτε ένα διακομιστή μεσολάβησης, επιλέξτε τον τύπο του διακομιστή μεσολάβησης και συμπληρώστε τις λεπτομέρειες. Για τους περισσότερους χρήστες, όμως, η επιλογή θα είναι " άμεση σύνδεση ".

• Στη συνέχεια θα εμφανιστεί μια λίστα καθρεπτών, επιλέξτε οποιαδήποτε από αυτές για να κατεβάσετε το Cygwin. Αν η λήψη αποτύχει, μπορείτε να δοκιμάσετε ξανά με διαφορετικό καθρέφτη.

• Στο επόμενο παράθυρο, αναζητήστε το "wget" και κάντε κλικ στο συν δίπλα στο "web" στη λίστα που εμφανίζεται. Εδώ, το πλαίσιο ελέγχου δίπλα στο " wget " θα επιλεγεί αυτόματα. Απλά κάντε κλικ στο "Επόμενο".

• Η επόμενη οθόνη θα σας δείξει τα πακέτα που χρειάζεται για λήψη. Απλά κάντε κλικ στο κουμπί "Επόμενο".

• Μόλις ολοκληρωθεί η εγκατάσταση, θα ερωτηθείτε αν θέλετε να δημιουργήσετε ένα εικονίδιο επιφάνειας εργασίας και / ή να προσθέσετε μια καταχώρηση στο μενού έναρξης . Αυτό είναι τελείως θέμα προσωπικής προτίμησης, αλλά θα πρότεινα να το προσθέσετε τουλάχιστον στο μενού έναρξης, ώστε να το βρείτε εύκολα.

Αυτό είναι. Το Wget είναι πλέον εγκατεστημένο στον υπολογιστή σας Windows. Ωστόσο, δεν θα μπορείτε να το εκτελέσετε από τη γραμμή εντολών. Αντ 'αυτού, θα πρέπει να ξεκινήσετε το Terminal Cygwin και να χρησιμοποιήσετε τον Wget από εκεί .

Πώς να χρησιμοποιήσετε το Wget

Τώρα που έχουμε την Wget να λειτουργήσει στο σύστημά μας, ας εξερευνήσουμε όλους τους δροσερούς τρόπους με τους οποίους μπορούμε να χρησιμοποιήσουμε το Wget για να κατεβάσετε αρχεία, φακέλους και ακόμη και ολόκληρους ιστότοπους από το Διαδίκτυο. Ακολουθούν μερικά ενδιαφέροντα πράγματα που μπορείτε να κάνετε με το Wget στο σύστημά σας.

Σημείωση : Χρησιμοποιώ το Wget σε MacBook Air που τρέχει macOS Sierra 10.12.3 beta. Ωστόσο, δεδομένου ότι το βοηθητικό πρόγραμμα που χρησιμοποιούμε είναι το ίδιο (Wget), οι εντολές θα είναι οι ίδιες σε οποιοδήποτε λειτουργικό σύστημα μπορεί να χρησιμοποιείτε το Wget on.

1. Χρησιμοποιήστε το Wget για να κάνετε λήψη αρχείων

Μπορείτε να χρησιμοποιήσετε το Wget για να κατεβάσετε εύκολα αρχεία από το διαδίκτυο. Απλά χρησιμοποιήστε την ακόλουθη εντολή

 wget 

• Κάντε λήψη ενός αρχείου και αποθηκεύστε το με ένα συγκεκριμένο όνομα αρχείου

Τα αρχεία σε διακομιστές έχουν μερικές φορές τα πιο περίεργα ονόματα και ίσως θελήσετε να κατεβάσετε το αρχείο και Wget να το μετονομάσετε αυτόματα σε κάτι που σας δίνει μεγαλύτερη σημασία. Για να το κάνετε αυτό, απλά χρησιμοποιήστε την ακόλουθη εντολή

 wget -o 

• Λήψη μόνο συγκεκριμένων τύπων αρχείων

Ένας διακομιστής ιστού μπορεί να φιλοξενεί διάφορα αρχεία. Λοιπόν, τι γίνεται αν θέλετε να κατεβάσετε μόνο τα αρχεία PDF στον διακομιστή ή ίσως όλα τα GIF; Απλά χρησιμοποιήστε την ακόλουθη εντολή:

 wget -r -A pdf 

Αυτή η συγκεκριμένη εντολή χρησιμοποιήθηκε από τον Mark Zuckerberg στην αίθουσα χορού του Χάρβαρντ, για να κατεβάσει όλες τις εικόνες με μία μόνο εντολή και να χτίσει τον περίφημο ιστοχώρο "facesmash.com".

 wget -r -A jpg, jpeg, png, bmp 

2. Κατεβάστε αρχεία από πολλαπλές διευθύνσεις URL με το Wget

Ας υποθέσουμε ότι πρέπει να κατεβάσετε αρχεία από διάφορες τοποθεσίες στο διαδίκτυο. Μπορεί να υπάρχει ένα αρχείο PDF στο url1, ένα σημαντικό αρχείο ZIP στο url2, και κάτι άλλο στο url3 . Εάν χρησιμοποιούσατε τον Wget με τον παραδοσιακό τρόπο, θα πρέπει να το εκτελέσετε τρεις φορές. Ωστόσο, υπάρχει πολύ πιο εύκολος τρόπος για να γίνει αυτό.

• Καταρχήν, δημιουργήστε ένα αρχείο με όλες τις διευθύνσεις URL που χρειάζεστε για να κάνετε λήψη δεδομένων. Βεβαιωθείτε ότι διατηρείτε κάθε διεύθυνση URL στη δική της γραμμή . Αποθηκεύστε το αρχείο και βεβαιωθείτε ότι θυμάστε το όνομα.

• Στο τερματικό, χρησιμοποιήστε την ακόλουθη εντολή για να κάνετε λήψη αρχείων από όλες τις διευθύνσεις URL:

 wget -i 

όπου " file_name " είναι το όνομα του αρχείου που δημιουργήσατε με όλες τις διευθύνσεις URL που χρειάζεστε για να κάνετε λήψη.

3. Κατεβάστε έναν ολόκληρο ιστότοπο με την Wget

Ναι, το διάβασες σωστά. Μπορείτε να χρησιμοποιήσετε το Wget για να κατεβάσετε τα περιεχόμενα ενός ολόκληρου ιστότοπου, επίσης. Προφανώς, εάν ο ιστότοπος είναι πολύ μεγάλος, αυτή η εντολή θα χρειαστεί πολύ χρόνο για να τελειώσει, για να μην αναφέρουμε ότι θα φάει πολύ χώρο στο σύστημά σας. Τούτου λεχθέντος, αν θέλετε να χρησιμοποιήσετε το Wget για να κατεβάσετε έναν ολόκληρο ιστότοπο, απλά χρησιμοποιήστε την ακόλουθη εντολή:

 wget - mirror -p -P ./LOCAL-DIR WEBSITE-URL 

Αυτό θα μεταφέρει ολόκληρο τον ιστότοπο σε ένα φάκελο " LOCAL-DIR " μέσα στον κατάλογο εργασίας σας. Τα αρχεία του ιστότοπου θα αποθηκευτούν σε ένα φάκελο με το ίδιο όνομα με τον ιστότοπο, χάρη στην " URL WEBSITE-URL ".

4. Χρησιμοποιήστε το Wget ως Web Spider

Μπορείτε επίσης να κάνετε το Wget να λειτουργεί σαν ένα web crawler (ή μια αράχνη ιστού). Αυτό είναι χρήσιμο όταν θέλετε να επιβεβαιώσετε ότι η διεύθυνση URL για το αρχείο που θέλετε να κάνετε λήψη είναι έγκυρη . Για να χρησιμοποιήσετε το Wget ως αράχνη ιστού και να ελέγξετε την εγκυρότητα των διευθύνσεων URL, απλώς χρησιμοποιήστε την ακόλουθη εντολή:

 wget --spider 

Αυτό θα ελέγξει εάν υπάρχει η διεύθυνση URL που αναφέρατε και θα λάβετε μια απάντηση που θα σας ενημερώνει για τα αποτελέσματα της επιταγής.

• Θετική απάντηση:

• Αρνητική απόκριση:

5. Συνέχιση ελλιπών λήψεων

Αυτό είναι ένα άλλο πολύ δροσερό πράγμα που μπορεί να κάνει ο Wget. Πέστε ότι κάνατε λήψη ενός αρχείου με την Wget, αλλά για κάποιο λόγο, έπρεπε να κλείσετε το laptop σας. Την επόμενη φορά που θέλετε να δοκιμάσετε να κάνετε λήψη του ίδιου αρχείου, η Wget μπορεί να συνεχίσει την λήψη για εσάς. Απλά πρέπει να βεβαιωθείτε ότι βρίσκεστε στον ίδιο φάκελο στον οποίο λάβατε το αρχείο την τελευταία φορά και στη συνέχεια χρησιμοποιήστε την ακόλουθη εντολή:

 wget -c 

Όταν ο Wget διαπιστώσει ότι ένα μέρος του αρχείου υπάρχει ήδη στο σύστημά σας, θα συνεχίσει αυτόματα τη λήψη.

Σημείωση : Εάν το αρχείο στο διακομιστή έχει αλλάξει από την τελευταία φορά που προσπαθήσατε να το κατεβάσετε, τότε δεν θα πρέπει να χρησιμοποιήσετε αυτήν την εντολή, επειδή θα οδηγήσει σε ένα κατεστραμμένο αρχείο που δεν θα μπορείτε να διαβάσετε.

Επίσης, αν ο διακομιστής δεν επιτρέπει συνεχείς λήψεις, τότε η Wget θα αρνηθεί να ξεκινήσει τη λήψη από την αρχή. Εάν θέλετε να ξεκινήσετε τη λήψη από την αρχή, θα πρέπει πρώτα να διαγράψετε το αρχείο που έχετε κατεβάσει εν μέρει από το σύστημά σας .

Υπάρχουν κάποιες περισσότερες προϋποθέσεις για να χρησιμοποιήσετε αυτό το επιχείρημα και μπορείτε να διαβάσετε περισσότερα σχετικά με αυτό στη σελίδα man του Wget.

6. Περιορίστε την ταχύτητα λήψης

Αν χρησιμοποιείτε το Wget για να κατεβάσετε αρχεία και περιηγηθείτε στο διαδίκτυο παράλληλα με αυτό, πιθανότατα δεν θα θέλετε να εξαντληθεί όλο το εύρος ζώνης σας από την Wget. Ευτυχώς, το Wget περιλαμβάνει ένα επιχείρημα που μπορείτε να χρησιμοποιήσετε για να περιορίσετε το εύρος ζώνης που μπορεί να χρησιμοποιήσει η Wget για τη λήψη αρχείων στο σύστημά σας:

 wget --limit-rate = 

Σημείωση : Λάβετε υπόψη ότι η ταχύτητα αναφέρεται σε Bytes, και όχι σε Bits. Επομένως, αν χρησιμοποιήσετε Wget-limit-rate = 20k, θα περιορίσει τη χρήση εύρους ζώνης σε 20 kB και όχι 20 kb.

7. Χρησιμοποιήστε το Wget για να κάνετε λήψη αρχείων από διακομιστές FTP

Αν χρειαστεί να κατεβάσετε ένα αρχείο από ένα διακομιστή FTP, μπορείτε να το κάνετε και με το Wget. Απλά χρησιμοποιήστε την ακόλουθη εντολή για να κάνετε λήψη αρχείων από διακομιστές FTP:

 wget 

• Λήψη αρχείων από διακομιστές FTP με σύνδεση

Αν ο διακομιστής FTP σας απαιτεί σύνδεση για να επιτρέψετε τη λήψη αρχείων, μπορείτε απλά να περάσετε τα διαπιστευτήρια με το Wget. Απλά χρησιμοποιήστε την ακόλουθη εντολή:

 wget --ftp-username = USERNAME - ftp-password = ΚΩΔΙΚΟΣ 

Χρησιμοποιήστε εύκολα το Wget για να κάνετε λήψη αρχείων από το Internet

Μπορείτε να χρησιμοποιήσετε το Wget για να κατεβάσετε αρχεία από οπουδήποτε στο διαδίκτυο. Ωστόσο, ενώ ο Wget λειτουργεί σχεδόν πάντα, υπάρχουν ορισμένοι διακομιστές που εμποδίζουν την πρόσβαση στο Wget, οπότε μπορείτε να δοκιμάσετε να αλλάξετε το -user-agent για την εντολή Wget. Ωστόσο, αυτό δεν αποτελεί συνιστώμενη πορεία δράσης, εκτός αν ξέρετε απόλυτα τι κάνετε. Ως επί το πλείστον, η Wget θα σας αφήσει να κατεβάσετε οποιοδήποτε αρχείο από το Διαδίκτυο, εφόσον έχετε πρόσβαση σε αυτό, και τη διεύθυνση URL του.

Έτσι, έχετε χρησιμοποιήσει ποτέ Wget για να κατεβάσετε αρχεία από το διαδίκτυο; Ενημερώστε μας για την εμπειρία σας με τη χρήση του Wget για λήψη αρχείων, μέσω των πρωτοκόλλων HTTP, HTTPS και FTP. Επίσης, εάν γνωρίζετε κάποιες άλλες χρήσεις του Wget που νομίζετε ότι αξίζετε να βρίσκεστε σε αυτή τη λίστα, ενημερώστε μας σχετικά με αυτές στην παρακάτω ενότητα σχολίων.