Γρήγορη απάντηση: Για μια ζωντανή ιστοσελίδα, σαρώστε με το GrabAll και αντιγράψτε τους συνδέσμους αρχείων που εντοπίστηκαν. Για αποθηκευμένο HTML ή αντιγραμμένο πηγαίο κώδικα, επικολλήστε τον στο πρόγραμμα εξαγωγής URL μαζικού αρχείου. Παρέχετε μια βασική διεύθυνση URL όταν η πηγή περιέχει σχετικούς συνδέσμους.
Επιλογή μεταξύ της σάρωσης μιας σελίδας και της ανάλυσης επικολλημένου HTML
Η σάρωση μιας φορτωμένης ιστοσελίδας μπορεί να βρει αρχεία διαθέσιμα στο πρόγραμμα περιήγησης ή να διαβάσει τα αρχεία που είναι διαθέσιμα στο πρόγραμμα περιήγησης. Επιλέξτε τη μέθοδο που ταιριάζει με το σημείο εκκίνησης και, στη συνέχεια, ελέγξτε τις διευθύνσεις URL που προκύπτουν πριν τις χρησιμοποιήσετε για λήψεις.
Πού εμφανίζονται οι διευθύνσεις URL αρχείων σε HTML
Οι συνηθισμένοι σύνδεσμοι χρησιμοποιούν href, ενώ οι εικόνες και τα μέσα χρησιμοποιούν συνήθως src. Οι αποκριτικές εικόνες μπορούν να αναφέρουν πολλούς υποψηφίους στο srcset. Οι βιβλιοθήκες καθυστερημένης φόρτωσης συχνά αποθηκεύουν πραγματικές διευθύνσεις URL σε χαρακτηριστικά data-src, data-original ή προσαρμοσμένα δεδομένα.
Τα φύλλα στυλ και τα ενσωματωμένα CSS ενδέχεται να αναφέρονται σε φόντο μέσω της διεύθυνσης url(). Το μη επεξεργασμένο κείμενο μπορεί επίσης να περιέχει πλήρεις διευθύνσεις URL που δεν είναι συνδεδεμένες σε στοιχείο HTML.
- href links
- src και χαρακτηριστικά αφίσας<
- srcset και data-srcset υποψήφιοι
- τιμές url() CSS και ακατέργαστες απόλυτες διευθύνσεις URL
Επίλυση σχετικών διαδρομών σωστά<
Μια τιμή όπως ../files/report.pdf έχει νόημα μόνο σε σχέση με τη σελίδα από την οποία προήλθε το HTML. Παρέχετε το αρχικό URL της σελίδας ως βάση, ώστε ο εξαγωγέας να μπορεί να μετατρέψει τις σχετικές διαδρομές σε πλήρεις διευθύνσεις.
Οι σύνδεσμοι σχετικοί με το πρωτόκολλο που ξεκινούν με // συνήθως κληρονομούν το HTTPS σε μια ασφαλή σελίδα. Διαδρομές σχετικές με τη ρίζα που ξεκινούν με / χρησιμοποιούν την τρέχουσα προέλευση του ιστότοπου.
- Διατηρήστε τη διεύθυνση URL της αρχικής σελίδας πηγής<
- Χρησιμοποιήστε το ως τη βασική διεύθυνση URL
- Κανονοποίηση διαδρομών σχετικών με πρωτόκολλο και ρίζας
- Ελέγξτε τους επιλυμένους τομείς πριν χρησιμοποιήσετε τη λίστα
Φιλτράρετε τις υποψήφιες διευθύνσεις URL κατά πρόθεση
Δεν είναι κάθε URL στον πηγαίο κώδικα στοιχείο με δυνατότητα λήψης. Οι σελίδες περιέχουν συνδέσμους πλοήγησης, API, αναλυτικά στοιχεία, γραμματοσειρές, σενάρια, φύλλα στυλ και παραμέτρους παρακολούθησης. Φιλτράρετε κατά σχετικές επεκτάσεις και επιθεωρήστε διφορούμενες διευθύνσεις URL.
Για τις εικόνες, συμπεριλάβετε σύγχρονες μορφές όπως WebP και AVIF. Για έγγραφα, λάβετε υπόψη τα PDF, DOCX, XLSX, CSV, PPTX και αρχεία ανάλογα με την εργασία.
Πηγή HTML έναντι της σελίδας απόδοσης
Η αντιγραμμένη πηγή αντιπροσωπεύει μόνο αυτό που παρείχατε. Ενδέχεται να χάσει πόρους που έχουν εισαχθεί μετά την εκτέλεση του JavaScript, περιεχόμενο που φορτώνεται μετά την κύλιση ή διευθύνσεις URL που δημιουργούνται κατά την αλληλεπίδραση.
Χρησιμοποιήστε τον εξαγωγέα εκτός σύνδεσης για αποσπάσματα πηγής, εξαγόμενο HTML, πρότυπα ηλεκτρονικού ταχυδρομείου και έλεγχο κώδικα. Χρησιμοποιήστε την επέκταση GrabAll για τη ζωντανή απόδοση της σελίδας και τις ροές εργασίας περιβάλλοντος προγράμματος περιήγησης.
Επικύρωση πριν από τη λήψη
Καταργήστε την αντιγραφή της λίστας, επιθεωρήστε τομείς και δοκιμάστε ένα μικρό δείγμα. Μια αντίστοιχη επέκταση σε μια διεύθυνση URL δεν εγγυάται ότι η απάντηση είναι έγκυρη ή ότι είστε εξουσιοδοτημένοι να τη χρησιμοποιήσετε.
Αποφύγετε να ζητάτε αυτόματα μεγάλες λίστες που δεν έχουν ελεγχθεί. Η επικύρωση αποτρέπει τους κατεστραμμένους συνδέσμους, τα ανεπιθύμητα τελικά σημεία παρακολούθησης και την περιττή φόρτωση.
Συχνές ερωτήσεις
Μπορεί το πρόγραμμα εξαγωγής να επιλύσει ../ σχετικούς συνδέσμους;
Ναι, όταν παρέχετε την αρχική διεύθυνση URL της σελίδας ως βασική διεύθυνση.
Η εξαγωγή HTML περιλαμβάνει εικόνες srcset;
Το εργαλείο GrabAll ελέγχει κοινά χαρακτηριστικά πηγής και αποκριτικής εικόνας, συμπεριλαμβανομένων των υποψηφίων srcset.
Γιατί λείπουν ορισμένα αρχεία ζωντανής σελίδας από το αντιγραμμένο HTML;
Η JavaScript μπορεί να τα προσθέσει μετά την αρχική φόρτωση HTML. Χρησιμοποιήστε τη ζωντανή επέκταση προγράμματος περιήγησης για περιεχόμενο σελίδας που αποδίδεται και φορτώνεται δυναμικά.
Είναι ασφαλείς για λήψη όλες οι εξαγόμενες διευθύνσεις URL;
Όχι. Ελέγξτε τους τομείς, τους τύπους αρχείων, τις άδειες και ένα μικρό δείγμα πριν χρησιμοποιήσετε μια λίστα αποτελεσμάτων.
Το GrabAll σαρώνει τη σελίδα και φέρνει εικόνες, έγγραφα, πολυμέσα και άλλα αρχεία με δυνατότητα λήψης σε μια καθαρή λίστα, ώστε να μπορείτε να επιλέξετε ακριβώς τι θα αποθηκεύσετε.