Greitas atsakymas: Paruoškite puslapio URL, kuriuos norite nuskaityti, importuokite juos į GrabAll Premium ir vykdykite Masinį Nuskaitymą. Peržiūrėkite failų nuorodas, rastas šiuose puslapiuose, filtruokite rezultatus ir atsisiųskite pasirinkimą. Pateikta sąrašas kontroliuoja, kurie puslapiai bus nuskaityti.
Naudokite puslapių URL sąrašą masiniam skenavimui
Puslapio URL nurodo tinklalapį skenavimui; tiesioginis failo URL nurodo patį failą. Paruoškite savo sąrašą aplink puslapius, kuriuose yra jums reikalingi šaltiniai. GrabAll automatiškai neatranda kiekvieno domeno puslapio, todėl įtraukite svarbius puslapius aiškiai.
Pradėkite nuo švaraus URL sąrašo
Pašalinkite tuščias eilutes, dublikatus, fragmentus, sekimo parametrus ir akivaizdžius navigacijos URL. Laikykite po vieną URL eilutėje ir kiek įmanoma naudokite pilnus HTTPS adresus.
GrabAll nemokamas URL sąrašų valytuvas gali pašalinti pasikartojimus ir rūšiuoti įklijuotus sąrašus prieš juos naudojant didesnėje darbo eigoje.
- Vienas pilnas URL eilutėje
- Nėra pasikartojančių ar nesusijusių puslapių
- Nuoseklus protokolas ir domeno formatas
Didelius projektus padalinti į logines partijas
Grupuoti URL pagal svetainę, kategoriją, klientą, datą arba turinio tipą. Susijusių puslapių rinkinys suteikia lengviau filtruojamus ir pavadinamus rezultatus nei vienas mišrus sąrašas iš daugelio nesusijusių šaltinių.
Pradėkite nuo nedidelio pavyzdžio, kad patvirtintumėte, jog puslapiai turi numatytus failus. Plėskite partiją tik tada, kai pavyzdys duoda naudingų rezultatų.
- Išbandykite nedidelę reprezentatyvią imtį
- Grupuoti panašius URL
- Nustatykite praktišką partijos dydį
- Nepavykusius arba peradresuotus puslapius registruokite atskirai
Tvarkyti peradresavimus, klaidas ir dinamiškus puslapius
Kai kurie URL nukreipia, reikalauja autentifikacijos, grąžina klaidas arba įkelia svarbų turinį tik po sąveikos. Traktuokite juos kaip išimtis, o ne nuolat skenuokite visą sąrašą.
Jeigu puslapiui reikia rankinės sesijos arba vizualinio patvirtinimo, perkėlį jį į atvirų skirtukų darbo srautą. Importuotas skanavimas yra efektyviausias naudojant stabilias, tiesiogiai pasiekiamas svetaines.
Peržiūrėti failus iš daugelio šaltinių
Sujungti rezultatai gali apimti bendrus logotipus, pakartotinius atsisiuntimus, miniatiūras ir tą patį dokumentą, susietą iš kelių puslapių. Filtruokite pagal tipą ir dydį, tada dedubliuokite pagal URL ir matomus metaduomenis.
Išsaugokite įvesties sąrašo ir eksportuotų nuorodų kopiją prieš atsisiunčiant. Tai sukuria pakartotiną įrašą, jei vėliau reikia patikrinti partiją.
Būkite atsargūs su automatizuotomis partijomis
Didelės skenavimo užklausos siunčia užklausas svetainėms. Laikykite partijas pagrįstas, venkite nereikalingo pasikartojimo ir sustokite, jei svetainė rodo dažnio apribojimus arba prašo naudoti kitą prieigos metodą.
Dažniausiai užduodami klausimai
Kaip turėčiau formatuoti importuotą URL sąrašą?
Naudokite vieną pilną HTTP arba HTTPS URL eilutėje, pašalinkite pasikartojimus ir palaikykite sąrašą susitelkusį į puslapius, susijusius su viena užduotimi.
Kodėl verta pirmiausia išbandyti mažą pavyzdį?
Pavyzdys patvirtina, kad puslapio tipas atskleidžia naudingus failus ir padeda pasirinkti filtrus prieš tvarkant didesnę partiją.
Ką turėčiau daryti su puslapiais, kuriems reikalinga sąveika?
Perkelkite juos į atviro skirtuko darbo eigą, kur galite rankiniu būdu įkelti ir patvirtinti turinį prieš skenavimą.
Ar URL skenavimas apeina autentifikaciją?
Ne. Jis veikia tik su puslapiais ir failais, prieinamais per leidžiamą naršyklės darbo eigą.
GrabAll nuskenuoja puslapį ir sujungia vaizdus, dokumentus, mediją ir kitus atsisiunčiamus failus į vieną aiškią sąrašą, kad galėtumėte tiksliai pasirinkti, ką išsaugoti.