Быстрый ответ: Подготовьте URL-адреса страниц, которые вы хотите сканировать, импортируйте их в GrabAll Premium и запустите массовое сканирование. Просмотрите ссылки на файлы, найденные на этих страницах, отфильтруйте результаты и загрузите выбранные файлы. Предоставляемый список определяет, какие страницы сканируются.
Используйте список URL-адресов страниц для пакетного сканирования
URL-адрес страницы указывает на веб-страницу для сканирования; прямой URL-адрес файла указывает на сам файл. Подготовьте список страниц, содержащих необходимые вам ресурсы. GrabAll не обнаруживает каждую страницу домена автоматически, поэтому включайте соответствующие страницы явно.
Начните с чистого списка URL-адресов
Удалите пустые строки, дубликаты, фрагменты, параметры отслеживания и очевидные URL-адреса навигации. Сохраняйте один URL-адрес в строке и используйте полные адреса HTTPS, где это возможно.
Бесплатный список URL-адресов GrabAll Cleaner может выполнять дедупликацию и сортировку вставленных списков перед их использованием в более крупном рабочем процессе.
- Один полный URL-адрес в каждой строке
- Нет повторяющихся или нерелевантных страниц
- Согласованный протокол и формат домена
Разделение больших проектов на логические пакеты
Группируйте URL-адреса по веб-сайту, категории, клиенту, дате или типу актива. Пакет связанных страниц дает результаты, которые легче фильтровать и называть, чем один смешанный список из множества несвязанных источников.
Начните с небольшого образца, чтобы убедиться, что страницы предоставляют ожидаемые файлы. Масштабируйте пакет только после того, как образец даст полезные результаты.
- Протестируйте небольшую репрезентативную выборку
- Группируйте похожие URL-адреса
- Установите практичный размер пакета
- Записывайте неудачные или перенаправленные страницы отдельно
Обработка перенаправлений, сбоев и динамических страниц
Некоторые URL-адреса перенаправляются, требуют аутентификации, возвращают ошибки или загружают важный контент только после взаимодействия. Считайте их исключениями, а не повторно сканируйте весь список.
Если страница требует сеанса вручную или визуального подтверждения, переместите ее в рабочий процесс с открытой вкладкой. Импортированное сканирование наиболее эффективно при стабильных страницах с прямым доступом.
Просмотр файлов из многих источников
Объединенные результаты могут содержать общие логотипы, повторные загрузки, миниатюры и один и тот же документ, на который есть ссылки на нескольких страницах. Фильтрация по типу и размеру, а затем дедупликация по URL-адресу и видимым метаданным.
Сохраните копию входного списка и экспортированных ссылок перед загрузкой. Это создает повторяемую запись, если партию необходимо проверить позже.
Будьте внимательны при использовании автоматических пакетов
Большие сканирования создают запросы к веб-сайтам. Сохраняйте пакеты разумными, избегайте ненужного повторения и останавливайтесь, если сайт показывает ограничения скорости или просит вас использовать другой метод доступа.
Часто задаваемые вопросы
Как форматировать импортированный список URL-адресов?
Используйте по одному полному URL-адресу HTTP или HTTPS в каждой строке, удаляйте дубликаты и сохраняйте список сосредоточенным на страницах, относящихся к одной задаче.
Зачем сначала тестировать небольшой образец?
Пример подтверждает, что тип страницы предоставляет полезные файлы и помогает выбрать фильтры перед обработкой большого пакета.
Что мне делать со страницами, требующими взаимодействия?
Переместите их в рабочий процесс с открытой вкладкой, где вы можете загрузить и подтвердить содержимое вручную перед сканированием.
Обходит ли сканирование URL-адресов аутентификацию?
Нет. Он работает только со страницами и файлами, доступными через разрешенный рабочий процесс браузера.
GrabAll сканирует страницу и объединяет изображения, документы, мультимедиа и другие загружаемые файлы в один понятный список, чтобы вы могли точно выбрать, что сохранять.