如何批量下载网站中的文件

为什么逐个下载文件效率很低

当页面包含一个文档或几个明显的图像时,手动保存是合理的. 当有用的文件与缩略图,图标相混合,重复链接,跟踪URL,响应图像变体,以及不相关的页面资产时,它变得缓慢.

一个批量的工作流程将查找文件与下载文件区分开来. 您先创建可审查列表, 然后决定最后批次中属于什么。 这样可以防止意外下载,使进程更容易被重复.

• 图片如 JPG, PNG, WebP, SVG, GIF, AVIF
• PDF、文件、电子表格、演示文稿、CSV文件和档案
• 浏览器接触到的直接视频和音频文件
• 页面中的其他公共文件链接或提供的 URL 列表

实用的分步操作流程

打开包含允许您收集的资产的确切页面。 运行 GrabAll, 等待扫描完成, 在开始任何下载前检查结果。

先使用文件类型过滤器,再使用大小和图像分辨率过滤器. 预览模棱两可的项目,删除微小的装饰性资产,并在下载前复制最终链接。

• 扫描当前页面
• 按文件类型、大小或图像尺寸过滤
• 预览并仅选择相关结果
• 下载选中的批次或在可用时使用 ZIP 导出

选择合适的扫描方式

目前的网页扫描最适合单一的画廊,产品页,资源页,或文档页. 当相同的研究任务跨越多页时, Open-tab 扫描是有用的. 被导入的 URL 扫描是为需要可重复的批量工作流程的已编制列表而设计的.

从最小的有用范围开始. 扫描次数减少,选择较好的页面会产生更清洁的结果集并减少重复文件.

文件未出现的常见原因

可见按钮并不总是指向直接文件。 一些站点在API请求后生成下载,需要经过认证的会话,或通过分块格式流媒体. 扫描工具可以组织浏览器可用的资源,但它不能制造一个页面从未提供的公有文件URL.

如果结果缺失,请确认当前浏览器会话中的文件负载,允许页面完成渲染,并扫描最具体的页面而不是宽的主页.

• 资产仅在交互后加载
• 链接为临时或需要认证
• 页面使用受保护的流或 Blob URL
• 可见的项目是 CSS 背景、缩略图或生成的预览

负责任地批量下载

大量下载可以节省时间,但不会改变版权,许可,隐私,或网站条款. 只下载允许您使用的文件,避免在网站上不必要的负载,并在需要时将署名或许可信息保留在研究资产中.

对于经常性的工作,创建一份涵盖源地址、收集日期、许可证状况、预期用途和目的文件夹的简短清单。 这使大批次在日后更容易审计.

常见问题