HTMLからファイルリンクを抽出する方法

URL ファイルが HTML に表示される場所

通常のリンクは href を使用します。, 画像とメディアは一般的に src を使用します。. 応答画像は、srcset で複数の候補をリストできます。Lazy-loading ライブラリは、多くの場合、実際の URL を data-src、data-original、またはカスタムデータ属性に保存します。

スタイルシートとインライン CSS は、url() で背景を参照することができます。テキストは、HTML要素に添付されていない完全なURLも含まれていることもできます。

• href リンク
• src およびポスター属性
• srcsetとdata-srcset候補
• CSS url() 値と生の絶対 URL

相対パスを正しく解決する

.../files/report.pdf などの値は、HTML が来たページに対してのみ意味があります。元のページ URL をベースとして供給するので、抽出器は完全なアドレスに相対パスを回すことができます。

プロトコルに依存するリンクは、通常、安全なページで HTTPS を継承します。ルート相対パスは、現在のウェブサイトの原点で始まります。

• 元のソースページ URL を保って下さい
• ベースURLとして使用
• プロトコル相対パスとroot相対パスを正規化
• リストを使用する前に解決されたドメインを確認する

フィルター候補 URL 意図的に

ソースコード内のURLはダウンロード可能な資産ではありません。ページには、ナビゲーションリンク、API、分析、フォント、スクリプト、スタイルシート、および追跡パラメータが含まれています。関連する拡張子でフィルタリングし、曖昧なURLを検査します。

画像には、WebPやAVIFなどの近代的な形式が含まれています。ドキュメントについては、PDF、DOCX、XLSX、CSV、PPTX、およびタスクに応じてアーカイブを検討してください。

HTMLソースと表示後のページの違い

Copiedのソースは、あなたが供給したものだけを表します。JavaScript の実行後に入力されたリソース、スクロール後に読み込まれたコンテンツ、または、インタラクション中に作成した URL を見逃す可能性があります。

ソーススニペット用のオフライン抽出器を使用して、HTML、メールテンプレート、コードレビューをエクスポートします。GrabAll拡張機能を使用して、ライブレンダーされたページとブラウザコンテキストワークフローを使用します。

ダウンロード前に検証

リストを解読し、ドメインを調べ、小さなサンプルをテストします。URLのマッチング拡張機能は、応答が有効であるか、またはそれを使用する許可されていることを保証するものではありません。

大規模なレビューされていないリストを自動的に要求しないでください。バリデーションは、壊れたリンク、不要なトラッキングエンドポイント、不要なロードを防ぎます。

よくある質問