Web改ざんチェックサービスにて実行されるクローラーの仕様を教えてください

回答

以下のような仕様になります

クローリングするページ

Web改ざんチェックサービスにて実行されるクローラーは、以下のリンクをたどり、解析対象のデータを取得します。

※<a>タグ内のリンクがHTMLやJavaスクリプトでは無い場合にはクロールしません。

※リンク先ページがパラメータ付き（?で値が後ろに付いている）で、?より前の部分が現在のページと同一の場合は除外されます。 （ただし、“?” がドメインの直下にある場合は例外で解析の対象となります。）

ドメイン指定について

クローラーは、指定されているドメインをクローリング対象とします。
ドメイン名は後方一致で確認します。
抽出した URL のドメインの後方に、指定されたドメインが含まれていれば該当ドメインであると判断します。
ディレクトリは前方一致で確認します。