Hello there, ('ω')ノ
Hakrawlerは、高速のWebクローラで。
スパイダリングのほか。
robots.txt、sitemap.xml、WaybackMachineを使用したエンドポイントを検出できて。
まずは、GO環境の確認を。
go version
sudo apt-get remove golang-go
アーカイブをダウンロードして。
wget https://dl.google.com/go/go1.13.5.linux-amd64.tar.gz
sudo tar -C /usr/local -xzf go1.13.5.linux-amd64.tar.gz
PATHの追加を。
export PATH=$PATH:/usr/local/go/bin
source .profile
ここからHakrawlerのダウンロードを開始して。
go get github.com/hakluke/hakrawler
さっそく、つかってみることに。
hakrawler -url testphp.vulnweb.com
階層の深さを指定すると正常に機能することが確認できて。
hakrawler -url testphp.vulnweb.com -depth 3
他にも役に立つパラメータとして。
-usewayback
wayback machineにURLを照会して、それらをクローラのシードとして追加して。
-wayback
出力にwayback machineのエントリを含める
wayback machineとは、下記のサイトで。
Best regards, (^^ゞ
