shikata ga nai

Private? There is no such things.

Hakrawlerをつかってみた

Hello there, ('ω')ノ

 

Hakrawlerは、高速のWebクローラで。

スパイダリングのほか。

robots.txt、sitemap.xml、WaybackMachineを使用したエンドポイントを検出できて。

 

まずは、GO環境の確認を。

 go version

 sudo apt-get remove golang-go

 

f:id:ThisIsOne:20210614112837p:plain

 

アーカイブをダウンロードして。

 wget https://dl.google.com/go/go1.13.5.linux-amd64.tar.gz

 sudo tar -C /usr/local -xzf go1.13.5.linux-amd64.tar.gz

 

f:id:ThisIsOne:20210614112938p:plain

 

PATHの追加を。

 export PATH=$PATH:/usr/local/go/bin

 source .profile

 

f:id:ThisIsOne:20210614113052p:plain

 

ここからHakrawlerのダウンロードを開始して。

 go get github.com/hakluke/hakrawler

 

f:id:ThisIsOne:20210614113329p:plain

 

さっそく、つかってみることに。

 hakrawler -url testphp.vulnweb.com

 

f:id:ThisIsOne:20210614113432p:plain

 

階層の深さを指定すると正常に機能することが確認できて。

 hakrawler -url testphp.vulnweb.com -depth 3

 

f:id:ThisIsOne:20210614113705p:plain

 

他にも役に立つパラメータとして。

 -usewayback
  wayback machineにURLを照会して、それらをクローラのシードとして追加して。

 

  -wayback
  出力にwayback machineのエントリを含める

 

wayback machineとは、下記のサイトで。

 http://web.archive.org/

 

f:id:ThisIsOne:20210614121318p:plain

 

Best regards, (^^ゞ

ひとりひとりの自覚をもった行動で、医療従事者と保健所職員を助けよう。

f:id:ThisIsOne:20200404115457p:plain