wgetのお話


システム技術グループ Y.S

普段使っているけど実はもっと便利に使えるんだぞ、ってこと、よくあると思います。今日はそんなwgetのお話。

今までファイルとか取ってくるくらいにしか使ってませんでしたが、オプションを駆使することでめちゃくちゃ便利なクローラーになるんですね・・・。この記事見て初めて知りました。

wgetが超絶便利なwebクローラー、クローリングツールだとは知らなかった・・・!(外部リンク)
http://girigiribauer.com/archives/925/

■特にすごいと思ったオプション

–recursive, -r

再帰的にリンクをたどる。がさっとサイト全体持ってきたいときとか。すごい。

–convert-links, -k

ローカルでファイル直接叩いてもリンクが死なないように相対パスに置き換えてくれるみたいです。すごい・・・。

–random-wait

ファイルを連続で持ってくるため、通信がかなり発生します。その通信をアタックだと思われないようにするため、数回の通信ごとに待ち時間を発生させてくれるという・・・。そんなことまで気にしてくれるんですね・・・。すごい・・・。

※よく知っているつもりのコマンドでも実はよくわかってないということが身にしみてわかりました・・・。とりあえず man hogehoge してマニュアル見ろってことっすかね・・・・。