ヘッダー情報を丸ごと指定してwgetで取得
wgetでよく指定するオプション
認証情報やユーザー情報を指定するにはだいたい以下の2つのオプションを指定する。
ログインユーザー、パスワードを指定する
--http-user=USER set http user to USER. --http-password=PASS set http password to PASS.
cookieのファイルを指定する
--load-cookies=FILE load cookies from FILE before session.
ヘッダー情報を丸ごと指定する場合
上記のやり方でだいたいはうまくいくと思うけど、たまにダメなときがある。
そんな場合は、ヘッダー情報を丸ごと指定すると上手くいくかもしれない。
2.プロトコル解析
HttpFox、Wireshark、Microsoft Network Monitorなどを使って プロトコル情報を解析する
ここはもっと楽に見る方法があるかも。
3. header情報を丸ごと全部指定
ヘッダー情報-header オプションでを丸ごと全部指定する
wget --header="User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 GTB7.1 ( .NET CLR 3.5.30729)" --header="Accept: text/javascript, text/html, application/xml, text/xml, */*" --header="Accept-Language: ja,en-us;q=0.7,en;q=0.3" --header="Accept-Encoding: gzip,deflate" --header="Accept-Charset: Shift_JIS^,utf-8;q=0.7^,*;q=0.7" --header="Keep-Alive: 115" --header="Connection: keep-alive" --header="X-Requested-With: XMLHttpRequest" --header="X-Prototype-Version: 1.5.0_pre0" --header="Content-Type: application/x-www-form-urlencoded; charset=UTF-8" --header="Referer: http://XXXXXXXX.ne.jp/11111111111111111111111 --header="Content-Length: 0" --header="Cookie: b=AAAAAAAA; __utma=BBBBBBBB; __utmz=CCCCCCCC; __utma=DDDDDDDD; __utmz=EEEEEEEE; __utmb=FFFFFFFF; __utmc=GGGGGGGG; __utmb=HHHHHHHH; __utmc=IIIIIIII" --header="Pragma: no-cache" --header="Cache-Control: no-cache" http://XXXXXXXX.ne.jp/11111111111111111111111