2011-02-10

ヘッダー情報を丸ごと指定してwgetで取得

command

wgetでよく指定するオプション

認証情報やユーザー情報を指定するにはだいたい以下の2つのオプションを指定する。

ログインユーザー、パスワードを指定する

  --http-user=USER        set http user to USER.
  --http-password=PASS    set http password to PASS.

cookieのファイルを指定する

  --load-cookies=FILE     load cookies from FILE before session.

wgetでcookieを使用する --load-cookies-sqliteオプションだと！？

ヘッダー情報を丸ごと指定する場合

上記のやり方でだいたいはうまくいくと思うけど、たまにダメなときがある。
そんな場合は、ヘッダー情報を丸ごと指定すると上手くいくかもしれない。

1.ping ホスト名でIPアドレスを確認する

2.プロトコル解析

HttpFox、Wireshark、Microsoft Network Monitorなどを使ってプロトコル情報を解析する
ここはもっと楽に見る方法があるかも。

3. header情報を丸ごと全部指定

ヘッダー情報-header オプションでを丸ごと全部指定する

wget
--header="User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 GTB7.1 ( .NET CLR 3.5.30729)"
--header="Accept: text/javascript, text/html, application/xml, text/xml, */*"
--header="Accept-Language: ja,en-us;q=0.7,en;q=0.3"
--header="Accept-Encoding: gzip,deflate"
--header="Accept-Charset: Shift_JIS^,utf-8;q=0.7^,*;q=0.7"
--header="Keep-Alive: 115"
--header="Connection: keep-alive"
--header="X-Requested-With: XMLHttpRequest"
--header="X-Prototype-Version: 1.5.0_pre0"
--header="Content-Type: application/x-www-form-urlencoded; charset=UTF-8"
--header="Referer: http://XXXXXXXX.ne.jp/11111111111111111111111
--header="Content-Length: 0"
--header="Cookie: b=AAAAAAAA; __utma=BBBBBBBB; __utmz=CCCCCCCC; __utma=DDDDDDDD; __utmz=EEEEEEEE; __utmb=FFFFFFFF; __utmc=GGGGGGGG; __utmb=HHHHHHHH; __utmc=IIIIIIII"
--header="Pragma: no-cache"
--header="Cache-Control: no-cache" http://XXXXXXXX.ne.jp/11111111111111111111111

気になるモノ

BEST SOFTWARE WRITING

Joel Spolsky、青木靖

価格: ￥ 3,129
価格は記載時点のものです。購入前にAmazonでご確認ください。

Amazon.co.jp で詳細を見る

2011-02-09

wgetでcookieを使用する --load-cookies-sqliteオプションだと！？

command

wgetでcookieを使用するには、以下のオプションを使用する。

 --load-cookies=FILE     load cookies from FILE before session.

Firefox 3.X の場合は、SQLiteのDBでの管理になってるのではそのままでは使用できない。
SQLiteから情報を抜き出して、テキスト形式に擦る必要がある。

Firefoxのオプションで確認して、自力で書きだす

「ツール」 > 「オプション」
「プライバシー」タブの「Cookieを個別に削除」をクリックして、Cookieの管理画面を出す

Cookeieの名前と内容ををテキストファイルに書き出す。

Firefoxのアドオンで抽出する

Export Cookies

SQLiteコマンドで抽出する

sqlite3 -separator ' ' cookies.sqlite 'select * from moz_cookies' > cookies.txt

気になるモノ

情報検索アルゴリズム

北研二、津田和彦、獅々堀正幹

価格: ￥ 3,570
価格は記載時点のものです。購入前にAmazonでご確認ください。

Amazon.co.jp で詳細を見る

2011-02-03

【お題】環境変数からファイル名や拡張子を自由に取り出す方法

DOSbatch Command Windows

バッチファイルでファイルパスからファイル名や拡張子を自由に取り出す方法

ふか 2011/02/02 13:21
これって引数ではない普通の環境変数ではできませんか？

お題もらいました。
バッチファイル、コマンドプロンプトで環境変数を展開したいとな。

「%~修飾子引数」だから、素直にやろうとすると、ドライブ文字だけに展開するならこうだよな。

c:\>echo %~dWINDIR%
%~dWINDIR%

c:\>echo %~d%WINDIR%
%~dC:\WINDOWS

両方だめだ。

あれこれ順番を入れ替えてみる

c:\>echo %WINDIR~d%
%WINDIR~d%


c:\>echo %WINDIR%~d
C:\WINDOWS~d


c:\>echo %WINDIR%%~d
C:\WINDOWS%~d

全部ダメ

set /?に載ってる置換で試す

c:\>echo %WINDIR:~d%
%WINDIR:~d%


c:\>echo %WINDIR:~d%WINDIR%%
%WINDIR:~dC:\WINDOWS%


c:\>echo %WINDIR:~d%%
%WINDIR:~d%%

ダメやね。

(￣~￣;) ウーン
for文を使ったこの方法しか思いつかんな。

c:\>for /F %i IN  ('echo %WINDIR%') DO echo %~di

c:\>echo C:
C:

これなら、環境変数を引数にして渡したほうが楽かな。

スマートな方法をご存じの方教えてください。

バッチを吐き出すなんて方法もありか。

@set temp_cmd=%~dp0temp.cmd
@echo @set result=%%~d1 >"%temp_cmd%"
@call "%temp_cmd%" %WINDIR%
@del "%temp_cmd%"
@echo %result%

気になるモノ

誰のためのデザイン?―認知科学者のデザイン原論 (新曜社認知科学選書)

ドナルド・A. ノーマン、野島久雄、D.A. ノーマン

価格: ￥ 3,465
価格は記載時点のものです。購入前にAmazonでご確認ください。

Amazon.co.jp で詳細を見る

2011-01-31

シェルを指定できるタブ型コマンドプロンプトConsole + nyacusを試してみた

DOSbatch Command Windows

今、ckw + nyaousを使っている、5つぐらいckwを立ち上げるときもある。
そのときは、ckwもタブ型だったらなと思うことがある。
FirefoxもThunderbirdも秀丸など、だいぶ前からタブ型が主流で、それに慣れてしまったせいだろう。

Google RSSリーダーでよさそうなソフトが目に止まった。
ckw + nyaosからConsole2 + nyaosに乗り換え

http://sourceforge.net/projects/console/
タブ型コンソール。シェルは最近お気に入りのnayosを設定。
console.exeを起動して、Edit->SettingsでShellにnyaosのexeを指定する。
Cygwinはあんまり入れようと思わない。

シェルを指定できるタブ型コマンドプロンプト console。これは知らなかった。
Cygwinを入れないのは僕も同じ。
僕は、ckw + nyacusを使ってる。(nyacusではなくて、nyaousというのもあるのだろうか？)

追記
nyaousじゃなくて、NYAOSかな？
NYAOS.ORG
以下のように名前が統一されたようだ。

   2.x                                     3.x
NYADOS - DOS,Windows9x用       ----+
PNG NYACUS - Windows2000,XP用  ----+-----  NYAOS
NYAOS/2 - OS/2用               ----+

consoleを試してみる。
海外のソフトウェアだと日本語の表示、入力が気になるところ。

ダウンロード

http://sourceforge.net/projects/console/
Console-2.00b147-Beta_32bit.zip

まだ、ベータなのか。

インストール

Console-2.00b147-Beta_32bit.zipを解凍

cosole2\
- Console.exe
- ConsoleHook.dll
- FreeImage.dll
- FreeImagePlus.dll
- console.chm
- console.xml

インストーラはないのでく、そのままコピーすればよさそうだ。

起動

console.exeをダブルクリック

タブ作成

メニューから作成

ボタンから作成

右クリックから作成

タブが作成される

どの手段でも同じようにタブが作成される。

日本語を試す

細かい設定の前に、一番気になる日本語周りを試す

日本語ディレクトリ

日本語ディレクトリに移動、表示

cdで移動して、Enterを連続実行
文字化けはしないが、プロンプトの表示がおかしくなる。

日本語ファイル

日本語ファイルの表示

同じく文字化けはしないが、表示される位置がおかしい。

シェルの変更

nyacusに期待して、設定変更

1)Edit>settingsからConsole Settingsを開く

2)nyacus.exeをシェルに設定する

  Console 
     Shell:C:\usr\bin\nyacus.exe

日本語を試す

改めて、日本語ディレクトリ、日本語ファイルを試す。

日本語ファイル

ダメだ。
文字化けするわけではないので、全く使い物にならないわけではない。
かつclsで一旦クリアーすれば直る
だが、それを毎回するのは面倒だ。

残念ながら今回の採用については、見送らせて頂きたいと存じます。

やはり ckw + nyaousだな。

あと、GNU utilities for Win32もあれば、いいだろう。

こんな方法があったのか！ Windows用GNUコマンド群「GNU utilities for Win32」

気になるモノ

反復学習ソフト付き正規表現書き方ドリル (WEB+DB PRESS plus)

杉山貴章、木本裕紀

価格: ￥ 2,919
価格は記載時点のものです。購入前にAmazonでご確認ください。

Amazon.co.jp で詳細を見る

2011-01-27

バッチファイル/コマンドプロンプトで環境変数が設定されているかをチェックする方法

Windows Command DOSBatch

環境変数が設定されているかをチェックする方法
2パターンを紹介する。

IF文を使う

構文

IF DEFINED 変数 コマンド

DEFINED 条件は EXISTS と同様に動作しますが、環境変数名を受け取って、環境
変数が定義されている場合は真を返します。

環境変数が設定されてたら、コマンドを実行する

例

C:\>if DEFINED ENV echo OK

C:\>if DEFINED windir echo OK
OK

IF DEFINEDは、コマンド拡張機能に依存する。
デフォルト値では、コマンド拡張機能は有効だが
無効にすることもできる。
環境に依存しないでチェックするには以下のようにすればよい。

検索する方法

構文

set |findstr ^環境変数名= >nul 2>nul
if NOT {%ERRORLEVEL%} == {0} コマンド

環境変数が設定されてなかった、コマンドを実行する
「設定されていたら」の条件にしたい場合は、NOTを
削除すればいい。

例

C:\>set |findstr ^ENV= >nul 2>nul

C:\>if NOT {%ERRORLEVEL%} == {0} echo ENV not defined
ENV not defined

C:\>set |findstr ^windir= >nul 2>nul

C:\>if NOT {%ERRORLEVEL%} == {0} echo windir not defined

C:\>

気になるモノ

抗菌・アロマ・LED機能がついた、うるおい細霧ミスト加湿器【即納】アピックス(APIX) アロマ加...
価格：4,400円（税込、送料別）

2010-08-01

こんな方法があったのか！ Windows用GNUコマンド群「GNU utilities for Win32」

Windows command DOSbatch

MOONGIFTでWindows用のGNUのコマンド群が紹介されていた。
シンプルなWindows用Linuxコマンド集「Gow」

No Command, No Life.
でも僕はCygwinは好きではない。

Gowは知らなかったので、僕が使ってるのは、GNU utilities for Win32というもの。
zip形式での配布なので、インストーラもないので、PATHも設定しないし、Command Prompt Hereに
追加なんて気の利いたものもない。

コマンドはGNUのコマンドが揃えられるが、コマンドプロンプト自体が不便。
GNU utilities for Win32にはbin\sh.exeが入ってるが、文字化けしたりする。
なので、♪UnixのようでUnixでない DOSのようでDOSでないで
書いているckwとnyacusを使うのがオススメ。
（Command Prompt Hereなんてレジストリにちょろちょろっと書けばいいわけだし。）

ただ、Gowと違ってGNU utilities for Win32の方は更新が止まっててコマンドの
バージョンが古いかも。

GNU utilities for Win32の入ってるこコマンドは以下の119個

構成

    UnxUtils
      ├─bin
      └─usr
          └─local
              ├─include
              ├─lib
              ├─share
              └─wbin

    sh.exe

usr\local\wbin

    agrep.exe
    ansi2knr.exe
    basename.exe
    bc.exe
    bison.exe
    bunzip2.exe
    bzip2.exe
    bzip2recover.exe
    cat.exe
    chgrp.exe
    chmod.exe
    chown.exe
    cksum.exe
    cmp.exe
    comm.exe
    compress.exe
    cp.exe
    csplit.exe
    cut.exe
    date.exe
    dc.exe
    dd.exe
    df.exe
    diff.exe
    diff3.exe
    dircolors.exe
    dirname.exe
    du.exe
    echo.exe
    egrep.exe
    env.exe
    expand.exe
    expr.exe
    factor.exe
    fgrep.exe
    find.exe
    flex.exe
    fmt.exe
    fold.exe
    fsplit.exe
    gawk.exe
    gclip.exe
    gplay.exe
    grep.exe
    gsar.exe
    gunzip.exe
    gzip.exe
    head.exe
    id.exe
    indent.exe
    install.exe
    join.exe
    jwhois.exe
    less.exe
    lesskey.exe
    ln.exe
    logname.exe
    ls.exe
    m4.exe
    make.exe
    makedepend.exe
    makemsg.exe
    man.exe
    md5sum.exe
    mkdir.exe
    mkfifo.exe
    mknod.exe
    mv.exe
    mvdir.exe
    nl.exe
    od.exe
    paste.exe
    patch.exe
    pathchk.exe
    pclip.exe
    pr.exe
    printenv.exe
    printf.exe
    pwd.exe
    recode.exe
    rm.exe
    rman.exe
    rmdir.exe
    sdiff.exe
    sed.exe
    seq.exe
    shar.exe
    sleep.exe
    sort.exe
    split.exe
    stego.exe
    su.exe
    sum.exe
    sync.exe
    tac.exe
    tail.exe
    tar.exe
    tee.exe
    test.exe
    touch.exe
    tr.exe
    type.exe
    uname.exe
    unexpand.exe
    uniq.exe
    unrar.exe
    unshar.exe
    unzip.exe
    uudecode.exe
    uuencode.exe
    wc.exe
    wget.exe
    which.exe
    whoami.exe
    xargs.exe
    yes.exe
    zcat.exe
    zip.exe

Happy Command Life

Windowsのエラーメッセージの内容を通訳して"日本語で表示する"ツール(コマンド版)

Windows デバッグ Command C

『ErrMsg』はWindowsのエラーメッセージの内容を通訳してくれるツールというのがあったが、
同じようなコマンドを自作していた。日本語で表示できるし、入力は10進数でも16進数でもOKにしている。

ダウンロード先

http://bit.ly/ckaMqS

使い方

  err2msg エラー番号

実行例

[D:\workspace\C_SandBox\02Windows\err2msg]err2msg 2
ERROR:2
MESSAGE:指定されたファイルが見つかりません。

[D:\workspace\C_SandBox\02Windows\err2msg]err2msg 0x1779
ERROR:6009
MESSAGE:指定されたファイルは読み取り専用です。

[D:\workspace\C_SandBox\02Windows\err2msg]err2msg 0
ERROR:0
MESSAGE:この操作を正しく終了しました。

[D:\workspace\C_SandBox\02Windows\err2msg]err2msg 11111
ERROR:11111
MESSAGE:NULL

ソース

自分のためのコマンドなので手抜き。
err2msg.c

#include <stdlib.h>
#include <stdio.h>
#include <windows.h>

int main(int argc, char* argv[]){

    LPVOID lpMsgBuf = NULL;
    long error = 0;
    char buf[128] = {0};

    if(2 != argc ){
        printf("usage: %s ErrorNumber(GetLastError)\n", argv[0]);
        return (1);
    }
    error = atol(argv[1]);
    if( error == 0 ) {
        error = _strtoui64(argv[1], NULL, 16);
    } 
    FormatMessage(
            FORMAT_MESSAGE_ALLOCATE_BUFFER | 
            FORMAT_MESSAGE_FROM_SYSTEM | 
            FORMAT_MESSAGE_IGNORE_INSERTS,
            NULL,
            error,
            MAKELANGID(LANG_NEUTRAL, SUBLANG_DEFAULT),
            (LPTSTR) &lpMsgBuf,
            0,
            NULL);
    if(lpMsgBuf == NULL){
        lpMsgBuf = "NULL";
    }
    printf("ERROR:%d\nMESSAGE:%s", error, lpMsgBuf);
}

コンパイル方法

cl err2msg.c

wgetでよく指定するオプション

ログインユーザー、パスワードを指定する

cookieのファイルを指定する

ヘッダー情報を丸ごと指定する場合

1.ping ホスト名でIPアドレスを確認する

2.プロトコル解析

3. header情報を丸ごと全部指定

気になるモノ

Firefoxのオプションで確認して、自力で書きだす

Firefoxのアドオンで抽出する

SQLiteコマンドで抽出する

スクリプトで抽出する

気になるモノ

気になるモノ

ダウンロード

インストール

起動

タブ作成

メニューから作成

ボタンから作成

右クリックから作成

タブが作成される

日本語を試す

日本語ディレクトリ

日本語ファイル

シェルの変更

1)Edit>settingsからConsole Settingsを開く

2)nyacus.exeをシェルに設定する

日本語を試す

日本語ディレクトリ

日本語ファイル

気になるモノ

IF文を使う

構文

例

検索する方法

構文

例

気になるモノ

ダウンロード先

使い方

実行例

ソース

コンパイル方法