カテゴリー「プログラミング」の記事

シェルスクリプト:「.svn」ディレクトリを一括削除する

【概要】
Subversionでリビジョン管理した場合,管理下の各ディレクトリに「.svn」ディレクトリが作られます。
今回は,この「.svn」ディレクトリを一括削除するシェルスクリプトを書いてみます。
このスクリプトの用途としては,ソースコードがSubversionの管理下にあるサーブレットを本番環境にデプロイしたときに,一緒に本番環境にデプロイされてしまう「.svn」ディレクトリを後から削除するのに使えるかと思います。

【仕様】
このスクリプトの使用方法を以下のように定めます。
1)スクリプトの引数に指定したディレクトリ以下の「.svn」ディレクトリを探して,これを削除する。
2)スクリプトを引数なしで実行した場合,ディレクトリ指定はカレントディレクトリが指定されたものとする。
3)引数がディレクトリでなければ,エラーを出力して終了する。

【実装】
このスクリプトの実装は下記になります。下記スクリプトの後に,このスクリプトの詳細について解説しています。

#!/bin/bash

ARGUMENT=$1

if [ -z $ARGUMENT ] ; then
  ARGUMENT=$PWD
fi
echo "rmsvn Path: $ARGUMENT"

if [ ! -d $ARGUMENT ] ; then
  echo "rmsvn ERROR: not a directory."
  exit 1
fi

FILES=(`find $ARGUMENT -name .svn -print`)
COUNT=${#FILES[*]}

if [ $COUNT -gt 0 ]; then
  for i in `seq $COUNT`
  do
    SVNPATH=${FILES[$i-1]}

    sudo rm -rfv $SVNPATH
  done
fi

※上記コードでは,整形のため空白部分は全角スペースを使用しています。

【解説】
上記スクリプトの各部分について解説します。

ARGUMENT=$1
if [ -z $ARGUMENT ] ; then
  ARGUMENT=$PWD
fi
$1がスクリプトの引数で,これを変数ARGUMENTに代入して,以降はARGUMENTを引数として扱っています。
次のif文では,ARGUMENTが空かどうかを判定して,空であれば環境変数$PWDをARGUMENTとしています。
環境変数$PWDはカレントディレクトリのパスが設定されています。

if [ ! -d $ARGUMENT ] ; then
  echo "rmsvn ERROR: not a directory."
  exit 1
fi
このif文ではARGUMENTがディレクトリか判定して,そうでなければスクリプトを終了しています。
注)ここで条件を「-f」とすると,存在しない名前が指定されたときにエラーになりません。

FILES=(`find $ARGUMENT -name .svn -print`)
COUNT=${#FILES[*]}
コマンドをバッククオート「`」で囲むと,囲んだターミナルコマンドが実行されて,コマンドが出力した標準出力が結果になります。
これをカッコで括ることで,コマンドの結果を配列にすることができます。
ここではfindコマンドを実行して,結果を配列にして変数FILESにセットしています。
また,配列FILESの要素数をCOUNTにセットしています。

if [ $COUNT -gt 0 ]; then
 …
fi
このif文は,要素数が0以上か(削除する要素が存在するかどうか)チェックしています。

for i in `seq $COUNT`
do
  SVNPATH=${FILES[$i-1]}
 …
done
FILESから要素を1つづつ取り出して変数SVNPATHへ代入しています。
ここで,「seq」は1から引数の数値までカウントアップするコマンドですが,BSD系UNIX(Mac OS Xなど)にはこのコマンドがないため,代わりに「jot」コマンドを使います。
for i in `jot $COUNT`
do
  SVNPATH=${FILES[$i-1]}
 …
done
BSD(Mac OS X)では上記のようなコードになります。

sudo rm -rfv $SVNPATH
取り出した要素を削除します。

【著作権表記】上記コードを含む本ブログのプログラムコードは,私的利用可,商用利用可,改変しての利用可です。利用の際に作者に許諾を得る必要はありません。

■関連書籍をAmazonで検索:[シェルスクリプト]
プロフェショナル・シェルプログラミング (アスキー書籍) Kindle版

にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。


ボーズ・オンラインストア

| | トラックバック (0)

JavaScript:excanvasを使ってWebページに画像を表示する

【概要】
JavaScriptでWeb上にグラフィックを描く技術に「Canvas」があります。
Canvasは現在IE9,FireFox,Google Chrome,Safariなどで実装されていますが,IEは8以前では実装されていません。
IEの8以前でCanvasの機能を使うために,Googleから「excanvas」というライブラリが公開されています。
今回のエントリでは,excanvasを使って画像データを表示させたときに嵌ったところを紹介します。

●excanvasの参照
嵌ったところではありませんが,excanvasはjavascriptで書かれた外部ファイルなので,HTMLのheader内で参照する必要があります。
このとき,ネットで見つかるサンプルの多くは以下のようなコードになっています。

<!--[if IE]>
<script type="text/javascript" src="js/excanvas.min.js"></script>
<![endif]-->

しかしながら,canvasはIE9で実装されているので,IE9ではexcanvasは不要です。
なので次のように書くべきかと思います。

<!--[if lt IE 9]>
<script type="text/javascript" src="js/excanvas.min.js"></script>
<![endif]-->

●画像の読み込み
画像データはImageクラスで読み込んで,読み込みが完了してから描画を行います。
この処理でよく見かけるサンプルコードは以下のようなものです。

var image = new Image();
image.src = 'path/filename.jpeg';
image.onload = function () {
  // 画像描画処理.
};

このコードは,画像ファイルを読み込んで,読み込みが完了したらonloadの中の画像描画処理が実行される,という動作を意図したものです。Canvasの画像描画は事前に画像データの読み込みが完了していなければならないので,このような処理になります。
このコードはブラウザによってはうまく動作しますが,Imageクラスの使用方法としては誤りのようです。少なくともIE8ではonloadは呼ばれませんでした。
誤っている点ですが,Imageクラスではsrcにパスを指定するより前にonloadを設定しなければならないようです。正しいコードは以下になります。

var image = new Image();
image.onload = function () {
  // 画像描画処理.
};
image.src = 'path/filename.jpeg';

●同一イメージファイルを何度も読み込む場合
IE8以前でImageクラスを使った場合,一度画像データを読み込んでキャッシュされた状態で同じ画像ファイルを読み込もうとすると,onloadの処理が呼ばれず画像描画処理が実行されない問題があるようです。
この問題の対処方法としてよく見かけるのは,ファイルパスの最後に「?+ランダムな値」を付加して同一のファイルを毎度異なるファイル名で読み込む方法です。
他の方法では,試してはいませんが,jQueryのempty()関数はキャッシュも削除するようなので,これで対処できる可能性があります。

●canvasエレメントをcreateElementで作った場合の問題
canvasエレメントをdocument.createElementで生成した場合,excanvasの環境ではcanvasエレメントとして初期化されず,canvasエレメントにあるはずのgetContext関数が存在しない状態になってしまいます。このような場合はexcanvasの初期化関数を使って明示的に初期化する必要があります。canvasタグをHTMLファイルに直接書いた場合は,初期化コードが自動的に実行されるので問題は起きません。

var canvas = document.createElement('canvas');
if (typeof G_vmlCanvasManager !== 'undefined') {
  canvas = G_vmlCanvasManager.initElement(canvas);
}

なお,G_vmlCanvasManager.initElementは引数のcanvasエレメントが初期化済みかチェックするので,すでに初期化されたエレメントを渡しても問題ありません。また,G_vmlCanvasManagerはexcanvas固有のクラスなので,Canvasが実装されていてexcanvasを使用しない環境でこのコードを実行しても,G_vmlCanvasManagerの存在確認をすれば問題ありません。

Imageクラスの問題とcanvasエレメントの問題に対処したコードは以下のようになります(一部jQueryを使っています)。

var parent = document.getElementById('parentElementId');
$(parent).empty();

var image = new Image();
image.onload = function () {
  var canvas = document.createElement('canvas');
  $(parent).append($(canvas).attr('id','canvasElementId'));

  if (typeof G_vmlCanvasManager !== 'undefined') {
    canvas = G_vmlCanvasManager.initElement(canvas);
  }
  if (canvas.getContext) {
    var context = canvas.getContext('2d');
    context.drawImage(this, 0, 0, this.width, this.height);
  }
};
image.src = 'path/filename.jpeg';
※ image.onload=function() {...}内ではimageインスタンスは「this」で参照できます。

■参考URL
Googleのexcanvas配布元:http://excanvas.sourceforge.net/
HTML5.jpのCanvasドキュメント:http://www.html5.jp/canvas/index.html
mozillaのCanvasドキュメント:https://developer.mozilla.org/ja/Canvas_tutorial/Using_images

■関連書籍をAmazonで検索:[Canvas]
HTML5 Canvas

にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。


ノートンモバイルセキュリティバナー

| | トラックバック (0)

C言語:TRUEとFALSEの値

【課題】
以前どこかで次のようなCのコードを見たことがあります。

if (flag == TRUE) {
  処理1
}
else if (flag == FALSE) {
  処理2
}
else {
  処理3
}

ここで「処理3」は実行されることがあるのか?というのが今回のエントリのテーマです。

【考察】
まず最初に,C言語におけるbooleanについての確認です。
Cのbooleanには2つの定義があります。

●booleanの定義その1:条件分岐の判定
if文,for文,while文など,値がtrueかfalseか判定して条件分岐を行う場合のtrue/falseの値については,Cの解説書に書かれていてよく知られています。falseは「0」,trueは「0以外」です。1,2,3…及び-1,-2,-3…はすべてtrueです。

●booleanの定義その2:比較演算子の演算結果
比較演算子の演算結果はtrue/falseのどちらかになりますが,Cでは元々boolean型がなく,この演算結果には数値が割り当てられます。
この数値の具体的な値を確認するには,たとえば以下のようなコードで確認できます。

int flag = (int)(a == b);

aとbに値を設定して,この変数flagにどのような値が入るかprintfで表示させるなどして確認してみましょう。

aとbが等しい場合,これは値が「1」になるはずです。「true」の値は「1」です。
aとbが等しくない場合,これは値が「0」になるはずです。「false」の値は「0」です。

●TRUEとFALSEの値は?
FALSEの値は0でいいでしょう。TRUEの値は実際の値を確かめてみると「1」が定義されています。
TRUEが1であることについては以下のような合理的理由があるかと思います。
1)定義1ではtrueの値は「0以外」だが,TRUEは特定の値にならざるを得ない。
2)定義2ではtrueの値は「1」なので,TRUEの値を「1」にすると定義2のtrueと直接比較できる。

【結論】
TRUEが1,FALSEが0であることから,最初のコードは以下のコードと同等です。

if (flag == 1) {
  処理1
}
else if (flag == 0) {
  処理2
}
else {
  処理3
}
ここでflagの値が0,1以外の値であった場合は処理3が実行されることがわかります。 結論としては処理3が実行されることはありうる,ということになります。

定義その1で条件判定する場合は,以下の書き方でなければならない,ということになるかと思います。

if (flag) {
  処理1
}
else {
  処理2
}

どうしてもTRUE/FALSEを使いたい,という場合は以下のように書くことになるかと思います。

if (flag != FALSE) {
  処理1
}
else {
  処理2
}


■関連書籍をAmazonで検索:[C言語]
C実践プログラミング 第3版

にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。
Bose SoundTrue in-ear headphones smartphone

| | トラックバック (0)

Java:CSVパーサを作る(その3) - RFC4180対応 後編

前回の記事で未実装だった「レコードの確定」と「レコードのフィールドへの分割」を行うメソッドについて実装を行い,CSVパーサを完成させます。

【実装の考察】
●レコードの確定
レコード確定では,入力テキストデータに対して,ダブルクォーテーション(二重引用符)のペアをヒントに各レコードの末尾を確定して,レコードの切り分けを行います。処理手順は以下のようになります。

  1. BufferedReaderのreadLineメソッドを使ってテキストを1行分(現在の位置から改行が現れるまで,またはファイルの終了まで)取り出して,行の先頭からダブルクォーテーションを探す。見つからなければその1行を1レコードとして確定する。(readLineメソッドは「CR」「LF」「CRLF」を改行と認識するので,「CRLF以外の改行も考慮する」仕様の要求を満たしています。)
  2. ダブルクォーテーションが見つかった場合,ペアになる後ろのダブルクォーテーションを探す。後ろのダブルクォーテーションが見つかったらその位置から後続のダブルクォーテーションのペアを探す。この手順を行の終わりまで繰り返す。ダブルクォーテーションペアの外側で行が終了していれば,その行を1レコードとして確定する。
  3. ペアの後ろのダブルクォーテーションが見つからずにダブルクォーテーションペアの内側で改行に達したら,その改行を文字列フィールドに含まれる改行と見なしてBufferedReaderのreadLineメソッドより次の行を取り出して前の行と連結し,ペアの後ろのダブルクォーテーションを探すところから処理から継続する。これをダブルクォーテーションペアの外側で改行が見つかるまで繰り返す。後ろのダブルクォーテーションが見つからずにファイルの末尾に達したときは,ファイルの末尾にダブルクォーテーションを付加して行の末尾とする。この連結した行を1レコードとして確定する。
以上の処理を行うコードは次のようになります。(2009年6月22日改訂)
//------------------------------------------------------------------
/**
 * BufferedReaderから1レコード分のテキストを取り出す。
 * @param reader 行データを取り出すBufferedReader。
 * @return 1レコード分のテキスト。
 * @throws IOException 入出力エラー
 */
private String buildRecord (
  BufferedReader reader)
  throws IOException
{
  String  result = reader.readLine();
  int    pos;
  if (result != null && 0 < result.length() &&
    0 <= (pos = result.indexOf("\"")))
  {
    boolean  inString = true;
    String   rawline = result;
    String   newline = null;
    StringBuffer buff = new StringBuffer(1024);
    while (true) {
      while (0 <= (pos = rawline.indexOf("\"", ++pos))) {
        inString = !inString;
      }
      if (inString && (newline = reader.readLine()) != null) {
        buff.append(rawline);
        buff.append("\n");
        pos = -1;
        rawline = newline;
        continue;
      }
      else {
        if (inString || 0 < buff.length()) {
          buff.append(rawline);
          if (inString) {
            buff.append("\"");
          }
          result = buff.toString();
        }
        break;
      }
    }
  }
  return result;
}
注意)上記コードでは,フィールド内の改行をLF("\n")に決め打ちしていますが,実際にはCSVパーサの出力結果を受け取るプログラム(データベースなど)が要求する改行コードを挿入する必要があります。
使用すべき改行コードの選択は,プログラムが稼動するプラットフォームの改行コードを取得する
「String returnStr = System.getProperty("line.separator");」
が知られていますが,実行環境によってはCSVパーサの出力結果を受け取るプログラムがCSVパーサとは異なるOSで稼動する場合もありうるので,上記コードで取得できる改行コードを常に適用できるとは限りません。
そのため,実コードでは使用する改行コードをプロパティファイルで設定できるようにするなど動作環境に合わせて変更できる仕組みを作る必要があります。

●レコードのフィールドへの分割
フィールド分割では,レコードに切り分けたテキストに対して,最初にレコード全体をカンマで分割し,分割した個々の文字列にダブルクォーテーションをヒントに必要な連結やエスケープ処理を行って,個々のフィールドを確定します。処理手順は以下のようになります。
  1. レコード全体をStringクラスのsplitメソッドを使ってカンマで分割し,分割した個々の文字列データを順に先頭からダブルクォーテーションを探す。見つからなければその文字列は1フィールドとして確定する。
  2. ダブルクォーテーションが見つかったら,次のダブルクォーテーションを探す。次のダブルクォーテーションの直後にダブルクォーテーションがあれば,エスケープされたダブルクォーテーションとして処理し,そうでなければフィールドの終わりと見なす。
  3. フィールドで後ろのダブルクォーテーションが見つからない場合,フィールドに含まれるカンマでsplitメソッドが分割したものと見なして,フィールドの後ろに(splitメソッドが削除した)カンマと次のフィールドを連結する。
  4. フィールドの開始と終了のダブルクォーテーションは削除する。
以上の処理を行うコードは次のようになります。(2009年6月22日改訂)
//------------------------------------------------------------------
/**
 * 1レコード分のテキストを分割してフィールドの配列にする。
 * @param src 1レコード分のテキストデータ。
 * @param dest フィールドの配列の出力先。
 */
private void splitRecord (
  String    src,
  LinkedList dest)
{
  String[]  columns = src.split(",");
  int     maxlen = columns.length;
  int     startPos, endPos, columnlen;
  StringBuffer buff = new StringBuffer(1024);
  String   column;
  boolean  isInString, isEscaped;

  for (int index = 0; index < maxlen; index++) {
    column = columns[index];
    if ((endPos = column.indexOf("\"")) < 0) {
      dest.addLast(column);
    }
    else {
      isInString = (endPos == 0);
      isEscaped = false;
      columnlen = column.length();
      buff.setLength(0);
      startPos = (isInString)? 1: 0;
      while (startPos < columnlen) {
        if (0 <= (endPos = column.indexOf("\"", startPos))) {
          buff.append((startPos < endPos)?
                column.substring(startPos, endPos): isEscaped? "\"": "");
          isEscaped = !isEscaped;
          isInString = !isInString;
          startPos = ++endPos;
        }
        else {
          buff.append(column.substring(startPos));
          if (isInString && index < maxlen - 1) {
            column = columns[++index];
            columnlen = column.length();
            buff.append(",");
            startPos = 0;
          }
          else {
            break;
          }
        }
      }
      dest.addLast(buff.toString());
    }
  }
}


以上で「RFC4180対応のCSVパーサ」はひととおりできあがったかと思います。

※上記コードでは,整形のため全角スペースを使用している部分があります。
【著作権表記】上記コードを含む本ブログのプログラムコードは,私的利用可,商用利用可,改変しての利用可です。利用の際に作者に許諾を得る必要はありません。

■関連書籍をAmazonで検索:[Java]
ソースコードリーディングから学ぶ Javaの設計と実装



にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。
▼CSVパーサを作る[][][その3]
Wave SoundTouch music system IV

| | トラックバック (0)

Java:CSVパーサを作る(その2) - RFC4180対応 前編

CSVの仕様について調べてみると「K3フォーマット」と「RFC4180日本語訳)」が見つかります。K3フォーマットとCSVの違いについては「桐ver.8活用ガイド」というドキュメントの「読み込み K3フォーマット」と「読み込み CSV」という項目で記述されています。
ここでは前回の記事で作った簡易CSVパーサを発展させて,今回と次回の2回に分けてRFC4180で規定されたCSVが読み込めるCSVパーサを実装してみたいと思います。

【RFC4180で規定されたCSVの仕様】

  1. レコードの区切りは改行である。改行コードはCRLFだが他の値も考慮すべきである。
  2. ファイルの末尾に改行はあってもなくても良い。
  3. ファイルの先頭行にヘッダ行があっても良い。ヘッダ行の有無はMIMEタイプ「text/csv」のパラメータ「header」で示す。header パラメータの値は「present」(存在する),または「absent」(存在しない)のどちらかである。「header」パラメータを使わない場合はヘッダの有無を自ら決める。
  4. 各行にはカンマ「,」で区切ったフィールド列が必ずある(つまり空行はない)。フィールド数はすべての行で同じ。フィールド中の空白は無視しない。行末のカンマは行の終わりを表さない(その後ろにNULLフィールドがもう1つある)。
  5. 各フィールドはダブルクォーテーション(二重引用符)「"」で囲んでも良いし囲まなくても良い。
  6. 改行,ダブルクォーテーション,カンマを含むフィールドはダブルクォーテーションで囲む。
  7. フィールドデータにダブルクォーテーションを含む場合,ダブルクォーテーションを2つ続けることでエスケープする。
  8. 文字コードは一般にUS-ASCIIを使う,他の文字コードの使用を明示するにはMIMEタイプ「text/csv」のパラメータ「charset」で指定する。
【参考:K3フォーマットとRFC4180の違い】
  1. フィールドをダブルクォーテーションで,
    • RFC4180:「囲んでも囲まなくてもよい」(数値型を囲んでもよい)
    • K3フォーマット:「文字列型データは囲む,数値型データは囲まない」(数値型,文字型以外は想定なし)
  2. 行の先頭が「#」だった場合,
    • RFC4180:規定なし。よって通常のレコードとして解釈する。
    • K3フォーマット:その行をレコードとして解釈せずに以下のように解釈する:
      • 行頭が「#」の場合:制御コマンド記述行
      • 行頭が「##」の場合:コメント行
      • 行頭が「###」の場合:データ終了。この行以降のデータは取り込まない。

【仕様の考察】
CSVパーサのように外部からデータを取り込んでこれを処理するプログラムの場合,受け取ったデータがRFC4180の仕様に沿っていた場合に正常に処理できることはもちろん,仕様とは異なるデータを受け取った場合にどのように処理するかを決める必要があります。CSVパーサの実装を検討する上で考慮すべき事項として以下のようなものが考えられます。

  1. 画像データやPDFなど,CSVではないデータを受け取った場合にどうするか。
  2. RFC4180の仕様から若干外れたCSVデータ,たとえば次のようなデータを受け取った場合にこれをどのように処理するか:
    • CRLF以外の改行コードを受け取ったらどうするか。複数の種類の改行コードが混在していたらどうするか。
    • 仕様では「空行はない」とされているが,空行があった場合はどうするか。
    • 仕様では「フィールド数はすべての行で同じ」となっているが,フィールド数にばらつきがあった場合はどうするか。
    • 仕様で「改行,ダブルクォーテーション,カンマを含むフィールドはダブルクォーテーションで囲む」とあるが,囲まれていない場合はどうするか。フィールド中の改行とカンマについてはダブルクォーテーションなしでは判定は不可能だが,ダブルクォーテーションについてはエスケープされているかどうかで判定できる可能性がある。
    • ダブルクォーテーションで囲まれていないフィールドの途中にエスケープされていないダブルクォーテーションが出現した場合はどのように解釈するか。
    • 行頭が「#」の場合どうするか。RFC4180では行頭が「#」の場合については決められていないが,K3フォーマットではこの行はレコードとして解釈せずにコメント行または制御行として扱う。
    • 文字コードはどうするか。RFC4180ではUS-ASCIIがデフォルトだが,これだと日本語が扱えないのでデフォルトを変えるべきではないか。
これらを考慮する場合に重要なのが「リーズナブル」という考え方です。これは具体的には以下のような考え方です。
  1. なるべく少ないコードでより多くの要求を満たす実装方法を選択する。
  2. 重要ではない小さな要求のために大量のコードが必要になる実装方法は避ける。
  3. 何かに対応するために大量のコードが必要になったら「この実装方法には何か根本的な問題があるのではないか?」と考える。
  4. 実現不可能なもの,実現が困難なものはどこかで諦める。その場合はユーザが納得できる代替案を探す。
以上を踏まえて,CSVパーサを実現するためにRFC4180に対して以下のように追加修正を行います。
  1. CSVパーサの実装において,CSV以外のデータを受け取った場合の処理については特に考慮しません。この問題は,CSVパーサが呼ばれる以前に,たとえばファイル名の拡張子でエラー判定するなどして解決するものとします。
  2. フィールドに含まれる空白のうち,フィールドの先頭と末尾の空白は無視(削除)できることにします。これは特に数値を数値データとして取り込む場合に必要です。
  3. MIMEタイプのパラメータは読み込んだCSVデータの中で判断できないため,パーサでは対応しません。
  4. 行頭に「#」がある行はコメント行とします。ヘッダ行はこのコメント行で実現するものとします。対応すべき制御コマンドもないので「#」1つでもコメント行とします。
  5. フィールド内にエスケープされたダブルクォーテーションが含まれる場合の動作は次のようにします。
    • エスケープされたダブルクォーテーションの前後にデータがある場合は,フィールド全体を囲むダブルクォーテーションはあってもなくても良い。
    • フィールド内のデータがエスケープされたダブルクォーテーションだけの場合,全体を囲むダブルクォーテーションが必須。(つまり連続する4つのダブルクォーテーションが必要。)
    • 逆にフィールド内のデータがダブルクォーテーションの1ペアだけだった場合,パーサはこれをダブルクォーテーションで囲んだNULLフィールドとして扱う。
  6. レコードの区切りは改行(またはファイル末尾)ですが,ダブルクォーテーションで囲んだフィールドに改行が入っていることがあるため,改行がレコードの区切りとは限りません。
  7. フィールド数は固定であることを期待しません。また空行もありうるものとします。空行はスキップします。フィールドが多いときは余りは無視します。フィールドが足りないときはNULLフィールドで補うものとします。
  8. ダブルクォーテーションを2つ続けることによりダブルクォーテーションをエスケープする仕様のため,ダブルクォーテーションは1フィールド及び1レコード内で必ず偶数になります。
  9. 文字コードはUS-ASCIIではなく「Windows-31J/MS932」とします。これはExcelで開けるCSVの文字コードに合わせています。
【実装の考察】
処理手順としては,入力したテキストデータを先頭から1レコードづつ切り出し,このレコードをフィールドに分割する,これを入力テキストの最後まで繰り返す,という流れになりますが,処理手順を検討した結果,以下の流れで処理を行うことにします。
  1. レコードの確定
    入力テキストを1行づつ取り出し,ダブルクォーテーションのペアをトレースしてレコードの末尾を確定し,1レコードを確定する。
    • 取り出した1行分の入力テキストに含まれるダブルクォーテーションの数がゼロまたは偶数ならば,その1行を1レコードとして確定する。
    • 取り出した1行分の入力テキストに含まれるダブルクォーテーションの数が奇数ならば,ダブルクォーテーションで囲まれたフィールドの途中と見なして次の1行分の入力テキストを取り出し前の行と連結する。これをダブルクォーテーションが偶数になるまで(または入力テキスト末尾になるまで)繰り返す。
  2. フィールドの分割
    レコードに対して,最初にレコード全体をカンマで分割した後で,ダブルクォーテーションをヒントに
    • 文字列フィールドのカンマによる分割の再結合
    • 文字列フィールドを囲むダブルクォーテーションの削除
    • ダブルクォーテーションが2つ連続した場合のエスケープ処理
    を行う。
  3. 1と2を入力テキスト末尾まで繰り返す。
以上のような処理になりますが,ソースコードを簡潔にするために上記「レコードの確定」と「レコードのフィールドへの分割」を別メソッドにして実装することにします。

このメソッドを実装する前に,で作った「簡易CSVパーサ」を,上記メソッドを呼び出すように書き換えたコードを先に作ってしまいます。

【簡易パーサの修正】
「レコードの確定」「レコードのフィールドへの分割」を行うメソッドを以下のように規定します。
/**
 * BufferedReaderから1レコード分のテキストを取り出す。
 * @param reader 行データを取り出すBufferedReader。
 * @return 1レコード分のテキスト。
 * @throws IOException 入出力エラー
 */
private String buildRecord (BufferedReader reader);

/**
 * レコードデータsrcを分割してフィールドの配列にする。
 * @param src レコードデータ。
 * @param dest レコードデータからフィールドの配列を取り出してリストに加える。
 */
private void splitRecord (String src, LinkedList dest);

このメソッドを使って前回の記事の「簡易CSVパーサプログラム」を書き換えると次のようになります。
注:行頭が「#」の行はコメント行と見なしてスキップするコードも追加しています。
//------------------------------------------------------------------
/**
 * CSVファイルの読み込み。
 * @param stream 入力ストリーム。FileInputStream,ByteArrayInputStreamなど。
 */
public void read (
  InputStream stream)
{
  LinkedList     columns = new LinkedList();
  InputStreamReader reader = null;
  BufferedReader   buff = null;
  try {
    reader = new InputStreamReader(stream, "MS932");
    buff = new BufferedReader(reader);
    String record;
    int   lineNum = 0;

    while ((record = buildRecord(buff)) != null) {
      lineNum++;
      if (record.length() <= 0)
        continue;
      if (record.startsWith("#"))
        continue;
      splitRecord(record, columns);
      if (0 < columns.size()) {
        readColumns(columns, lineNum);
        columns.clear();
      }
    }
  }
  catch (Exception ex) {
    ex.printStackTrace();
  }
  finally {
    columns.clear();
    try {
      if (buff != null) {
        buff.close();
      }
      if (reader != null) {
        reader.close();
      }
      stream.close();
    }
    catch (IOException ex) {
      ex.printStackTrace();
    }
  }
}

//------------------------------------------------------------------
/**
 * 読み込んだ1レコード分のデータをDBに取り込む。
 * 実際の処理は派生クラスで実装。
 * @param columns 1レコードをフィールドに分割した文字列リスト。
 * @param lineNum CSVの行番号(エラーが発生したときの行番号記録用)。
 */
abstract protected void readColumns (LinkedList columns, int lineNum);


今回はここまで。
次回は,「レコードの確定」と「レコードのフィールドへの分割」を行う「buildRecord」と「splitRecord」両メソッドの実装を行い,CSVパーサを完成させます。



※上記コードでは,整形のため全角スペースを使用している部分があります。
【著作権表記】上記コードを含む本ブログのプログラムコードは,私的利用可,商用利用可,改変しての利用可です。利用の際に作者に許諾を得る必要はありません。

■関連情報
CSVの仕様:RFC4180日本語訳)(Wikipedia
桐ver.8活用ガイド(K3フォーマットとCSVの違いについての解説あり)
Microsoftコードページ932(Wikipedia
WebObjects:CSVレスポンスの実装

■関連書籍をAmazonで検索:[Java]
Effective Java 第2版 (The Java Series)



にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。
▼CSVパーサを作る[][その2][]

| | トラックバック (0)

Java:CSVパーサを作る(その1) - 簡易パーサ

データベースやExcelなどにデータをインポート・エクスポートする際に使用されるファイルフォーマットとしてCSVがあります。
CSVを単にカンマでフィールドを区切り,改行でレコードを区切ったテキストデータと見るならば,JavaでCSVファイルをインポートしてデータベースに読み込ませるなどの処理を行うCSVパーサを作るには,BufferedReaderクラスのreadLineメソッドでレコードを取り出し,Stringクラスのsplitメソッドでフィールドに分割すれば,それでCSVパーサができあがります。
この場合の具体的なプログラムを以下に例示します。

■処理の概要
このCSVパーサでは,以下の処理をファイルの最後まで繰り返し実行します。

  1. 読み込んだCSVデータから1行を1レコードとして取り出します。
  2. 1レコードをフィールドに分割してStringクラスインスタンスのリストを作ります。
  3. 1レコード分のフィールドのリストをレコード処理メソッド(「readColumns」)に渡します。
CSVパーサクラス及びreadColumnsメソッドはabstractとし,派生クラスでreadColumnsメソッドの処理を実装するものとします。派生クラスのreadColumnsメソッドでは,CSVパーサで生成した1レコード分のフィールドのリストをデータベースへ登録する処理などを実装します。
CSVファイルの文字コードは「Windows-31J/MS932」とします。これはExcelで開けるCSVの文字コードに合わせています。

簡易CSVパーサプログラム

//------------------------------------------------------------------
/**
 * CSVファイルの読み込み。
 * @param stream 入力ストリーム。FileInputStream,ByteArrayInputStreamなど。
 */
public void read (
  InputStream stream)
{
  InputStreamReader reader = null;
  BufferedReader   buff = null;
  try {
    reader = new InputStreamReader(stream, "MS932");
    buff = new BufferedReader(reader);
    String  record;
    String[] columns;
    int   lineNum = 0;

    while ((record = buff.readLine()) != null) {
      lineNum++;
      if (record.length() <= 0)
        continue;
      columns = record.split(",");
      if (0 < columns.length) {
        readColumns(columns, lineNum);
      }
    }
  }
  catch (Exception ex) {
    ex.printStackTrace();
  }
  finally {
    try {
      if (buff != null) {
        buff.close();
      }
      if (reader != null) {
        reader.close();
      }
      stream.close();
    }
    catch (IOException ex) {
      ex.printStackTrace();
    }
  }
}

//------------------------------------------------------------------
/**
 * 読み込んだ1レコード分のデータをDBに取り込む。
 * 実際の処理は派生クラスで実装。
 * @param columns 1レコードをフィールドに分割した文字列リスト。
 * @param lineNum CSVの行番号(エラーが発生したときの行番号記録用)。
 */
abstract protected void readColumns (String[] columns, int lineNum);


次回は,この簡易パーサを拡張して「RFC4180」に対応したCSVパーサへの拡張を試みます。



※上記コードでは,整形のため全角スペースを使用している部分があります。
【著作権表記】上記コードを含む本ブログのプログラムコードは,私的利用可,商用利用可,改変しての利用可です。利用の際に作者に許諾を得る必要はありません。

■関連情報
CSVの仕様:RFC4180日本語訳)(Wikipedia
Microsoftコードページ932(Wikipedia
WebObjects:CSVレスポンスの実装

■関連書籍をAmazonで検索:[Java]
Java謎+落とし穴徹底解明



にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。
▼CSVパーサを作る[その1][][]
ドミノ・ピザ【PC向けサイト】

| | トラックバック (0)

WebObjects:CSVレスポンスの実装

Webアプリケーションにおいて,データベースの内容をCSVデータにしてユーザにダウンロードさせたい場合があるかと思います。ここではWebObjectsの環境で作成するWebアプリでの実装例として,ボタンクリックに対するWebブラウザへのレスポンスをCSVデータとすることで,WebブラウザでCSVデータをダウンロードさせる実装例を示します。

【処理の概要】
WebObjectsのアクションメソッドの戻り値としてコンポーネントクラスのインスタンスを返すと,WebObjectsがそのクラスのappendToResponseメソッドを呼び出してWebブラウザへのレスポンスを作成します。この仕組みを使ってCSVデータを返すために,CSVデータを返すためのコンポーネントクラスを作り,メンバ変数にCSVデータセットしてappendToResponseメソッドが呼ばれればCSVレスポンスが作られるようにします。

【実装手順】
1)コンポーネントの作成
CSVデータを返すコンポーネントを作成します。
これは通常のHTMLを返すコンポーネントの新規作成と同じで,開発環境Xcodeの「新規ファイル」ダイアログから「WebObjects」→「Component」を選んで「次へ」ボタンで進み,ターゲットを「Application Server」にしてファイル名にコンポーネント名を入力して完了ボタンで作成を実行します。
ここでは仮に,コンポーネント名を「CSVExport」と指定することにします。

2)CSVデータを保持するメンバ変数と初期化メソッドの作成
CSVExport.javaにて,CSVデータとファイル名を保持するメンバ変数と,これに値を設定する初期化メソッドを実装します。

private String mFileName;
private String mCSVData;

public void init (
  String fileName,
  String csvData)
{
  mFileName = fileName;
  mCSVData = csvData;
}

3)appendToResponseのオーバーライド
CSVExport.javaにて「appendToResponse」メソッドを定義すると,Application.javaやSession.javaで定義したappendToResponseメソッドがオーバーライドされます。CSVデータを返す場合のappendToResponseメソッドは以下のようになります。このメソッドでは,出力するCSVファイルをExcelで開くことができるように,文字コードを「Windows-31J/MS932」に指定しています。
public void appendToResponse (
  WOResponse res,
  WOContext cont)
{
  res.setContextEncoding("MS932");
  super.appendToResponse(res, cont);
  if (mFileName != null && mCSVData != null) {
    res.setHeader("public", "Cache-Control");
    res.setHeader("public", "Pragma");
    res.setHeader("text/csv;charset=Windows-31J", "Content-Type");
    res.setHeader("attachment;filename=\""+mFileName+".csv\"", "Content-Disposition");
    res.setHeader(new Long(mCSVData.length()).toString(), "Content-Length");
    res.setContent(mCSVData);
    res.setStatus(res.HTTP_STATUS_OK);
  }
}

上記コードのうち,
res.setHeader("public", "Cache-Control");
res.setHeader("public", "Pragma");
IEのダウンロード問題に対処したものです。
以上でCSVExportコンポーネントの実装は完了です。

4)アクションメソッドからの呼び出し
Webアプリ上でボタンを押すと,CSVExportコンポーネントによりCSVファイルがダウンロードされるようにします。
WebアプリのCSVダウンロードボタンを配置したページのコンポーネントクラスにおいて,ボタンを押したときに呼ばれるアクションメソッドを用意して,その戻り値としてCSVExportクラスインスタンスを返すようにします。アクションメソッドは以下のようになります。
public CSVExport exportAction ()
{
  CSVExport nextPage = null;
  String fileName = buildFileName(); // ファイル名生成.
  String csvData = buildCSVData();  // CSVデータ生成.
  if (csvData != null && 0 < csvData.length()) {
    nextPage = (CSVExport)pageWithName("CSVExport");
    nextPage.init(fileName, csvData);
  }
  return nextPage;
}
このアクションメソッドをWebページのWOSubmitButtonなどにバインドすることにより,ユーザのボタン押下でCSVデータをWebブラウザからダウンロードすることができます。

5)CSVデータ生成メソッドの実装の概要
CSVデータの作成についてはJavaの「StringBuffer」クラスで組み立てるのが一般的かと思います。
CSVのデータフォーマットの仕様についてはRFC4180日本語訳)を参照してください。
この実装方法で巨大なCSVファイルを扱う場合,最後にtoStringメソッドでStringインスタンスを生成するときに,文字列データに必要なメモリサイズが倍になってしまうので,メモリ不足に注意しましょう。WebObjectsのメモリ不足対策はこちら
private String buildCSVData ()
{
  StringBuffer buff = new StringBuffer();
  buff.append("カラム1-1");
  buff.append(",");    // カンマ挿入.
  buff.append("\"");    // ダブルクォーテーション(二重引用符)挿入.
  buff.append("カラム1-2");
  buff.append("\"");
  buff.append("\r\n");   // 改行(CRLF)挿入.
  buff.append("カラム2-1");
  buff.append(",");
  buff.append("\"");
  buff.append("カラム2-2");
  buff.append("\"");
  buff.append("\r\n");

  return buff.toString();
}

※CSVの「数値/数値」をExcelで日付にしないために
ここで実装したしたCSVレスポンスのデータをユーザがダウンロードしてExcelで開いて閲覧・編集する場合,フィールドデータの形式が「数値/数値」または「数値-数値」で,数値が日付として解釈できる範囲内の場合,Excelはこれを勝手に日付データとして取り込んでしまいます。
これに対する対処法として,CSVレスポンスデータを組み立てるときにフィールドデータの先頭に半角スペースを入れる,というのが最も手っ取り早い対処法かと思います。先頭に半角スペースを入れた「 数値/数値」のデータをExcelに読み込ませると,Excelはこのデータの先頭の半角スペースを削除して日付ではなく文字列としてデータを取り込みます。
参考:Excel で文字列または数値が意図しない表示形式に変換される(Microsoftサポートオンライン)

※上記コードでは,整形のため全角スペースを使用している部分があります。
【著作権表記】上記コードを含む本ブログのプログラムコードは,私的利用可,商用利用可,改変しての利用可です。利用の際に作者に許諾を得る必要はありません。

■関連情報
CSVの仕様:RFC4180日本語訳
Java:Shift_JISのエイリアスの変更について
Microsoftサポートオンライン:IEのダウンロードの問題
Java:CSVパーサを作る[その1][その2][その3]
WebObjects:[API Reference(javadoc)][ADC Tools][サポート]

■関連書籍をAmazonで検索:[WebObjects 和書 洋書]
コーディングの掟 現場でよく見る不可解なJavaコードを一掃せよ!

にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。

| | トラックバック (0)

Java:MySQLに金額を格納する

データベースで金額を格納するのに適したデータ型として,MySQLでは「DECIMAL」型があります。FLOATやDOUBLEのような浮動小数点数の型では,小数点以下の値は近似値となりますが,DECIMALでは小数点以下の値も含めて正確に保存するために,MySQL5.0.3以前では数値を文字列に,5.0.3以降ではバイナリデータに変換して保存しています。「DEC」「NUMERIC」「FIXED」はDECIMALの別名です。
DECIMALフィールドの宣言は「DECIMAL(M,D)」です。Mはフィールド全体の桁数,DはMのうち小数点以下の桁数(スケール)を表します。DECIMALの最大桁数(DECIMAL(M,D)のMの値)は,MySQL5.0.3より前は1~254桁まで,5.0.6からは1~65桁までです。また,小数点以下の桁数(DECIMAL(M,D)のDの値)は0~30桁までです。(出典1)(出典2

MySQLにJavaプログラムからJDBCアダプタ(MySQL Connector/J)経由でアクセスする場合,データベースのDECIMAL型のフィールドは,JDBCによりJavaの「BigDecimal」クラスインスタンスに置き換えられます。
BigDecimalクラスでは,BigDecimalどうしでの四則演算のほか,小数点以下の桁数操作や丸め処理を行うことができます。BigDecimalで指定できる丸め処理は以下になります。

パラメータ名称説明
ROUND_UP切り上げ計算結果に端数があれば,端数を切り捨てて最小桁を+1(負の値のときは-1)します。
ROUND_DOWN切り捨て計算結果に端数があれば,端数を単に切り捨てます。
ROUND_CEILING正の無限大計算結果が正の値のときは切り上げ,負の値のときは切り捨てを行います。その結果,誤差は必ず正の方向に現れます。この指定は負の方向に誤差が出てはならない場合に指定します。
ROUND_FLOOR負の無限大計算結果が正の値のときは切り捨て,負の値のときは切り上げを行います。その結果,誤差は必ず負の方向に現れます。この指定は正の方向に誤差が出てはならない場合に指定します。
ROUND_HALF_UP四捨五入計算結果の端数が0.5より小さいときは切り捨て,0.5より大きいときは切り上げ,0.5のときは切り上げを行います。
注:連続して計算を行う場合には,四捨五入のみを指定して計算すると,計算結果の累積誤差が大きくなる欠点があります。そのため五捨六入と交互またはランダムに切り替えて誤差を抑えるなどの工夫が必要です。
ROUND_HALF_DOWN五捨六入計算結果の端数が0.5より小さいときは切り捨て,0.5より大きいときは切り上げ,0.5のときは切り捨てを行います。
ROUND_HALF_EVEN最近接偶数への丸め計算結果の端数が0.5より小さいときは切り捨て,0.5より大きいときは切り上げ,0.5のときは結果が偶数になるように切り上げまたは切り捨てを行います。
具体的には「0.5→0(切捨),1.5→2(切上),2.5→2(切捨),3.5→4(切上),4.5→4(切捨),5.5→6(切上)…」といった値になります。
連続して計算を行う場合に,累積誤差が出にくい丸め処理です。
ROUND_UNNECESSARY丸め無し計算結果で端数が生じる場合はArithmeticException例外をスローします。

●BigDecimalでの数値の比較
BigDecimal同士で数値を比較する場合,equalsメソッドでは数値としては同じでもスケールが違う値,たとえば「1」「1.0」「1.00」は別の値として判定されてしまいます。
これらを同じ値として比較判定する場合はcompareToメソッドを使います。

●BigDecimalでのゼロ値の判定
BigDecimalに設定された値がゼロかどうかを判定する場合,予めゼロ値を設定したBigDecimalとcompareToメソッドで比較判定する方法もありますが,それ以外に,BigDecimalのsignumメソッドが0を返すかどうかでも判定できます。signumメソッドは値が負の場合は-1,ゼロの場合は0,正の場合は1を返します。
予めゼロ値が設定されているBigDecimalとcompareToで比較したい場合は,Java1.5以降で「BigDecimal.ZERO」が定義されています。

■関連情報
MySQL:5.0.3以降のDECIMAL データ タイプの変更(MySQL5.1:22章:精密計算
MySQLの数値型:[4.1][5.1]
MySQL Connector/J:JDBCで値を受け渡すときのJavaの型:[5.0][5.1]
端数処理:(Wikipedia

■関連書籍をAmazonで検索:[MySQL][Java][JDBC]
MySQL徹底入門 第3版 ~5.5新機能対応~ (kindle本)



にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。
上新電機 パソコン買取サービスドミノ・ピザ【PC向けサイト】

| | トラックバック (0)

JavaMail:メール送信でOP25B対応

【概要】
昨今のスパムメール対策により,Javaプログラムからのメール送信が困難な場合がでてきています。送信先がLAN内だったり,LAN内のメールサーバ(MTA)をリレーしたり,ISPが提供するメールサーバをリレーしてメール送信するなら問題ありませんが,JavaプログラムからISPのユーザ回線を経由してインターネットの向こう側に設置しているメールサーバでメールをリレーしようとすると,最近各ISPが導入を進めているOutbound Port 25 Blocking(OP25B)によりメール送信が阻止されてしまうことがあります。
Outbound Port 25 Blockingとは,一般ユーザのパソコンから送信用メールサーバをリレーせずに直接送信先のメールサーバへメールを送りつけるのを禁止するもので,ISPのユーザ回線から外部の25番ポート(SMTP)へ接続するのを阻止することで実現しています。これにより25番ポートからインターネットへメール送信できるのはISPのメールサーバや固定IPを取得したホストに限られますが,メールをリレーする送信用メールサーバがISPの外側にいる場合にも接続が阻止される弊害が出ています。
この対策としては,ISPの外側にいるメールサーバがメール送信のリレーを受け付けるときは25番以外のポート番号を使用すればよいということになります。この代替ポートとして「サブミッションポート」と呼ばれる587番ポートを使うようメールサーバを設定することができます。このとき587番ポートが正規のアカウントによるメール送信のみに使われるように,587番ポートはSASL認証必須に設定します。メールサーバ側のサブミッションポート対応についてはこちらの記事の後半にて,Mac OS X Serverで稼動するPostfixの設定方法を解説しています。

【JavaMailによる実装例】
この記事では,JavaプログラムからJavaMailを使ってメール送信するときに,メールサーバに25番ではなく587番ポートに接続して,SASL認証を行った上でメール送信するコードを例示します。なお,JavaMailを使用するには,事前にJavaMailとJAFをダウンロードして,クラスパスで指定されているディレクトリにJavaMailの「mail.jar」とJAFの「activation.jar」をインストールしておく必要があります。(JAFはJava SE 6に含まれるようになったので,Java SE 6ではJAFのインストールは不要です。)
JavaMailダウンロード:[JavaMail][JAF]
クラスパスの設定:[概要][Windows][Solaris][Mac OS X]
下記のコードではSASLの認証方法として「AUTH LOGIN」で認証できることを確認しています。認証方法「CRAM-MD5」については,JavaMailではSMTPで未サポートのようです(出典)。

下記のコードは25番ポートへ認証なしにメールを送信する場合と以下の点が異なります。
1)接続先SMTPサーバのポート番号を587番に指定:
→プロパティ「mail.smtp.port」を「587」に設定。

2)SASL認証(SMTP Auth)を試みるよう指定:
→プロパティ「mail.smtp.auth」を「true」に設定。

3)SASL認証で使用する認証情報クラスを用意する:
→Authenticatorクラスを継承し,getPasswordAuthenticationメソッドを実装したクラス(PassAuther)を用意する。

4)Session取得時に認証情報クラスインスタンスで初期化:
→Session.getDefaultInstance()メソッドの第二引数にPassAutherのインスタンスを渡す。

【WebObjectsでJavaMailを使う場合の注意】
WebObjectsアプリケーションではデフォルトで「Session」というクラスが作られるため,JavaMailのSessionクラスとクラス名のバッティングが起こります。そのためJavaMailのSessionクラスを指定する場合に「javax.mail.Session」とフルパスでクラス名を指定するなどの対応が必要です。

JavaMailを使って587番ポートからSASL認証してメール送信を行う実装例:

import java.util.*;
import javax.mail.*;
import javax.mail.internet.*;
/**
 * SendSASLMail:メール送信クラス.
 */
public class SendSASLMail
{
  /**
   * PassAuther:認証情報クラス.
   */
  private class PassAuther extends Authenticator
  {
    private String mUserName;
    private String mPassword;
    //------------------------------------------------------------------
    /**
     * PassAutherクラスのコンストラクタ.
     * @param userName SASL認証で使うユーザ名.
     * @param passwd  同パスワード.
     */
    public PassAuther (
      String userName,
      String passwd)
    {
      super();
      mUserName = userName;
      mPassword = passwd;
    }
    //------------------------------------------------------------------
    /**
     * Authenticatorの派生クラスで必須のメソッド.
     */
    public PasswordAuthentication getPasswordAuthentication ()
    {
      return new PasswordAuthentication(mUserName, mPassword);
    }
  }

  private String mHostName;
  private String mUserName;
  private String mPassword;

  //------------------------------------------------------------------
  /**
   * SendSASLMailクラスのコンストラクタ.
   * @param host   送信用ホスト名.
   * @param userName SASL認証用ユーザ名.
   * @param passwd  SASL認証用パスワード.
   */
  public SendSASLMail (
    String host,
    String userName,
    String passwd)
  {
    mHostName = host;
    mUserName = userName;
    mPassword = passwd;
  }

  //------------------------------------------------------------------
  /**
   * メール送信実行メソッド.
   * @param from   差出人.
   * @param toList  宛先リスト.
   * @param ccList  CCリスト.
   * @param bccList BCCリスト.
   * @param subject Subject.
   * @param message メール本文.
   * @throws MessagingException
   * @throws AuthenticationFailedException
   * @throws SendFailedException
   */
  public void send (
    Address  from,
    Address[] toList,
    Address[] ccList,
    Address[] bccList,
    String   subject,
    String   message)
    throws MessagingException, AuthenticationFailedException, SendFailedException
  {
    if (from != null && toList != null && 0 < toList.length) {
      Properties props = new Properties();
      props.setProperty("mail.transport.protocol", "smtp");
      props.setProperty("mail.smtp.host", mHostName);
      props.setProperty("mail.smtp.port", "587");
      props.setProperty("mail.host", mHostName);
      props.setProperty("mail.smtp.connectiontimeout", "60000");
      props.setProperty("mail.smtp.timeout", "60000");
      props.setProperty("mail.smtp.auth", "true");

      Authenticator auther = new PassAuther(mUserName, mPassword);
      Session session = Session.getDefaultInstance(props, auther);

      // session.setDebug(true); // デバッグ情報を表示する.
      MimeMessage mmsg = new MimeMessage(session);

      mmsg.setFrom(from);
      mmsg.setRecipients(Message.RecipientType.TO, toList);
      if (ccList != null && 0 < ccList.length) {
        mmsg.setRecipients(Message.RecipientType.CC, ccList);
      }
      if (bccList != null && 0 < bccList.length) {
        mmsg.setRecipients(Message.RecipientType.BCC, bccList);
      }
      if (subject != null && 0 < subject.length()) {
        mmsg.setSubject(subject, "iso-2022-jp");
      }
      mmsg.setText(message, "iso-2022-jp");
      mmsg.setSentDate(new Date());

      Transport.send(mmsg);
    }
  }

  //------------------------------------------------------------------
  /**
   * 動作確認用mainメソッド.
   * @param args
   */
  public static void main(String[] args)
  {
    SendSASLMail sender = new SendSASLMail("mail.example.com", "username", "password");
    try {
      Address from = new InternetAddress("address@example.com", "差出人", "iso-2022-jp");
      Address to = new InternetAddress("addr1@example.com", "宛先1(TO)", "iso-2022-jp");
      Address cc = new InternetAddress("addr2@example.com", "宛先2(CC)", "iso-2022-jp");

      Address[] toList = new Address[] {to};
      Address[] ccList = new Address[] {cc};

      String subject = "テストメール";
      String message = "JavaMailからのメールです。";

      sender.send(from, toList, ccList, null, subject, message);
    }
    catch (Exception ex) {
      ex.printStackTrace();
    }
  }
}

※上記コードでは,整形のため全角スペースを使用している部分があります。
【著作権表記】上記コードを含む本ブログのプログラムコードは,私的利用可,商用利用可,改変しての利用可です。利用の際に作者に許諾を得る必要はありません。

■関連情報
ISPによるOP25B 実施状況((財)日本データ通信協会・迷惑メール相談センター)
メール送信サンプル:[JavaMail(SMTP)編(JavaでHelloWorld)][JavaMailでメール送信アプリを作る(@IT Java Tips)]
JavaMail完全解説
Sun:[JavaMail]
API Reference(javadoc):[JavaMail][J2EE 1.3.1]
ダウンロード:[JavaMail][JAF]
WebObjects:WOMailDeliveryで日本語メール送信

■関連書籍をAmazonで検索:[JavaMail][Java]
独習Java サーバサイド編 第2版 (kindle版)



にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。

| | トラックバック (0)

Java:ログインパスワードを暗号化する

Webアプリケーションなどでは,アクセス時にパスワードによるログイン認証を行う場合があります。
ここではその具体的な実装のうち,データベースやパスワードファイルに格納するログインパスワードの暗号化について述べてみたいと思います。

【概要】
複数のユーザが個別にユーザ名とパスワードを設定する場合,そのアカウント情報はデータベースなどに保存するようになると思います。
このときパスワードをそのまま保存してしまうと,パスワードはデータベースを閲覧できるすべての人に知られてしまいます。また,Base64変換や元に戻せる暗号にした場合でも,元に戻せる技術をもった人にパスワードを知られてしまう可能性があります。そのため,パスワードを保存する場合は不可逆暗号にするのが一般的かと思います。
不可逆暗号とは元に戻せない暗号です。不可逆暗号を使ってパスワード認証を行うには,暗号化したパスワードをデータベースにあらかじめ保存しておき,ユーザがログインした時にユーザが入力したパスワードを暗号化して,データベースに保存されている暗号化されたパスワードと同一になるかどうかで正しいパスワードか判断することができます。不可逆のメリットとしては,元に戻せないのでパスワードの漏洩が防げると同時に,データベースを閲覧できる人にパスワード窃盗の嫌疑がかかるのを防ぐことができます。デメリットとしては,元に戻せないのでユーザがパスワードを忘れてしまったらパスワードを登録し直すしか手がないことです。

パスワードだけを暗号化した場合,同じパスワードの人がいた場合に同じ暗号データがデータベースに登録されてしまい,データベースを閲覧した人に同じパスワードであることがわかってしまう可能性があります。この対策としては,(ユニークな)ユーザ名とパスワードを加えて暗号化すれば良いかと思います。

【Javaによる不可逆暗号の実装】
Javaにはメッセージダイジェストを作成するクラスがありますので,これを使って不可逆暗号を作ることができます。具体例として下記のようなコードになります。
なお,このコードではユーザ名がNULLであることを想定していません。なぜならユーザ名はアカウントを特定するユニークキーなので,必須であるべきだからです。ユーザがユーザ名を入力しなかった場合は,このメソッドを呼ぶ前にエラーではじくべきです。
※このコードでは,メッセージダイジェストをテキストに変換するために,当初Base64エンコードしていましたが,バイトごとの数値を文字列に変換して連結する実装に改めました(2015/02/16)

import java.security.*;
 
/**
* パスワードを不可逆暗号化する.
*/
public class PassDigest
{
  //------------------------------------------------------------------
  /**
   * ユーザ名とパスワードでメッセージダイジェストを作成し文字列化して返す.
   * @param userName ユーザ名.
   * @param password パスワード.
   * @return 生成したダイジェスト.
   * @throws NoSuchAlgorithmException Java実行環境にSHA-1が実装されていない.
   */
  public static String build (
    String userName,
    String password)
    throws NoSuchAlgorithmException
  {
    StringBuilder buff = new StringBuilder();
    if (password != null && !password.isEmpty()) {
      MessageDigest md = MessageDigest.getInstance("SHA-1");
      md.update(userName.getBytes());
      md.update(password.getBytes());
      byte[] digest = md.digest();

      for (byte d : digest) {
        buff.append((int)d&0xFF);
      }
    }
    return buff.toString();
  }
}

最終更新日:2015/02/16
※上記コードでは,整形のため全角スペースを使用している部分があります。
【著作権表記】上記コードを含む本ブログのプログラムコードは,私的利用可,商用利用可,改変しての利用可です。利用の際に作者に許諾を得る必要はありません。

■関連情報
Sun:Java暗号化アーキテクチャ API の仕様およびリファレンス
クラスMessageDigest(Javadoc)

■関連書籍をAmazonで検索:[Java]
Javaで作って学ぶ暗号技術 - RSA,AES,SHAの基礎からSSLまで



にほんブログ村 IT技術ブログへ にほんブログ村 IT技術ブログ プログラム・プログラマへ 人気ブログランキングへ ←この記事が役に立ったという方はクリックお願いします。


ioPLAZA【グラフィック(内蔵)】ブックオフオンライン【PC・携帯共通】

| | トラックバック (0)