めもめも

このブログに記載の内容は個人の見解であり、必ずしも所属組織の立場、戦略、意見を代表するものではありません。

JAQL実行環境のセットアップ手順 (obsolete)

注意

最新バージョン 0.5.1 が pre-build バイナリで提供されるようになりました。pre-build バイナリを利用した手順はこちらです。

以下の手順は、0.4 が最新の時代の手順ですので、古い内容になりますが、参考のために残しておきます。

------------------------->8------------------------

前提

最新の JAQL は、Hadoop 0.20.2 が前提になっています。以下の手順は、Hadoop 0.20.2 と組み合わせる場合の手順です。
JDK は 6 以上が必要です。

Hadoop 0.20.2 のクラスタを用意する。

(参考)http://itpro.nikkeibp.co.jp/article/COLUMN/20100910/351912/

JAQL をビルドする。

svn と ant が使える環境を用意して、以下の手順にしたがう。

(1) JAQL のソースをダウンロードする。

# svn checkout http://jaql.googlecode.com/svn/trunk/ jaql-read-only

(2) ソースからビルドして、できたバイナリーを tgz に固める

$ cd jaql-read-only
$ ant jar -Dhadoop.version="0.20"
$ cd ..
$ mv jaql-read-only jaql-0.4
$ tar -cvzf jaql-0.4.tgz jaql-0.4/

Hadoop クラスタに JAQL を持って行く

(1) jaql-0.4.tgz を Hadoop の管理ノードに持っていって展開する。ここでは、下記に展開したものとする。

/home/hadoop/jaql-0.4

(2) jaql.jar を lib にコピー

$ cp jaql-0.4/build/jaql.jar jaql-0.4/lib/

(3) Hadoop 実行ユーザ(ここでは hadoop とする)の .bashrc に以下を追記

#### ここは Hadoop のための設定
# User specific aliases and functions
export HADOOP_HOME=/home/hadoop/hadoop
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin
export CLASSPATH
for f in $HADOOP_HOME/*.jar; do
        CLASSPATH=${CLASSPATH}:$f;
done
for f in $HADOOP_HOME/lib/*.jar; do
        CLASSPATH=${CLASSPATH}:$f;
done

#### ここが JAQL のための設定
export JAQL_HOME=/home/hadoop/jaql-0.4
export PATH=$PATH:$JAQL_HOME/bin
for f in $JAQL_HOME/lib/*.jar; do
        CLASSPATH=${CLASSPATH}:$f;
done

(4) Hadoop を起動

$ start-all.sh

(5) JAQL Shell を起動(-c オプションが必要なので注意)

$ jaqlshell -c

(6) 動作確認に、ここのサンプルを実行してみる。

http://code.google.com/p/jaql/wiki/JaqlOverview