Droongaクラスタを自分で構築して、Groonga互換のサーバとして利用できるようにするための手順を学ぶこと。
Droongaは分散アーキテクチャに基づくデータ処理エンジンで、「distributed-Groonga」がその名の由来です。 名前が示す通り、Droongaはいくつかの点での改善（具体的には、レプリケーションとシャーディング）を含んだGroonga互換のサーバとして動作することができます。
アーキテクチャ、設計、APIなどの点で、DroongaはGroongaと大きく異なっています。 しかしながら、Droongaを単にGroonga互換のサーバとして使う限りにおいては、Droongaのアーキテクチャ全体を理解する必要はありません。
例として、ニューヨークにあるスターバックスの店舗を検索できるデータベースシステムを作成することにします。
まず最初にコンピュータを用意します。
このチュートリアルは、既存のコンピュータを使ってDroongaクラスタを構築する手順について解説しています。
以下の説明は基本的には、DigitalOcean上のサーバでUbuntu 13.10 x64の仮想マシンが正しく準備されており、コンソールが利用できる状態になっている、という前提に基づいています。
注意：Droongaの依存パッケージをインストールする前に、仮想マシンのインスタンスが少なくとも2GB以上のメモリを備えていることを確認して下さい。 メモリが足りないと、ビルド時におかしなエラーに遭遇することになります。
また、有効なレプリケーションを実現するためには2台以上のコンピュータを用意する必要もあります。
Groongaはバイナリのパッケージを提供しているため、環境によっては簡単にインストールできます。 （Groongaのインストール手順を参照）
しかしながら、現在の所Droongaに基づくデータベースシステムをセットアップするための簡単な方法はありません。 将来的にはより良い方法（例えばChefのクックブックなど）を用意する計画がありますが、今のところは、セットアップは手動で行う必要があります。
Droongaベースのデータベースシステムは、Droongaクラスタと呼ばれます。 Droongaクラスタは、Droongaノードと呼ばれる複数のコンピュータによって構成されます。 よって、Droongaクラスタを構築するには複数のDroongaノードをセットアップする必要があります。
192.168.0.10と192.168.0.11の2つのコンピュータがあると仮定しましょう。
それぞれのコンピュータで、プラットフォームごとに要求されるパッケージをインストールする。
# apt-get update
# apt-get -y upgrade
# apt-get install -y ruby ruby-dev build-essential nodejs npm
それぞれのコンピュータで、Gemパッケージ droonga-engine をインストールする。
これはDroongaシステムの主要な機能を提供する、核となるコンポーネントです。
# gem install droonga-engine
それぞれのコンピュータで、npmパッケージ droonga-http-server をインストールする。
これはHTTPのリクエストをDroongaネイティブのリクエストに変換するために必要な、フロントエンドとなるコンポーネントです。
# npm install -g droonga-http-server
それぞれのコンピュータで、Droongaノードとしての情報を保存するための設定ディレクトリを用意する。 すべてのデータベースの実体は、このディレクトリ以下に保存されます。
# mkdir ~/droonga
# cd ~/droonga
いずれか1つのDroongaノードで、catalog.jsonを作成します。
このファイルはDroongaクラスタの構成を定義する物です。
データセット名を--datasetオプション、各DroongaノードのIPアドレスを--hostsオプションで、以下のように指定して下さい：
# droonga-catalog-generate --dataset=Starbucks \
--hosts=192.168.0.10,192.168.0.11 \
--output=./catalog.json
コンピュータが1台だけの単なる検証用の構成をセットアップする場合は、以下のようにします：
# droonga-catalog-generate --dataset=Starbucks \
--hosts=127.0.0.1 \
--output=./catalog.json
すべてのDroongaノードに、先程作成したcatalog.jsonを共有します。
# scp ~/droonga/catalog.json 192.169.0.11:~/droonga/
（もしくは、できあがったファイルをコピーする代わりに、各コンピュータ上で同じ設定のcatalog.jsonを作成しても結構です。）
上記の手順により、DroongaクラスタのためのすべてのDroongaノードの準備が完了しました。 次の段階に進みましょう。
GroongaをHTTPサーバとして使う場合は、以下のように -d オプションを指定するだけでサーバを起動できます：
# groonga -p 10041 -d --protocol http /tmp/databases/db
一方、DroongaクラスタをHTTP経由で使うためには、各Droongaノードにおいて2つのサービスを起動する必要があります。
サービスを起動するには、各Droongaノードで以下のようにコマンドを実行します：
# cd ~/droonga
# droonga-engine --host=192.168.0.10 \
--daemon \
--pid-file $PWD/droonga-engine.pid
# droonga-http-server --port=10041 \
--receive-host-name=192.168.0.10 \
--droonga-engine-host-name=192.168.0.10 \
--default-dataset=Starbucks \
--daemon \
--pid-file $PWD/droonga-http-server.pid
いくつかのオプションにおいて、そのDroongaノード自身のホスト名を指定する必要がある事に注意して下さい。 この情報は、クラスタ内の他のDroongaノードとの通信のために使われます。 よって、別のDroongaノード上では以下のように別のホスト名を指定する事になります：
# cd ~/droonga
# droonga-engine --host=192.168.0.11 \
...
サービスを停止するには、以下のコマンドを各Droongaノード上で実行します：
# kill $(cat ~/droonga/droonga-engine.pid)
# kill $(cat ~/droonga/droonga-http-server.pid)
以上の手順で、Groonga HTTPサーバ互換のサービスとして動作するDroongaクラスタができました。
リクエストの送信方法はGroongaサーバの場合と全く同じです。
新しいテーブル Store を作るには、table_create コマンドにあたるGETリクエストを送信して下さい:
# curl "http://192.168.0.10:10041/d/table_create?name=Store&type=Hash&key_type=ShortText"
[[0,1398662266.3853862,0.08530688285827637],true]
リクエストの送信先として、Droongaノード中でdroonga-http-serverが動作しているDroongaノードのどれか1つを指定する必要がある事に注意して下さい。 言い換えると、接続先（エンドポイント）としてはクラスタ中のどのノードでも好きな物を使う事ができます。 すべてのリクエストは、クラスタ中の適切なノードに配送されます。
さて、テーブルを正しく作成できました。
table_list コマンドを使って、作成されたテーブルの情報を見てみましょう:
# curl "http://192.168.0.10:10041/d/table_list"
[[0,1398662423.509928,0.003869295120239258],[[["id","UInt32"],["name","ShortText"],["path","ShortText"],["flags","ShortText"],["domain","ShortText"],["range","ShortText"],["default_tokenizer","ShortText"],["normalizer","ShortText"]],[256,"Store","/home/username/groonga/droonga-engine/000/db.0000100","TABLE_HASH_KEY|PERSISTENT","ShortText",null,null,null]]]
Droongaはクラスタで動作するので、他のエンドポイントも同じ結果を返します。
# curl "http://192.168.0.11:10041/d/table_list"
[[0,1398662423.509928,0.003869295120239258],[[["id","UInt32"],["name","ShortText"],["path","ShortText"],["flags","ShortText"],["domain","ShortText"],["range","ShortText"],["default_tokenizer","ShortText"],["normalizer","ShortText"]],[256,"Store","/home/username/groonga/droonga-engine/000/db.0000100","TABLE_HASH_KEY|PERSISTENT","ShortText",null,null,null]]]
次は、column_create コマンドを使って Store テーブルに location という新しいカラムを作ります:
# curl "http://192.168.0.10:10041/d/column_create?table=Store&name=location&flags=COLUMN_SCALAR&type=WGS84GeoPoint"
[[0,1398664305.8856306,0.00026226043701171875],true]
column_list コマンドを使って、カラムが正しく作成された事を確認しましょう:
# curl "http://192.168.0.10:10041/d/column_list?table=Store"
[[0,1398664345.9680889,0.0011739730834960938],[[["id","UInt32"],["name","ShortText"],["path","ShortText"],["type","ShortText"],["flags","ShortText"],["domain","ShortText"],["range","ShortText"],["source","ShortText"]],[257,"location","/home/username/groonga/droonga-engine/000/db.0000101","fix","COLUMN_SCALAR","Store","WGS84GeoPoint",[]]]]
インデックスも作成しましょう。
# curl "http://192.168.0.10:10041/d/table_create?name=Location&type=PatriciaTrie&key_type=WGS84GeoPoint"
[[0,1398664401.4927232,0.12011909484863281],true]
# curl "http://192.168.0.10:10041/d/column_create?table=Location&name=store&flags=COLUMN_INDEX&type=Store&source=location"
[[0,1398664429.5348525,0.13435077667236328],true]
# curl "http://192.168.0.10:10041/d/table_create?name=Term&type=PatriciaTrie&key_type=ShortText&default_tokenizer=TokenBigram&normalizer=NormalizerAuto"
[[0,1398664454.446939,0.14734888076782227],true]
# curl "http://192.168.0.10:10041/d/column_create?table=Term&name=store__key&flags=COLUMN_INDEX|WITH_POSITION&type=Store&source=_key"
[[0,1398664474.7112074,0.12619781494140625],true]
Let’s load data to the Store table.
First. prepare the data as a JSON file stores.json.
stores.json:
[
["_key","location"],
["1st Avenue & 75th St. - New York NY (W)","40.770262,-73.954798"],
["76th & Second - New York NY (W)","40.771056,-73.956757"],
["2nd Ave. & 9th Street - New York NY","40.729445,-73.987471"],
["15th & Third - New York NY (W)","40.733946,-73.9867"],
["41st and Broadway - New York NY (W)","40.755111,-73.986225"],
["84th & Third Ave - New York NY (W)","40.777485,-73.954979"],
["150 E. 42nd Street - New York NY (W)","40.750784,-73.975582"],
["West 43rd and Broadway - New York NY (W)","40.756197,-73.985624"],
["Macy's 35th Street Balcony - New York NY","40.750703,-73.989787"],
["Macy's 6th Floor - Herald Square - New York NY (W)","40.750703,-73.989787"],
["Herald Square- Macy's - New York NY","40.750703,-73.989787"],
["Macy's 5th Floor - Herald Square - New York NY (W)","40.750703,-73.989787"],
["80th & York - New York NY (W)","40.772204,-73.949862"],
["Columbus @ 67th - New York NY (W)","40.774009,-73.981472"],
["45th & Broadway - New York NY (W)","40.75766,-73.985719"],
["Marriott Marquis - Lobby - New York NY","40.759123,-73.984927"],
["Second @ 81st - New York NY (W)","40.77466,-73.954447"],
["52nd & Seventh - New York NY (W)","40.761829,-73.981141"],
["1585 Broadway (47th) - New York NY (W)","40.759806,-73.985066"],
["85th & First - New York NY (W)","40.776101,-73.949971"],
["92nd & 3rd - New York NY (W)","40.782606,-73.951235"],
["165 Broadway - 1 Liberty - New York NY (W)","40.709727,-74.011395"],
["1656 Broadway - New York NY (W)","40.762434,-73.983364"],
["54th & Broadway - New York NY (W)","40.764275,-73.982361"],
["Limited Brands-NYC - New York NY","40.765219,-73.982025"],
["19th & 8th - New York NY (W)","40.743218,-74.000605"],
["60th & Broadway-II - New York NY (W)","40.769196,-73.982576"],
["63rd & Broadway - New York NY (W)","40.771376,-73.982709"],
["195 Broadway - New York NY (W)","40.710703,-74.009485"],
["2 Broadway - New York NY (W)","40.704538,-74.01324"],
["2 Columbus Ave. - New York NY (W)","40.769262,-73.984764"],
["NY Plaza - New York NY (W)","40.702802,-74.012784"],
["36th and Madison - New York NY (W)","40.748917,-73.982683"],
["125th St. btwn Adam Clayton & FDB - New York NY","40.808952,-73.948229"],
["70th & Broadway - New York NY (W)","40.777463,-73.982237"],
["2138 Broadway - New York NY (W)","40.781078,-73.981167"],
["118th & Frederick Douglas Blvd. - New York NY (W)","40.806176,-73.954109"],
["42nd & Second - New York NY (W)","40.750069,-73.973393"],
["Broadway @ 81st - New York NY (W)","40.784972,-73.978987"],
["Fashion Inst of Technology - New York NY","40.746948,-73.994557"]
]
データが準備できたら、load コマンドのPOSTリクエストとして送信します:
# curl --data "@stores.json" "http://192.168.0.10:10041/d/load?table=Store"
[[0,1398666180.023,0.069],[40]]
これで、JSONファイル中のすべてのデータが正しく読み込まれます。
以上で、すべてのデータが準備できました。
試しに、select コマンドを使って最初の10レコードを取り出してみましょう:
# curl "http://192.168.0.10:10041/d/select?table=Store&output_columns=_key&limit=10"
[[0,1398666260.887927,0.000017404556274414062],[[[40],[["_key","ShortText"]],[["1st Avenue & 75th St. - New York NY (W)"],["2nd Ave. & 9th Street - New York NY"],["76th & Second - New York NY (W)"],["15th & Third - New York NY (W)"],["41st and Broadway - New York NY (W)"],["West 43rd and Broadway - New York NY (W)"],["84th & Third Ave - New York NY (W)"],["150 E. 42nd Street - New York NY (W)"],["Macy's 35th Street Balcony - New York NY"],["Herald Square- Macy's - New York NY"]]]]]
もちろん、query オプションを使って検索条件を指定する事もできます:
# curl "http://192.168.0.10:10041/d/select?table=Store&query=Columbus&match_columns=_key&output_columns=_key&limit=10"
[[0,1398670157.661574,0.0012705326080322266],[[[2],[["_key","ShortText"]],[["Columbus @ 67th - New York NY (W)"],["2 Columbus Ave. - New York NY (W)"]]]]]
# curl "http://192.168.0.10:10041/d/select?table=Store&filter=_key@'Ave'&output_columns=_key&limit=10"
[[0,1398670586.193325,0.0003848075866699219],[[[3],[["_key","ShortText"]],[["2nd Ave. & 9th Street - New York NY"],["84th & Third Ave - New York NY (W)"],["2 Columbus Ave. - New York NY (W)"]]]]]
このチュートリアルでは、Ubuntu Linuxのコンピュータを使ってDroongaクラスタを構築しました。 また、Groongaサーバ互換のシステムとしてデータを読み込ませたり取り出したりすることにも成功しました。
現在の所、DroongaはGroonga互換のコマンドのうちいくつかの限定的な機能にのみ対応しています。 詳細はコマンドリファレンスを参照して下さい。