Google App Engineは全文検索が出来ない。
ってことでGAE/JでN-Gramのインデックスを作って全文検索する処理を書いてみた。
ソースはここ。
１．検索対象のDatastoreにSearchableModelをimplementsし、getKey()とgetSearchableTextMap()を実装。
getSearchableTextMap()で返すMapは、検索対象を指定する際に利用するタイプ（任意の文字列）をキー、検索対象の文字列をバリューとしたものです。
インデックスと1対多の関係にする場合は、２で書くインデックスのDatastoreを持つ様にすればOK。
実装例
@PersistenceCapable(identityType = IdentityType.APPLICATION)
public class Target implements SearchableModel {
@PrimaryKey
@Persistent(valueStrategy = IdGeneratorStrategy.IDENTITY)
private Key key;
@Persistent
private String name;
@Persistent
private String title;
@Persistent(mappedBy = "source")
private List index = null;
public Key getKey() {
return key;
}
public Map getSearchableTextMap() {
HashMap map = new HashMap();
map.put("name”, this.name);
map.put("title”, this.title);
return map;
}
}
２．SearchIndexModelをimplementsして、検索で利用するIndexのDatastoreを作成
getter/setterに併せてフィールドを作成して下さい。
jarパッケージ内のDatastoreをEnhanceする方法が分からなかったのでこんな面倒な実装です・・・。
sourceのフィールドはSearchableModelの実装クラスにキャストして下さい。
（しなくても動くかは未確認・・・）
実装例（フィールドのgetter/setterは省略）
@PersistenceCapable(identityType = IdentityType.APPLICATION)
public class Index implements SearchIndexModel {
@PrimaryKey
@Persistent(valueStrategy = IdGeneratorStrategy.IDENTITY)
private Key key;
@Persistent
private String text;
@Persistent
private String comparableText;
@Persistent
private int lastPosition;
@Persistent
private String type;
@Persistent
private Target source;
@Persistent
private Key sourceKey;
public int getLastPosition() {
return lastPosition;
}
public void setLastPosition(int lastPosition) {
this.lastPosition = lastPosition;
}
public String getComparableText() {
return comparableText;
}
public void setComparableText(String comparableText) {
this.comparableText = comparableText;
}
public String getText() {
return text;
}
public void setText(String text) {
this.text = text;
}
public String getType() {
return type;
}
public void setType(String type) {
this.type = type;
}
public Object getSource() {
return source;
}
public void setSource(Object source) {
this.source = (Target) source;
}
public Key getKey() {
return key;
}
public Key getSourceKey() {
return sourceKey;
}
public void setSourceKey(Key sourceKey) {
this.sourceKey = sourceKey;
}
}
３．N-Gramの検索インデックスの作成および検索
ここまで書けば検索インデックスの作成および検索はNgramクラスで簡単に出来ます。
// 1-gram、2-gram、3-gramの検索インデックスをもつDatastoreを作成
Target target = new Target();
target.setName("HogeHoge");
target.setTitle("HageHage");
List index = Ngram.generateNgramIndex(target, Index.class, 1, 2, 3);
target.setIndex(index);
pm.makePersistent(target);
// 2-gramのインデックスを使い、HogeでNameを検索
Set searchResult = Ngram.search("Hoge", 2, "name", false, Target.class, Index.class);
// 3-gramのインデックスを使い、タイプの指定無しでHogeを曖昧（ひらがな/カタカナ、大文字/小文字、全角/半角などを同一視）に検索
Set searchResult = Ngram.search("Hoge", 3, null, false, Target.class, Index.class);
一応、動いてますが数時間でぱぱっと書いたソースなので間違ってたらご指摘下さい。
あとインデックスがそれなりのデータ量になったり、対象や検索結果が多かったらタイムアウトしちゃうとか問題あると思います。
そもそも全く検索のアルゴリズムを学んだ人ではないので良くないソースかもです。
まぁ実装の一例ということで。
というか近々、GAEで全文検索出来る様になる気配だけど。
ぎゃふん！
メインメニュー
iPhoneアプリ第二弾作りました！
