Splitter for ZCTextIndex

2006/12/19 更新

　ZCTextIndex Lexicon オブジェクトと併せて使い、ZCatalogによるテキスト検索ができるようにするものです。ZCatalog　にプラグインする  Indexの一種で、Zope 2.6.0より Zopeの標準配布に含まれるようになりました。

　同様のことが TextIndex と vocabraryによって行うことができますが

1. Splitterを Zope本体の Pythonコードを改変しなくてもインストールできる
2. 速度
3. フィルターをつなぎあわせることにより、柔軟な語彙登録ができる
4. ランキングのアルゴリズムを切り替えられる

あたりが、利点らしいです。

日本語の使える Splitter

　日本語のテキスト検索をするためには、日本語が分かち書きできる ZCTextIndexのための Splitterをインストールします。
　今のところ、以下のものがあります。すべてをインストールする必要はなく、いずれかが入っていれば構いません。

1. ejSplitter
   • インストールが簡単
   • 辞書を使っていないため辞書のメンテナンスが不要
   • 品詞による分解を行なっていないため、精度が低い
   • 「foo*」等のように Glob を使った検索が可能
2. ChaSplitter
   • Chasen を使った形態要素解析をおこなう
   • chasen コマンドを起動しているだけなので、ダサイ、クリーンでない、遅い（と思う）。
   • Chasen がインストールしてあれば、他のChasen/Mecab を使ったものよりも、インストールは簡単
   • chasen のインストールパスを合わせれば、Windowsでも使える
3. JSplitter
   • Chasen を使った形態要素解析を行なう
   • python chasen モジュールを使っているので、ChaSplitterよりは速いはず
   • python chasen モジュール等のインストールが面倒
   • Linux以外では、動かないかも（Windowsでは、動かない）
4. AJSplitter
   • Mac OS X の形態要素解析器をつかっているらしい
   • なので、辞書のメンテナンスは、Mac OS X から行なえる（のだと思う）
   • Mac OS X 以外では使えない
5. MecabSplitter
• Mecab を使った Splitter
• Mecab と、その python モジュールをインストールする分、インストールが面倒
• （Macabが）Chasen を使った Splitter よりも速いはず
6. JUTSplitter
• Mecab を使った Splitter
• Mecab と、その python モジュールをインストールする分、インストールが面倒
• （Macabが）Chasen を使った Splitter よりも速いはず
• いろいろやっているのでMecabSplitter よりは遅いらしい
• 現状(2004/01/19)は、初期リリースが出たばかり
7. ZCJPSplitter
• 同じく Mecab を使った Splitter
• すみません。私は、詳細（特徴）を知りません

Splitterのインストール

1.ejSplitter のインストール

1. JapaneseCodecsをインストールします（Python 2.3.x 以前の場合）
2. ejSplitter-x.y.tar.gz をダウンロードし、$(INSTANCE_HOME)/lib/python/Productsに展開します。

Plone にインストールする場合は、takanory.net さんの説明が丁寧で判り易いです。

ejSplitter-0.5.1.tar.gzを公開します(2006/12/19)。UTF-8→UNICODE 変換時にエラーとなる場合があるので抑制（http://ml.zope.jp/pipermail/zope-users/2006-July/005805.html）。

ejSplitter-0.5.0.tar.gzを公開します(2004/10/23)。全角英数字と半角英数字を同じもとのして取り扱います。

ejSplitter-0.4.0.tar.gzを公開します(2004/01/15)。長音に関するヒューリスティックルールを追加しました。(深町さんに感謝）

ejSplitter-0.3.1.tar.gzを公開します(2004/01/10)。Ver. 0.3 の Bugfix です。

ejSplitter-0.3.tar.gzを公開します(2004/01/04)。0.2 では、EUC-JP の時、文字コード変換処理を２度通っているため、検索できていませんでした。 不具合の指摘と、修正方法を教えて下さった柴田＠WebCoreさんに感謝します。

2.ChaSplitterのインストール

1. 茶筅をインストールします

   • Windowsバイナリ版のZopeを動かす場合
     　http://chasen.aist-nara.ac.jp/chasen/distribution.html.ja　にある cha21244.exeをインストールしますが、インストール先ディレクトリを、デフォルトで設定される C:\Program Files\chasen21 ではなくて C:\chasenにしてください。

   • その他 Linux/BSD系の実装の場合
     http://chasen.aist-nara.ac.jp/chasen/distribution.html.ja のchasenとipadicの最新版をインストールします。
     chasenコマンドが /usr/local/bin/chasen に存在するようにインストールしてください。
     私は、Cygwin環境でソースからコンパイルしたZopeで動作を確認しました。

2. Windowsの場合、JapaneseCodecsをインストールします。（そうじゃないと動きません）

3. ChaSplitter0.2.tar.gz をダウンロードし、$(INSTANCE_HOME)/lib/python/Productsに展開します。

3.JSplitterのインストール（田原さん作）

　ZCTextIndex版は、今のところ ZMI で日本語が使えるようにするための、http://ml.zope.jp/pipermail/zope-devel/2002-October/000292.html のものしかありません。当該アーカイブをダウンロードして、$(INSTANCE_HOME)/lib/python/Products　に展開（普通の Productsのインストールと同じ）したあと $(INSTANCE_HOME)/lib/python/Products/SaruPatch/__init__.pyの内容を

の１行だけにします。

  JSplitterを動かすためには、他に pykf、chasen モジュール、日本語Codecs等が要るようですが、詳しい情報は他をあたってください。
（PluginIndex版の JSplitterの解説ですが、MAX さんの　http://soybean.fubyshare.gr.jp/SiteBites/JSPlitter が参考になります）

使ってみる

　ここでは、例として CMF Siteで検索に ZCTextIndexを使う手順について記述します。すでに、CMF Siteがあり、上記手順に従って、いずれかの Splitterがインストールしてあるものとして、

1. CMF Site の portal_catalog を開きます
2. Contentsタブを開き ZCTextIndex Lexicon を Addします。
   その時、Word Splitterには予めインストールした Splitter を指定します。Id には、何か適当な値を設定します。Title はブランクで構いません。
3. 引き続き portal_catalog 内で Indexes タブを開きます。
4. Index Typeが 「TextIndex」になっているもの
   • Description
   • SeachableText
   • Title

   をいったん削除して、同じ Id で「ZCTextIndex」を Addします。Field Nameは、Id と同じ場合には入力する必要はありません。
   　その時、Add ZCTextIndexの画面で「Lexicon」には、先程 2.で Addした ZCTextIndex Lexionが指定されていることを確認してください。

5. Indexes タブの中で、ZCTextIndexの項目にチェックを付け、「Reindex」ボタンを押下します。

これで、日本語による検索ができるようになり、新しく追加していく Contentsの日本語もカタログできるようになります。