PPM Repository2005年12月01日 00時57分56秒

テスト用の Namazu 2.0.15 preX, RCX for Windows のために PPM ファイルの準備をしています。(暫定公開)

http://www.akaneiro.jp/PPMPackages/zips/8xx-builds-only/Windows/

にソースを含めてまとめた zip ファイルを置きました。 今のところ NKF 2.0.5 と File::MMagic 1.2.5 だけですが、増やしていく予定です。 ActivePerl ビルド 800番台 専用です。500, 600 番台では使用できませんのでご注意ください。

なお、repository として以下を登録すると、ppm コマンドで直接インストールできます。

http://www.akaneiro.jp/PPMPackages/800/

C:\>ppm
ppm> rep add "Namazu" "http://www.akaneiro.jp/PPMPackages/800/"
ppm> install NKF
ppm> install File-MMagic
ppm> quit

ネイティブコードを含むモジュールの場合は msvcr71.dll が必要になります。

予告なく PPM の中身は更新します。

Text-Kakasi (Re:PPM Repository )2005年12月01日 18時54分28秒

テスト用の Namazu 2.0.5 preX, RCX for Windows のために PPM ファイルの準備をしています。(暫定公開)

http://www.akaneiro.jp/PPMPackages/zips/8xx-builds-only/Windows/

にソースを含めてまとめた zip ファイルを置きました。 Text-Kakasi-2.04(kakasi 2.3.4)を追加しました。 nkfのzipを更新しました。

ActivePerl ビルド 800番台 専用です。500, 600 番台では使用できませんのでご注意ください。

なお、repository として以下を登録すると、ppm コマンドで直接インストールできます。

http://www.akaneiro.jp/PPMPackages/800/

C:\>ppm
ppm> rep add "Namazu" "http://www.akaneiro.jp/PPMPackages/800/"
ppm> install NKF
ppm> install File-MMagic
ppm> install Text-Kakasi
ppm> quit

・ネイティブコードを含むモジュールの場合は msvcr71.dll が必要になります。 ・Text-Kakasi には辞書ファイルは含まれていません。

 辞書のインストールと環境変数の設定が必要になります。

・ライセンスはソースのライセンスに従います。 ・予告なく PPM, zip の中身は更新します。

MeCab PPM 作成挫折2005年12月03日 07時54分26秒

MeCab の PPM を作ろうとしていたのですが、挫折しました。

SWIG を使って作られているためか、g++ の使用を前提としているためか、いろいろやってはみたのですが、うまくコンパイルできませんでした。
# SWIG 自体はWindows版もあるので、Windows でコンパイルできないわけはないだろうと思うのですが...。

Text-Chasen はできているので、Text-Chasen を参考に Namazu で利用する部分だけを Perl から使えるように Perl モジュールを別に作った方が早いかもしれません。
まぁ、仮にText-Mecab とでもしましょうかねぇ。

# taku さんは、「もっと SWIG を!」という考えなんですけど...。
# これじゃ、逆行しちゃいますねぇ。

そろそろ Namazu 2.0.15 pre32005年12月04日 04時37分56秒

そろそろ Namazu 2.0.15 pre3 を作成しようかと思っています。

また、pre3 作成後にWindows環境でテストできるバイナリも用意する予定です。
(これは Namazu 2.0.13RCx のころに作った程度のもので、竹迫氏のインストールパッケージと置き換わるものではありません。)

Windows 環境でテストしてみないと何ともいえませんが、そろそろ preX を終わりにしてRCxに移行したいとも思っています。(12/29までにRC1を出したい)

なお、フリーズ宣言を行いRCxに移行しますので、
 - セキュリティ上の問題、致命的なバグ
 - Namazu 2.0.14 以降に修正した箇所のバグ
のみに専念することになります。

このため、
 - Namazu 2.0.15 に追加したい機能
 - Namazu 2.0.14 でも発生するバグの修正
については(内容にもよりますが)原則2.0.16に先送りになります。

とりあえずSearch::Namazuを置きました2005年12月04日 11時43分02秒

現在、Search::NamazuはCVSから取り出せませんので、以前、CVSから取り出したSearch::Namazuをmake distで固めて http://www.akaneiro.jp/Search-Namazu/ に置きました。

そのうち公式サイトのSubversionから取り出しができるようになると思いますが、それまでの暫定措置です。

なお、リリース版ではなく開発中のバージョンだったかと思います。ご使用の際には注意してください。

decode_numbered_entity 関係修正2005年12月07日 07時59分14秒

Malformed UTF-8 character .... というワーニングやWide character in print at mknmz といったワーニングが発生し、インデックスを壊す可能性があるので、とりあえずfilter/html.pl の decode_numbered_entity で、256以上を削除するようにしました。(本来ですと 128以上は削除しなければなりませんが...。)
日本語環境では元々128以上は削除されるので、あまり関係ありません。

filter/gnumeric.pl も似たような問題があったので修正しました。
gnumeric では日本語はEUC-JPのままエンコードされるらしいです。
(というより何も考えずにエンコードしているのでしょう。)
このため、日本語環境以外でデコードすると文字化けの原因となるため、日本語環境以外では128以上は削除するようにしました。
また、EUC-JPの範囲外のコードをデコードするのは好ましくないため、簡単なコードの範囲チェックを加えました。

namazu-2.0.15pre3.tar.gz 公開2005年12月07日 08時00分28秒

Namazu 2.0.15 pre3 を公開します。

http://www.namazu.org/test/namazu-2.0.15pre3.tar.gz http://www.namazu.org/test/namazu-2.0.15pre3.tar.gz.md5 http://www.namazu.org/test/namazu-2.0.15pre3.tar.gz.sha1 http://www.namazu.org/test/namazu-2.0.15pre3.tar.gz.sig

$ md5sum namazu-2.0.15pre3.tar.gz

bea9d1e42c7ceeb307883b726cffd03a namazu-2.0.15pre3.tar.gz

$ sha1sum namazu-2.0.15pre3.tar.gz

245e66d8378615fd48c25f09ebf4bd0fd887a3ac namazu-2.0.15pre3.tar.gz

・主な pre2 からの修正内容(漏れがあるかもしれません)

* mknmz に --norc オプションを追加
* MaxHit, MaxMatch の比較を削除された文書を含めて行っていたのを修正
* フィールド検索の MaxHit の修正
* fseek の戻り値を -1 と比較していた部分を 0 でないかどうかで比較
  するように修正
* 「中間一致検索」および「後方一致検索」で正規表現を含めることができ
  たバグを修正
* cmd.exe に /d /x /c オプションを付ける
* QUERY_STRING の区切り '&' に加えて、';' を追加
* テンプレートの value="", selected, checked を削除する部分を修正
* xdoc2txt.exe 用フィルタ追加
* nmz_getlong_option() の戻り値チェックで EOF を -1 に変更
* namazu -4 オプションに引数が必要なので、short_options の 4 の後に 
  ':' を追加
* namazu に --norc オプション
* フレーズ検索で 文書ID=0 がヒットしないバグを修正
* 日付順ソートのため $fields{'utc'} を追加
* MeCab 対応
* conf/namazurc-sample に Suicide_Time と Regex_Search を追加
* MinGw版 nmz.dll を作成できるように Makefile を修正
* DDN(DOS Device Name)を排除するように修正
* tutorial.html のソフトウェアを最新バージョンに更新
* pltests の cmd.exe に /d /x オプションを追加
* filter/gnumeric.pl(decode_numbered_entity) コード範囲をチェック
* filter/html.pl decode_numbered_entity 256以上を削除

・今後の予定

* pre3のWindowsで動作確認するためのテスト用バイナリの作成
* Namazu 2.0.15RC1 の公開

とくに大きな問題がない限り、基本的には、このpre3をほぼそのままRC1 として早々に公開したいと考えています。

免責) テストする場合は、文書が削除される危険性もあるので、念のため バックアップをとった文書を使ってテストしてください。

「Namazuの開発日記」メールマガジン第一号発行2005年12月07日 21時56分21秒

「Namazuの開発日記」メールマガジン第一号発行しました。

登録はもちろん無料です。
下記から登録/解除が可能です。

Namazuの開発日 記  登録 解除
メールアドレス

Namazu 2.0.15pre3公開後の修正いろいろ2005年12月08日 17時56分01秒

1.filter/mailnews.pl: boundary="..." のダブルクォートがないものに対応
2.scripts/mknmz.in: mknmz -C で MeCab の情報を表示するように修正
3.po/*.po, po/namazu.pot: アップデート
4.namazu.spec.in: アップデート

テスト用Namazu2.0.15pre3 for Windows準備2005年12月09日 02時36分49秒

テスト用バイナリ配布用にgettext 0.13.1 の libintl-2.dll と、libiconv 1.10 + ja パッチの libiconv-2.dll を MinGw でコンパイル中。

ん?バージョンの異なるMinGW環境のうち、片方ではgettex 0.13.1のtoolのコンパイルに失敗する。`mbrtowc`が見つからないらしいが...

libiconvのスタティックライブラリがデフォルトではできないので、少し手を加える。ついでに何となくi686オプションを変えてみる。

libiconvはコンパイルにgettextが必要で、gettextはlibiconvが必要で、というループになっている。もっとも libintl-2.dll -> libiconv-2.dll という依存関係なので、iconvコマンドでgettextが必要になる程度のことなんだろう。

libiconv はChaSenでも使うので、(DLLの互換性は大丈夫だろうけど)折角なのでChaSenも再コンパイルしてみようと思う。