アサブロ検索

<< 2005/11 >>
日 月 火 水 木 金 土
01 02 03 04 05
06 07 08 09 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30

このブログについて

日本語全文検索システム Namazu の開発日記です。
　その他、鯰に関するもの何でも。

カテゴリ一覧

★★★★★

バックナンバー

リンク

天気予報


-天気予報コム- -FC2-

RSS

Re: NKF の UNICODE -> EUC-JP 変換における問題 ― 2005年11月27日 08時18分12秒

NKF における UNICODE マッピングの問題
UNICODE -> EUC-JP に変換した時に次のような変換が行われます。
2005-11-27版で次のように修正されました。 

                      NKF 2.0.4     NKF 2.0.5    2005-11-27版NKF
.
I    (U+0130)　　　(0x00)　　　　削除　　　　　削除
' 
y   (U+00fd)　　　(0xc0)　　　　削除　　　　　削除
-D  (U+00d0)　　　(0xc0)　　　　削除　　　　　削除
_
E   (U+0114)　　　(0x00)　　　　削除　　　　　削除
_
e   (U+0115)　　　@ (0x40)      削除　　　　　削除
'
g   (U+0123)　　　(0xc0)　　　　削除　　　　　削除
'
O   (U+01fe)　　　(0xc0)　　　　削除　　　　　削除
^
o   (U+01ff)　　　(0xc0)　　　　削除　　　　　削除

\   (U+00a5)　　　(0xc0)　　　　削除　　　　　削除
(c) (U+00a9)　　　(0x00)　　　　(0x00)        削除
(R) (U+00ae)　　　(0x80)　　　　削除　　　　　削除
* ここでテストした文字以外でも不具合が生じる可能性はあります。
NKF 2.0.4 では誤変換が多く、特に 0x00 に変換されるのものは C 言語で取り扱う際に不都合が生じます。
NKF 2.0.5 ではほぼ理想的に変換できない文字が削除されていますが、(c)だけは例外で 0x00 に変換されてしまいます。
開発中の2005-11-27版では、理想的にすべて削除されています。
テストが十分とは言えないので、 引き続きコード変換のテストは行いたいとは思いますが、 2005-11-27版の動作を見る限り、ひと安心です。
nkf 2.0.6 がリリースされたならば、2.0.6 を推奨としたいと思います。

by opengl2772 [開発] [コメント(0)｜トラックバック(1)]