月: 2009年2月

なにかの購入ページだか登録ページだかで、規約に同意する必要があって、規約へのリンクをクリックすると別ウインドウで規約のページが開いた。それを読んで、元のウインドウに切り替えて「同意する」というリンクをクリック。すると……

「セッションがタイムアウトしました」

……。

規約を読む人がいるとははなから思ってないらしい。21世紀ってさあ、どんどん滑稽になってきてるよね。

MeCab の Python バインディングを Windows で使う話の続き

先日、Windows で MeCab の Python バインディングを使うインストーラを作ったけど、このライブラリで、たとえば次のようなコードを書いて、test_mecab.py foo.txt のように適当なテキストファイルを食わせると、特定の行で python.exe が落ちることがある。（Windows での話で、たとえば Leopard では落ちなかった。）

# test_mecab.py

import sys
import MeCab

t = MeCab.Tagger()

for filename in sys.argv[1:]:
    for line in open(filename):
        sys.stdout.write(t.parse(line))

落ちる時はいつも同じ行で落ちる。が、その行の内容で決まるわけではないらしい（同じ内容の行でも別の場所にあるものは問題なかったりする）。C/C++ で libmecab.dll を使った同様のプログラムを書いて実行した場合は落ちない。また Python からでも、ctypes モジュールを使って libmecab.dll の C 関数を直接呼んで同様の処理をするスクリプトなら落ちない。

MeCab_wrap.cxx のどこで落ちているかまでは追いかけたけど、よくわからない。これ以上原因を探る気力もないし、ctypes モジュールを使って自分でラッパを書いたほうがいいだろうか……。

それにしても、今までよく知らなかったけど ctypes ってすごいですね。

ひらがな・カタカナを扱う Python 2.x モジュール (kana-r1345.zip)。

katakana(s)

文字列 s 内のひらがなをカタカナに変換。

>>> print kana.katakana(u'あいうえお')
アイウエオ

hiragana(s)

文字列 s 内のカタカナをひらがなに変換。

>>> print kana.hiragana(u'アイウエオ')
あいうえお

hankaku(s)

文字列 s 内の全角文字を半角文字に変換。

>>> print kana.hankaku(u'パンダ')
ﾊﾟﾝﾀﾞ

zenkaku(s)

文字列 s 内の半角文字を全角文字に変換。

>>> print kana.zenkaku(u'ﾊﾟﾝﾀﾞ')
パンダ

upper(s)

文字列 s 内の小書きのかなを非小書きのかなに変換。

>>> print kana.upper(u'キャッツアイ')
キヤツツアイ

lower(s)

文字列 s 内のかなを小書きのかなに変換。

>>> print kana.lower(u'キヤツツアイ')
キャッッァィ

（「キャッツアイ」になると思った人、残念でした！）

voiced(s)

文字列 s 内の清音かなを濁音がなに変換。

>>> print kana.voiced(u'カンタム')
ガンダム

unvoiced(s)

文字列 s 内の濁音がなを清音かなに変換。

>>> print kana.unvoiced(u'ジャイアン')
シャイアン

semivoiced(s)

文字列 s 内の清音かなを半濁音がなに変換。

>>> print kana.semivoiced(u'あさごはん')
あさごぱん

row(c)

かな文字 c の五十音表での行を返す。

>>> print kana.row(u'つ')
た

col(c)

かな文字 c の五十音表での段を返す。

>>> print kana.col(u'つ')
う

normalize(s)

かなを辞書順にソートするために文字列 s を正規化する。sort 関数の key 引数に渡して使うことを想定しています。

>>> print kana.normalize(u'インターネット')
インタアネット
>>> print kana.normalize(u'金子みすゞ')
金子みすず

バグなどあったらご報告ください。

さて、あと何か必要そうなのある？

漢字かな交じりの文字列と、その読みが与えられたときに、漢字とその部分の読みがなとをプログラム上で対応させる方法の私的メモ。限定的すぎる話でごめん。

「漢字かな交じり」という文字列に対して「かんじかなまじり」という読みがなが与えられたとする。これを、

漢字	か	な	交	じ	り
かんじ	か	な	ま	じ	り

のように、対応づけたい。楽をするために正規表現を使います。

import re

word = u'漢字かな交じり'
reading = u'かんじかなまじり'

まず、かな文字のテーブルを用意する。

kana_letters = u'あいうえおかきくけこ...'

続いて、以下のような正規表現を構築する。

rx_word = re.compile('([^%s]+|.)' % kana_letters)

これは、「かな文字以外の任意の文字の連続、またはかな1文字」を表している。この正規表現にマッチする単位で文字列を区切っていく。

L = rx_word.findall(word)

ここで L は [u'漢字', u'か', u'な', u'交', u'じ', u'り'] になっている。この単位で、今度は読みがなにマッチさせる正規表現を作る。

tokens = []
for term in L:
    if term in kana_letters:
        tokens.append('(%s)' % term)
    else:
        tokens.append('(.+)')
re_reading = '^%s$' % ''.join(tokens)
rx_reading = re.compile(re_reading)

分割された文字列がかな文字であればそれをそのまま、かなでなければ '.+' のパターンを割り当てて、それを連結する。re_reading は u'^(.+)(か)(な)(.+)(じ)(り)$' になっている。あとはお察しの通りこれを読みがな文字列である reading にマッチさせる。

m = rx_reading.match(reading)
if m:
    for term, term_reading in zip(L, m.groups()):
        print term, '-', term_reading

re_reading の各パターンを括弧でくくっておいたので、m.groups() でマッチ部分をリストとして取り出せる。この数は L に一致してるはずなので、zip 関数で双方をセットにしてひとつずつ取り出せる。

結果。

漢字 - かんじ
か - か
な - な
交 - ま
じ - じ
り - り

基本は以上。表記揺れとかカタカナ対応とか各漢字ごとの読みの推測などをやろうとすると他にも工夫が要るけど、骨子は同じ。