2010-08-15

夏バテの日々。

更新情報

『源氏物語の世界』校訂本文差分」というページを公開。くるってるとでもなんとでも言ってくれ、もうやっちゃったんだから。まじめに作業に集中すればおそらく三か月くらいで終わっただろうけど、だらだらと他のことの合間の合間くらいのペースでやってたので一年半かかってしまった。

源氏物語の本文というデータをウェブで自由に利用できる形で公開してるというのはとても価値のあることだと思う。それが少しでも正確でより良いものとなるのに協力できるのなら悪いことではないでしょう。

それにしても、「源氏物語の世界」のテキストを利用している人のうち、間違いに気づいたらちゃんと報告してる人はどれだけいるのかね!? そういうことも、インターネット時代のリテラシーのひとつだと思うのだけど。

以下この作業にまつわる雑談。

校正といっても、白状しますと本文を読んで目視校正したわけではない。ここで洗い出された疑問点は、基本的には渋谷氏が公開されているデータ自身から見つけ出されたものなのです。

どういうことかというと、「源氏物語の世界」では本文のローマ字版テキストも公開されている。そこで、ローマ字テキストを仮名に機械的に変換し、それをまたプログラムにより本文テキストと付き合わせて整合性を見る(もちろんそれもプログラムでやる)ことで、入力間違いをほぼ自動的に洗い出せる、と。

ローマ字版テキスト: naki tamahu
仮名に変換: なき たまふ
結果: 一致 不一致 
※ ここで本文に入力間違いがあることがわかる。
正規表現に変換: *き たふ
本文テキスト: 泣き たふ

細かいことを省くとこんな感じ。とはいえ、実際には当然ながらローマ字側にも入力間違いがあるので、まずそちらを校正しなければならなかった。また、誤りの個所がわかっても、正しくはどういう語が入るのかについては結局人間が判断して決めなければならない。微妙な例ならほかの全集の源氏物語の本文を引かなければならないものだってある。というわけで、そんなに楽な作業ではないことも確かだったのですよ。しかし結果としてはやってよかったと思う。

もともと僕にはある計画があって、それは自由に利用できる源氏物語の語彙データベースを作るというものです。各単語が分かち書きされているローマ字版テキストの存在は、そのデータベース作成にすごく役に立つ。もとの本文だと単語の区切り目がわからないから。で、ローマ字版と本文との突き合わせ処理をする必要があった。その作業の過程で生まれた副産物が「メカ紫」だったり、今回公開した「校訂本文差分」なわけです。ここ二年くらい僕のやってることは、駄目なのも多いけど、一応ぜんぶつながっているのだ。

2010-06-13

Unicode 文字列の折り返し処理をするスクリプト アップデート

先週の続き。

UAX #14 に書いてあることについて疑問があったので、Unicode.org のメーリングリストで質問して教えてもらったことを反映。ちょっと勘違いしてたとこがあった。

2010-06-05

Unicode 文字列の折り返し処理をするスクリプト

追記 アップデートあり

ときどき気が向いては Unicode の仕様書 (UAX) などを読んで遊んだりするんだけど、このたび少し形になったのでご紹介。

作り始めてから公開するまでたぶん三年くらいかかってる。「人生の 0.2 % ルール」によって生まれました。

下のやつはひとつの exe になってるので Python なくてもコマンドラインで動きます。

このスクリプトは、テキストファイルを等幅フォントできれいな見栄えになるように指定された桁数で折り返し整形します。よくあるやつです。が、折り返し処理に Unicode の Line Breaking Algorithm (UAX #14) を実装しています。結合文字やサロゲートペアにも対応しているので、アクセント記号付きアルファベットは当然として、小書きのプ―― U+31F7 (KATAKANA LETTER SMALL HU) U+309A (COMBINING KATAKANA-HIRAGANA SEMI-VOICED SOUND MARK) ――などが使われるアイヌ語のカタカナ表記や、新しく常用漢字に追加された口偏に「七」の「叱」に似た字形の U+20B9F などが使われた文書でも整形できます(それを表示できるエディタを探すほうがたいへんだけど)。

例:

Japanese:
+-------+-------+-------+-------+-------+-------+---
ある日の事でございます。御釈迦様は極楽の蓮池のふち
を、独りでぶらぶら御歩きになっていらっしゃいました。
池の中に咲いている蓮の花は、みんな玉のようにまっ白
で、そのまん中にある金色の蕊からは、何とも云えない好
い匂が、絶間なくあたりへ溢れて居ります。極楽は丁度朝
なのでございましょう。

English:
+-------+-------+-------+-------+-------+-------+---
Alice was beginning to get very tired of sitting by 
her sister on the bank, and of having nothing to 
do: once or twice she had peeped into the book her 
sister was reading, but it had no pictures or 
conversations in it, 'and what is the use of a 
book,' thought Alice 'without pictures or 
conversation?'

English, justified:
+-------+-------+-------+-------+-------+-------+---
Alice was beginning to get very tired of sitting  by
her sister on  the bank,  and of  having nothing  to
do: once or twice she  had peeped into the book  her
sister was  reading,  but  it  had  no  pictures  or
conversations in  it,  'and what  is  the use  of  a
book,'   thought   Alice   'without   pictures    or
conversation?'

French, justified:
+-------+-------+-------+-------+-------+-------+---
Pendant un  demi-siècle,  les bourgeoises  de  Pont-
l'Évêque  envièrent   à  Mme   Aubain  sa   servante
Félicité.

後半の例のように、justification もできます。

サロゲートペア対応などのため、Python 標準の unicodedata モジュールではなく、自前でおんなじようなライブラリをでっちあげてしまった。Python スクリプト版に同梱されている ucd ディレクトリに入っているモジュールがそれです。が、見ると目が腐る可能性があるので気をつけてください。

さて。この uniwrap.py はもとは等幅フォントを前提にした単なるユーティリティではなく、じつは文字列の幅情報を渡せば任意の論理幅で折り返し処理を行なうことができるクラスが入っているライブラリなのだ。だから GUI のテキスト描画にも使える(実際に wxPython と組み合わせて動いてるよ)。要は、まあ夢があるってことです。ドキュメントとかまだないから、細かくは書けないけど。

最後にコマンドライン・オプションの説明。

Usage: uniwrap.py [オプション] ファイル名

オプション:
  -h, --help            ヘルプの表示
  -e ENCODING, --encoding=ENCODING
                        ファイルのエンコーディング
  -x, --expand-tabs     タブをスペースに展開
  -j, --justify         両端揃え (justification)
  -r, --ruler           結果にルーラーを表示
  -t TAB_WIDTH, --tab-width=TAB_WIDTH
                        タブ幅 <8>
  -l, --legacy          全角・半角があいまいな文字を全角として扱う
  -w WRAP_WIDTH, --wrap-width=WRAP_WIDTH
                        折り返し桁数 <60>
  -c, --char-wrap       単純な折り返し処理

「全角・半角があいまいな文字を全角として扱う」は説明が必要かな。これは、要はキリル文字やギリシャ文字などを全角として扱うか半角として扱うかというオプションです。JIS の日本語文書では全角として扱われてますが、ユニバーサルな用途としては当然アルファベットのように扱う必要がある。デフォルトでは後者の扱いになっているので、日本語ローカルのエンコーディングで使う時はオンにしたほうがいい、と思う。

しかし uniwrap という名称は、Unicode に対応している折り返し処理、という意味で名づけたのだけど、なんか台所用品ぽいね……。

2010-04-16

さむい。

「せっかくだから俺はこの実装を選ぶぜ!!」

Python でイベント指向のプログラミングを実現する」という読みものを書きました。

Python で C# (というか .NET?)のイベント機構を実装するという、たぶん誰もが一度は考えるんだろうなあ、という話です。日本語では、tabesugi.net の新山さんが以前日記で触れてたはず。ググると同じような話題がたくさん見つかります。なのでそれらよりもちょっとだけ話を広げてます。Python のデスクリプタの解説が少なかったのでその紹介も兼ねてます。

イベントの利点の説明を省いたのはいくらなんでもなんだけど、書く気力がなかった…。

2010-04-02

ひみつメモ帳」0.8.6 を公開しました。

追記 ダウンロードのリンクが古いバージョンを指していたままだったので修正しました。(2010年4月3日)

主な変更点は OpenSSL 1.0.0 でコンパイルするなど。猿が書いたとか言われてますが猿未満のあたくしはありがたく使わせていただきますよ……。

じつは wxWidgets を使っているのは Mac OS X 版を作りたいからなのだけど、これがけっこうめんどくさい。いや、コンパイルが通るだけでもありがたいことはありがたい。でもメニュー構成あたりは当然プラットフォームに合わせないといけないし、なんか wxMac の Unicode まわりの扱いで躓いたりもして、前途は暗い。

wxTextCtrl というコントロールは Windows の Edit コントロールに相当するのだけど、これが Mac では Windows でいう Rich Edit コントロール相当のものになっている。なのでそのままだとフォントの大きさや色を変えたりできてしまう。もちろんそんなことされてもプレーンテキストベースのひみつメモ帳で保存することはできない。だからこの挙動は殺さなければならない。これは予想外だったので、じつはすごく困っている。

これならそれぞれのプラットフォームのネイティブのライブラリでメモ帳相当の機能作って OpenSSL とリンクしたほうが楽だったんじゃ……とか思ったり。