足止め

只今複合語を仕込み中．

[複合語の作り方〜簡単レシピ〜]

材料：自然言語テキストファイル
　　：不要語リスト
　　：複合語作成ルール(秘密)
　　：マーキング用タグ
　　：デリミタ

道具：形態素解析器
　　：正規表現，パタンマッチ器，ノイズフィルタ
　　：if，else，while，for，配列，ハッシュ，etc
　　：CPUとメモリとディスクとetc
　　：ログインパスワード
　　
手順
　?　テキストファイルを1文献1レコードに成形．
　?　書誌情報等をタグでマークする．
　?　タイトルとアブストラクトを抜く
　?　文単位に区切った後，形態素解析する．
　?　(ファイルサイズが2.0Gを越えそうな場合はgzipなどで圧縮してもよい)
　?　不要語リストを参照し不要語を削除
　?　複合語作成ルールを適用
　?　それでもノイズがある場合はフィルタリングする．

以上でできあがり〜．
ポイントは不要語リスト．

はあ〜しかし待ち時間が4時間とかよくあるね．
こうして余計な時間があるおかげで，
仕事帰りにコーヒーを飲めなくなる．

しかし，対岸の火事は怖いね．
まさか，地下鉄火災であんなに人が死ぬのかと．
消防法とかはどうなんだろう，
電車とか駅の耐火性はどうなんだろう．
日本でも，放火人間一人によって
あんな惨事が起りうるのか？

犯人の精神状態はどうだったのだろう？
「異常」ではなかったのだろうか．
まぁたとえそう判断されなかったとしても
地下鉄に火をつけた奴は明らかに「異常」である．
医学タームによる精神異常とは言えないとしても，
その行為が相当に異常である．

通勤に週3回片道3時間以上要するという，
今の俺の朝晩の行為もかなり異常であるが．

そう考えると，自フェラは異常なのか？
無論，世の大半の野郎諸君は物理的に不可能
ではあろうが．世のいくらかの人間は，
試みるも無駄に終わる，だろうか．
俺は一番からだがやわらかい
中学の時にそれを試みたのだが，
予想を遥かに上回るほど及ばなかった．

***

昼はDavidsonの論文をとうとう読み始めた．
まだまだ序章．

ってか，34分回して12，000文書ぐらいの進捗．
合計72，000文書ある．
今日は複合語以降の処理は無理だ．
帰るしかない．