Não Aqui!

CRFsuiteのバージョン0.6をリリースしました．変更点は以下の通りです．

• 確率的勾配降下法 (Stochastic Gradient Descent: SGD) に基づく学習アルゴリズムを実装した．ベースとなっているアルゴリズムは Pegasos で，L2正則化が利用可能．学習率 (η) の調節戦略は，sgd と同じです．SGDで学習を行うには，コマンドラインに，”-p algorithm=sgd” を追加．
• ベンチマークテストのページに，SGDアルゴリズムの性能，実装としての sgd と MALLET との比較を追加した．
• L-BFGSの実装をliblbfgs 1.7にアップデートした．
• 学習時のメモリ使用の無駄を減らし，節約した．
• アイテムの属性名にコロン（:）を含めることが出来るように，エスケープシーケンス “\:”  と “\\” を導入した．これに伴い，CoNLL-2000のチャンキングデータを学習データに変換する to_crfsuite.py を更新した．以前CRFsuiteをお使いの場合で，CoNLL-2000のデータを使っている場合は，新しいto_crfsuite.pyを使って，学習データを再生成してください．
• ソースコードを整理して，将来的に新しい学習アルゴリズムを実装しやすいようにした．
• 線形探索の試行回数を設定するパラメータを追加した．

今回の目玉は，何と言ってもSGDでしょう．先月，とある海外の人からsgd や MALLET と比較してみてはどうかとアドバイスをもらいました．前々からSGDを実装してみたいと思っていたので，「それならCRFsuiteに実装して比較してみる」と返事をしたのが，今回実装したきっかけです．CoNLL-2000のデータでベンチマークテストをしてみると，L-BFGSよりもSGDの方が，少ない反復回数でモデルを学習できるようです．CRFsuiteに実装したSGDのアルゴリズムなど，詳細については，また後で書くことにします．

CRFsuiteはコードの一般性を犠牲にして，速度を追求するポリシーだったのですが，L-BFGSとSGDで共通のコードを利用するために，一般性にちょっとだけ目がくらんでしまいました．具体的には，素性のモデル期待値，観測期待値を計算するところで，コールバック関数をガンガンに呼ぶように変更したのですが，これでL-BFGSを用いた学習は5%から10%くらい遅くなってしまいました．それだけシビアに高速化してあったということで･･･．ただ，いろいろな学習アルゴリズムを実装しやすくなったので，将来的に見れば良い変更だったと思います．

他に重要な変更点は，学習データの属性名（素性名）において，コロン（:）を”\:”というエスケープシーケンスで表現出来るようになったことです．以前からCRFsuiteは「attr:value」というフォーマットを認識可能だったのですが，属性名にたまたまコロンが使われていて，その後に数値表現が来たときに，その属性のスケーリングが意図せずに適用されてしまうことがありました．今回のバージョンからは，「属性名にコロンをどうしても使いたければ，”\:”と表現する」という扱いになったので，学習／テストデータの生成方法に注意してください．

ベンチマークの結果を見ているだけでも楽しいと思いますので，興味のある方はぜひお越し下さいませ．