Home > 12月, 2008

2008.12.02

Log-linear models and conditional random fields

今年のCIKMチュートリアルLog-linear models and conditional random fieldsのノート.主にロジスティック回帰と条件付き確率場に関して,最尤推定(MLE)や尤度などの基本概念から丁寧に説明しています.

対数線形モデルに詳しい人なら,知っている内容が大半を占めると思います.特徴的なのは,

  • L-BFGSによるパラメータ推定が説明されていない
  • 代わりに,Stochastic gradient descent (SGD) が説明されている
  • Gibbs samplingによる最適パス計算が説明されている
  • 正則化に関して全く触れられていない
  • 参考文献にBergerやLaffertyの名前が一度も出てこない

上から3つは面白い試みですが,L2正則化はSGDでも簡単にできるので,触れても良かったんじゃないかなぁと思います.