Não Aqui!

Omar Zaidan; Jason Eisner. Modeling Annotators: A Generative Approach to Learning from Annotator Rationales.

近年，能動学習や半教師あり学習に見られるように，学習に必要な訓練例をできるだけ少なくするアプローチが盛んに提案されている．これに対し，本研究は訓練例をアノテーションするときに，その根拠情報（rationales）を示してもらうことで，学習器のパラメータθを，アノテータが暗に持っているパラメータθ*に近づけることを試みる．文xをラベルy = {+1, -1}に分類タスク（例えば評判情報のポジ・ネガ判定）を例に考えると，この問題設定における学習データは，{(x1, y1, r1), … (xN, yN, rN)}と表される．ここで，rは文書x中の根拠情報（正確には根拠情報の位置）を表す．学習器のパラメータをθとし，アノテータが根拠情報を付与する時のパラメータをφとすると，次式の（正則化付き）対数尤度を最大化したい．

Π p_θ(y,x) * p_φ(r|x,y,θ) * P_prior(θ,φ)

最初の要素は，通常の文書分類器，次の要素はアノテータが何処に根拠情報を付与するか予測するものである．文書分類器は，単語ユニグラムを素性とした最大エントロピー法でモデル化する．根拠情報rは，文書xの中で根拠情報の箇所にI, そうでない箇所にOをラベル付けする系列ラベリング問題であると考え，線形連鎖CRFでモデル化する．CRFの状態素性としては，文書のラベルyと位置mのユニグラム素性の重みθ_{x_m}の符号が一致し，かつ重みの絶対値が大きいときに強力に発火する素性g_rel，文書のラベルと位置mのユニグラムの重みθ_{x_m}の符号が異なり，かつ重みの絶対値が大きいときに強力に発火する素性g_antirelから構成される．パラメータ推定では，θとφを同時に最適化する必要があるが，θを固定してφをL-BFGSで最適化し，次にφを固定してθをL-BFGSで最適化する手順を繰り返す．評価実験では，映画の評判分析コーパスを用い，根拠情報を利用しない学習器と比較すると，根拠情報を用いる提案手法の方が，統計的に有意な差で優れていることが示している．

根拠情報を用いるというアイディア自体に加え，論文中における議論の組み立て方が非常に上手いので，お薦めの論文．冒頭から抽象的な話が続いて煙幕が張られるが，セクション5を読むとすっきり．根拠情報をモデルに取り込む方法は，他にもいろいろ考えられそう．