Não Aqui!

Bioinformaticsに投稿していた論文が”Major revision”という判定で返ってきた．通常「条件付採録」とか「照会」は採録されることを暗に示すが，レビュー結果を伝えるメールに，「We would encourage you to …」みたいな表現がないので，「照会後判定」なのかもしれない．その割にはなぜか次はTeXファイルを提出しなきゃいけないみたいだが…．

基本的にレビューアーの意見は，

1. 評価コーパスの準備の仕方が恣意的
2. ある閾値の時，各システムがどういう間違いを犯し，その間違いがどのように分類でき，その数がどのくらいあるのか表にまとめて欲しい．
3. 現在の評価コーパスが現在のMEDLINEを代表するようなものになっていない
4. ２種類の評価コーパス毎に，精度－再現率のグラフを別に表示して欲しい
5. 提案している式の説明を拡充して欲しい
6. なぜHisamitsuさんの方法をベースラインシステムにしなかったのか？
7. これは辞書を構築する話というよりは，語彙を構築する話のように思える
8. アブストラクトがよく書かれていない

に集約される．評価の部分に論文の1/3を割き，従来研究よりはかなりまともな評価をやっているつもりなのに，さらに突込みが来るのは悲しいところだし，さらに上を目指せというのは，激励だと受け取っておこう．

D論の中間審査が終了した．準備不足だったので，スライドに間違いがあったり，いろいろと突っ込みを貰ったが，さほど問題なく２時間が過ぎた．以下は，突っ込まれた内容のまとめ．

• 要約という問題をどのように「定義」したかに関する議論が不足している．この分野での本当の「課題」は何なのか？
• 入力文書集合に矛盾する知識があるときに，果たしてシステムはうまく動作するのか（定式化の限界について）
• 重要文抽出というタスクの上限（人間がやった場合での限界など）に関する説明がない
• スライドには，重要文抽出の実験の設定が説明されていなかった
• bestシステムとの比較が明確ではなかった
• 重要文抽出の失敗解析が不十分
• 重要文抽出をやるときに，メタ情報（出典など）を明らかにするとどうなるのか？
• 文を並べるというタスクの限界について
• 情報を並べるタスクから文を並べるタスクに持っていくにはちょっと飛躍がある
• P38スライドの例がおかしい
• 要約の各コンポーネントを統合すると，当然うまくいかないケースが出てくるはずだが，その「ギクシャク感」についての説明があった方がおもしろい
• 略語の定義を括弧を用いて抽出しているのでさほど問題が生じていないが，例えば「～とは○○」という表現に着目して共起する表現を抜き出すと，定義の置換が100%成功するわけではなくなるが，そういうのは参考にならないか？