[2010-03-04-1]の記事「#311. girl とよく collocate する形容詞は何か」で，語と語の共起 (collocation) を測る計算法 (association measure) にはいくつかの種類があることを見た．コーパス言語学では，Log-Likelihood Test という検定にかかわる計算法が比較的よく使われているが，それぞれの計算法には特徴があるので，なるべく複数の方法を試すのがよい．今回は[2010-03-04-1]の内容と重複する部分もあるが，BNCweb で実装されている7種類の計算法の各々について Hoffmann et al. (149--58) を参照しながら，特徴および利用のヒントを示したい．
　各種の計算法は，(a) 共起頻度 (frequency of co-occurrence)，(b) 共起有意性 (significance of co-occurrence)，(c) エフェクト・サイズ (effect-size) の1つ，あるいは複数の組み合わせに基づいている．(b) は，共起が統計的に有意であるとの確信度を表わす指標であり，共起の強さを表わすものではないことに注意する必要がある．(c) は，観察頻度と期待頻度との比を計算の基本とする指標である．

　(1) Rank by frequency
　　観察される共起頻度そのものを用いる，最も単純で直感的な尺度．他の計算法のような複雑な統計処理はほどこされておらず，指標としては最も粗い．機能語や句読記号などが上位に来ることが多い．通常の共起分析には用いられない．

　(2) Log-likelihood
　　共起有意性を用いる．BNCweb のデフォルトの計算法で，コーパス研究で広く用いられている．機能語や句読記号などの極めて高頻度の語との共起や，逆に極めて低頻度の語（1, 2回など）との共起をはじく傾向がある．しかし，共起頻度の高い組み合わせに高得点を与えるという特徴があり，解釈には注意を要する．

　(3) Mutual information (MI)
　　エフェクト・サイズを用いる．非常によく用いられている計算法だが，利用に当たっては多くの注意を要する．機能語や句読記号などとのありふれた共起を効果的に排除してくれる点はよいが，反面，低頻度の共起表現への偏りが激しい．この偏りの影響を減じるために，BNCweb では "Freq(node, collocate) at least" を10以上に設定することが推奨される．これにより，"conspicuous and intuitively appealing collocations involving words of intermediate frequency" (Hoffmann et al. 154) が浮き彫りとなる．

　(4) T-score
　　共起頻度と共起有意性を考慮する計算法．期待頻度が1以下程度の稀な共起表現については Rank by frequency と似たような振る舞いをし，頻度の高い共起表現については共起有意性を反映した振る舞いをする．また，観察頻度が期待頻度よりも必ず高くなる．Log-likelihood と類似した結果となることが多いが，高頻度へのバイアスは一層強くなる．ノードそのものが1000回を大きく下回る場合に，効果を発揮することがある．

　(5) Z-score
　　共起有意性とエフェクト・サイズを考慮する計算法．高頻度の共起表現にはエフェクト・サイズをより重視するが，低頻度の共起表現にはそこまでエフェクト・サイズに寄りかからない．Log-likelihood と MI の両特徴を兼ね備えたような，バランスの取れた指標である．ただし，MI と同様に，低頻度の共起表現へのバイアスがみられるので，"Freq(node, collocate) at least" を5程度に設定するのがよいとされる．

　(6) MI3
　　共起頻度とエフェクト・サイズを考慮する計算法．MI のもつ低頻度表現への偏重を取り除くべく改善されている．低頻度共起表現にはエフェクト・サイズが，高頻度共起表現には共起頻度が，比較的よく反映される．POS による限定とともに用いると効果的．複数語からなる用語などの取り出しに威力を発揮する．しかし，全体としては高頻度共起表現へのバイアスが強く，一般的な共起分析には向かない．

　(7) Dice coefficient
　　MI3 と同様に，共起頻度とエフェクト・サイズを考慮する計算法．しかし，MI3と異なり，低頻度共起表現には共起頻度が，高頻度共起表現にはエフェクト・サイズがよく反映され，両者の切り替えが急なのが特徴的である．切り替えは，ノードそのものの頻度が共起表現の頻度の10倍ほどの点で起こるとされる．経験的に，Z-score と似たような結果が得られるが，Z-score ほど頻度に基づくバイアスが見られない．

　以上のように多種類あって目移りするが，Hoffmann et al. の見解によれば，単一基準の計算法としては Log-likelihood と MI がお勧めで，混合基準の計算法としては Z-score と Dice がお勧めとのことである．
　共起性の様々な計算法については，Association measures を参照．

　・ Hoffmann, Sebastian, Stefan Evert, Nicholas Smith, David Lee, and Ylva Berglund Prytz. Corpus Linguistics with BNCweb : A Practical Guide. Frankfurt am Main: Peter Lang, 2008.

[ ツイート | 固定リンク | 印刷用ページ ]