hellog〜英語史ブログ / 2015-09-19

■ #2336. Text Analyser --- 簡易テキスト統計分析器 [cgi][text_tool][web_service][corpus]

　最近では，テキスト分析のための高機能なツールが手軽に入手できるようになった．英語コーパスを分析するプログラムなどでは，使用語数に基づいて様々な統計値が計算され，見やすい形で提示される．そのようなツールを改めて公開する必要もないといえばないが，簡易テキスト統計分析器の CGI を作成してみたので，ここに hellog 版ということで設置しておきたい．テキストボックスに文章を投げ込むだけ．

　背後では Perl モジュール Lingua::EN::Fathom を使用しているが，語や文の認識や音節カウントなど，自動では完全解決の難しい問題も多くあるため，結果としての統計値は近似的なものとして理解されたい．今回のバージョンでは，以下の14の統計値を示すことにした．

　(1) Number of characters
　(2) Number of words (tokens)
　(3) Number of types
　(4) Type/token ratio
　(5) Per cent of complex words
　(6) Average syllables per word
　(7) Number of sentences
　(8) Average words per sentences
　(9) Number of text lines
　(10) Number of blank lines
　(11) Number of paragraphs
　(12) Fog index
　(13) Flesch reading ease score
　(14) Flesch-Kincaid grade level score

　多くの統計値の意味は自明と思われるが，いくつかについて注記しておく．(4) Type/token ratio は，語彙の多様性を示す指標である．テキスト内のすべての語が各々1度きり現われる場合には，最大値 1.0 を示す．ただし，テキストの長さに大きく依存するため，この指標単体ではさほど情報量はない．
　(5) Per cent of complex words の "complex words" とは，3音節以上の語の割合である．(12), (13), (14) は，テキストの読みやすさの指標であり，いずれも1文あたりの語数 (words_per_sentence) と1語あたりの音節数 (syllables_per_word) に基づいて計算されている．各指標の特徴と解釈の仕方を以下に略述する．

　(12) The Fog index
　読みやすさを表わす簡便な指標．( words_per_sentence + percent_complex_words ) * 0.4 で求めることができる．指標の数値は学年を表わし，その学年の標準的な生徒であれば，その文章を一度読んで理解できる水準といわれる．目安としては，8 = childish, 10 = acceptable, 12 = ideal, 14 = difficult, 18 = unreadable．

　(13) The Flesch reading ease score
　206.835 - (1.015 * words_per_sentence) - (84.6 * syllables_per_word) で求められる．最高点は100点で，指標が高ければ高いほど理解しやすいテキストである．60--70点が最適とされる．

　(14) Flesch-Kincaid grade level score
　(11.8 * syllables_per_word) + (0.39 * words_per_sentence) - 15.59 で求められる．指標は米国の学年を表わし，例えば 8.0 であれば，そのテキストは第8学年の生徒に理解できる水準ということになる．7.0--8.0 が最適値とされる．

[ 固定リンク | 印刷用ページ ]