hellog～英語史ブログ前の日次の日最新 2016-09 検索ページへランダム表示

hellog～英語史ブログ / 2016-09-07

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

2016-09-07 Wed

■ #2690. N-gram Tool [cgi][n-gram][statistics][corpus][web_service][frequency][cgi]

　n-gram は，言語統計やコーパス言語学の世界における基本的な概念・手段である（「#2324. n-gram」 ([2015-09-07-1]), 「#956. COCA N-Gram Search」 ([2011-12-09-1]) を参照）．テキストを指定してその n-gram を得るツールはネットその他にも遍在しているが，あえて簡易ツールをCGIで実装してみた．バックエンドに Perl モジュールの Text::Ngrams を用いている．

　使い方はおよそ自明だろう．適当な長さの英文テキストを投げ込めば，デフォルトでは単語ベースの 3-gram （およびそれ以下の 2-gram と 1-gram も含む）の一覧が絶対頻度の高い順に返される（出力行の制限はなし）．オプションにより単語ベースではなく文字ベースにも変更でき，n-gram のサイズも変えられる．出力については，頻度順ではなくアルファベット順にすること，出力行に制限を設けること，絶対頻度ではなく相対頻度（各 n-gram 内で合計すると1.0となる）で返すことも可能．
　なお，1-gram は入力テキストを構成する単語の頻度表となるので，その用途にも利用できる．簡易的な n-gram ツールとしてどうぞ．

[ 固定リンク | 印刷用ページ ]

最終更新時間: 2024-11-26 08:10