#1730. AmE-BrE 2006 Frequency Comparer[corpus][ame_bre][web_service][cgi][frequency][spelling]

　先日，Professor Paul Baker - Linguistics and English Language at Lancaster University というページを教えてもらった．Baker 氏の編纂した現代英語・米語コーパス BE06 と AmE06 の情報と，そこから抽出した単語リストが得られる．当該のコーパス自体は，ユーザIDを請求すれば，ランカスター大学の CQP (Corpus Query Processor) system よりアクセスできる．
　BE06 と AmE06 は，2006年前後に出版されたイギリス変種とアメリカ変種の書き言葉均衡コーパスである．編纂方式や構成は「#428. The Brown family of corpora の利用上の注意」 ([2010-06-29-1]) で紹介した The Brown family に準じており，500テキスト×2000語の計100万語ほどの規模だ．
　さて，上のページからダウンロードできる BE06 Wordlist in WordSmith 5 format と AmE06 Wordlist in WordSmith 5 format より（見出し語ではなく）語形による頻度表を抽出し，それぞれをデータベース化して，英米変種の語の頻度を比較してくれる AmE-BrE Frequency 2006 Comparer なるツールを作成してみた．

    

Sort: by AmE freq by BrE freq alphabetically nothing (non-regex mode only)

　入力するのは原則としてPerl5相当の正規表現だが，カンマ，タブ，改行などで区切った（非正規表現の）単語リストも受け付ける．1つの語形のみを入力したい場合には ^ と $ で挟んで ^loves$ のようにするか，あるいは "nothing (non-regex mode only)" のラジオボックスをオンにする．
　出力形式は，デフォルトではアメリカ英語コーパスにおける頻度の高い順でソートされるようになっている ("by AmE freq") が，イギリス英語コーパスの頻度順 ("by BrE freq")，語形のアルファベット順 ("alphabetically") も可能．単語リストで入力した場合に，入力したそのままの順序で出力したいときには，"nothing (non-regex mode only)" をオンにする．
　いずれも100万語規模の（今となっては）小さめのコーパスなので，語形によっては十分な頻度が得られないこともあるが，簡便に英米差をチェックしたいときには便利だろう．出力結果の WORD, AME_2006, BRE_2006 の3列を切り出して，最後の行にコーパスサイズとして "total\t1000000\t1000000" と補ったうえで，Log-Likelihood Tester, Ver. 1 に放り込めば，英米差を統計的に検定することができる．
　例として，「#244. 綴字の英米差のリスト」 ([2009-12-27-1]) のうち，とりわけよく知られている類の米英綴字のペアを抜き出したリストを挙げよう．以下をコピーして，上のテキストボックスに放り込み，"nothing (non-regex mode only)" を選択して実行すると，数値として米英差が実感できる．

acknowledgment, acknowledgement, aging, ageing, aluminum, aluminium, analyze, analyse, apologize, apologise, armor, armour, behavior, behaviour, center, centre, civilization, civilisation, color, colour, defense, defence, disk, disc, endeavor, endeavour, favor, favour, favorite, favourite, fiber, fibre, flavor, flavour, fulfill, fulfil, gray, grey, harbor, harbour, honor, honour, humor, humour, inquiry, enquiry, judgment, judgement, labor, labour, license, licence, liter, litre, marvelous, marvellous, mold, mould, mom, mum, neighbor, neighbour, neighborhood, neighbourhood, odor, odour, organize, organise, pajamas, pyjamas, parlor, parlour, program, programme, realize, realise, recognize, recognise, skeptic, sceptic, specter, spectre, sulfur, sulphur, theater, theatre, traveler, traveller, tumor, tumour

　これまでは，語彙や綴字に関する英米差のコーパスによる比較は，「#708. Frequency Sorter CGI」 ([2011-04-05-1]) を用いたり，「BNC Frequency Extractor」 ([2012-12-08-1]) と「#1322. ANC Frequency Extractor」 ([2012-12-09-1]) を組み合わせたり，the Brown Family corpora を併用するなど，各変種コーパスの個別比較により対処してきたが，今回のツールにより多少便利な環境ができた．

[ ツイート | 固定リンク | 印刷用ページ ]