hellog〜英語史ブログ     ChangeLog 最新     カテゴリ最新     前ページ 1 2 3 次ページ / page 2 (3)

frequency - hellog〜英語史ブログ

最終更新時間: 2019-10-15 07:51

2014-09-18 Thu

#1970. 多義性と頻度の相関関係 [polysemy][zipfs_law][information_theory][frequency][statistics]

 基本語彙と呼ばれるものの多面的な性質について「#1960. 英語語彙のピラミッド構造」 ([2014-09-08-1]) で触れた.基本語彙とは,日常的で頻度が高く,早期に習得され,変化しにくく,意味・用法が多岐にわたるなどの特徴をもつ.関連する話題は,「#308. 現代英語の最頻英単語リスト」 ([2010-03-01-1]),「#1089. 情報理論と言語の余剰性」 ([2012-04-20-1]),「#1091. 言語の余剰性,頻度,費用」 ([2012-04-22-1]),「#1101. Zipf's law」 ([2012-05-02-1]),「#1874. 高頻度語の語義の保守性」 ([2014-06-14-1]),「#1961. 基本レベル範疇」 ([2014-09-09-1]),「#1965. 普遍的な語彙素」 ([2014-09-13-1]) その他の記事でいろいろと扱ってきた.
 今回は,この問題と関連して,高頻度語は多義的であるという命題について考えてみたい.頻度の高い語ほど語義を多くもち,頻度の低い語は語義を多くもたないということは言語使用の事実に照らして実証されるだろうか.また,理論的にいかに説明されるだろうか.Zipf's law で知られる Zipf は,情報理論の立場からこの課題に挑んだ.
 Zipf は,E. L. Thorndike の英語最頻20,000語と Thorndike-Century Senior Dictionary に基づき,語の頻度と語義数の相関関係を探った.この辞書は,古語や廃語などの特殊な register をもつ語義は掲載しておらず,一般的に用いられる語義のみを掲載している.丹念に調査した結果,ある頻度域と,そこに属する語が示す平均語義数との間に,明らかな相関関係が見いだされた.以下は,Zipf (253) に示されているグラフを再現したものである.両軸ともに対数軸であり,X軸は頻度順位を,Y軸は頻度域の平均語義数を表わす.

Zipf's Correlation between Word Frequency and Number of Senses

 傾きはほぼ0.5に等しく,これは話者の発話と聴者の聴解にかかる費用に関する理論の予測と符合するという.その理論の数学的裏付けは私の理解を超えるので解説できないが,Zipf は結論として語の語義数と頻度(順位)の関係について次のように定式化した (Zipf 255) .

. . . different meanings of a word will tend to be equal to the square root of its relative frequencies (with the possible exception of the few dozen most frequent words)


 背景には,多義の定義やある語の語義をいかに区分するかといった意味論の側で問うべき問題もおおいにあるが,示唆に富んだ結論である.関連して,「#1091. 言語の余剰性,頻度,費用」 ([2012-04-22-1]) や zipfs_law の各記事も参照されたい.

 ・ Zipf, G. K. "The Meaning-Frequency Relationship of Words." Journal of General Psychology 33 (1945): 251--66.

Referrer (Inside): [2018-08-18-1] [2016-08-07-1]

[ | 固定リンク | 印刷用ページ ]

2014-07-16 Wed

#1906. 言語変化のスケジュールは言語学的環境ごとに異なるか [speed_of_change][schedule_of_language_change][lexical_diffusion][wave_theory][frequency]

 「#1872. Constant Rate Hypothesis」 ([2014-06-12-1]) で Kroch の唱える言語変化のスケジュールに関する仮説を見た.新形が旧形を置き換える過程はおよそS字曲線で表わされ,そのパターンは異なる言語学的環境においても繰り返し現われるという仮説だ.異なる環境においても,その変化が同じタイミング,同じ変化率で進行するというのが,この仮説の要点である.もし環境ごとの曲線がパラレルではないように見える場合には,それは環境ごとに新形を受容する程度が,機能的,文体的な要因により異なるからである,と解釈する.
 しかし,Kroch のこの仮説に対立する仮説も提出されている.1つは「#1811. "The later a change begins, the sharper its slope becomes."」 ([2014-04-12-1]) で紹介した議論である.変化を表わす曲線は,環境ごとにパラレルではない.環境ごとに開始時期も異なるし変化率(速度)も異なる,という考え方だ.この仮説は,さらに一歩進んで,早く開始した環境では変化は相対的にゆっくり進行するが,遅く開始した環境では変化は相対的に急速に進行する,すなわち「早緩遅急」を主張する.私自身もこの議論に基づいて著わした論文がある (Hotta 2010, 2012) .
 さらに別の仮説もある.変化を表す曲線が環境ごとにパラレルではなく,環境ごとに開始時期も異なるし変化率(速度)も異なる,と主張する点では上述の「早緩遅急」の仮説と同じだが,むしろそれと逆のスケジュールを唱えるものがある.つまり,早く開始した環境では変化は相対的に急速に進行するが,遅く開始した環境では変化は相対的にゆっくりと進行する,と.「早緩遅急」ならぬ「早急遅緩」である.これは,Bailey が言語変化の原理として主張しているものの1つである.
 Bailey は言語変化のスケジュールに関して,2つの原理を唱えている.1つは言語変化はS字曲線を描くというもの,もう1つは上記の言語変化の「早急遅緩」という主張だ.それぞれ,主張箇所を引用しよう.

A given change begins quite gradually; after reaching a certain point (say, twenty per cent), it picks up momentum and proceeds at a much faster rate; and finally tails off slowly before reaching completion. The result is an ʃ-curve: the statistical differences among isolects in the middle relative times of the change will be greater than the statistical differences among the early and late isolects. (77)

What is quantitatively less is slower and later; what is more is earlier and faster. (If environment a is heavier-weighted than b, and if b is heavier than c, then: a > b > c.) (82)


 2点目の「早急遅緩」については,上の引用から分かるとおり,量的に多いか少ないか(端的にいえば頻度)というパラメータが関与しているしていることに注意されたい.結局のところ,言語変化のスケジュールが環境ごとに異なるかという問題は,言語変化のスケジュールを巡るもう1つの大きな問題,すなわち頻度と言語変化の順序という問題とも関与せざるを得ないのかもしれないと思わせる.
 現時点では,どの仮説を採るべきか決定することはできない.個別の言語変化について,事実を経験的に集めていくしかないのだろう.

 ・ Kroch, Anthony S. "Reflexes of Grammar in Patterns of Language Change." Language Variation and Change 1 (1989): 199--244.
 ・ Hotta, Ryuichi. "Leaders and Laggers of Language Change: Nominal Plural Forms in -s in Early Middle English." Journal of the Institute of Cultural Science (The 30th Anniversary Issue II) 68 (2010): 1--17.
 ・ Hotta, Ryuichi. "The Order and Schedule of Nominal Plural Formation Transfer in Three Southern Dialects of Early Middle English." English Historical Linguistics 2010: Selected Papers from the Sixteenth International Conference on English Historical Linguistics (ICEHL 16), Pécs, 22--27 August 2010. Ed. Irén Hegedüs and Alexandra Fodor. Amsterdam: John Benjamins, 2012. 94--113.
 ・ Bailey, Charles-James. Variation and Linguistic Theory. Washington, DC: Center for Applied Linguistics, 1973.

Referrer (Inside): [2016-05-04-1]

[ | 固定リンク | 印刷用ページ ]

2014-06-14 Sat

#1874. 高頻度語の語義の保守性 [semantics][semantic_change][frequency][speed_of_change]

 高頻度語は形態的に保守的だということは,よくいわれる.頻度と変化しやすさとの間に相関関係があるらしいことは,最近でも「#1864. ら抜き言葉と頻度効果」 ([2014-06-04-1]) で取り上げ,その記事の冒頭にもいくつかの記事へのリンクを張った (##694,1091,1239,1242,1243,1265,1286,1287,1864) .高頻度語はたいてい日常的な基礎語でもあることから,この問題は基礎語彙の保守性という問題にも通じる.実際,「#1128. glottochronology」 ([2012-05-29-1]) は,基礎語彙の保守性を前提とした仮説だった.
 語という記号 (sign) や形態という記号表現 (signifiant) について頻度と保守性の関係が指摘されるのならば,記号のもう1つの側面である記号内容 (signifié),すなわち意味についても同様の関係が指摘されてもよいはずだ.高頻度の意味であれば,変化しにくいといえるのではないか.Stern (185) は,高頻度語の語義の保守性に触れている.

It is well known that the most common words of a language retain most tenaciously old and otherwise discarded forms and inflections. It is reasonable to assume that a strong tradition has similar effects on meanings. Note, however, that the retention of one or more old meanings is no obstacle to the acquisition of new ones: frequency is only a conservative factor for already established meanings.


 高頻度の語義をもつ語はそれ自体が高頻度であり,日常的な基礎語である確率が高く,全体として保守的だろうとは予想される.しかし,なるほど Stern の述べる通り,その高頻度の語義は保守的だとしても,その語に比喩的・派生的な語義が新たに付加されることが妨げられるわけではない.むしろ,多くの場合,基礎語は多義である.
 Stern の言うように,形態についても意味についても,高頻度と保守性との相関関係は等しく認められるように思われる.しかし,1つ大きな違いがある.形態の変化を論じる場合には,新形が旧形に取って代わる過程,あるいは少なくとも両形が variants として並び立つ状況が前提とされる.一応のところ 各々の variant は明確に区別される.しかし,意味の変化を論じる場合には,新しい語義が古い語義を必ずしも置き換えるのではなく,その上に累積されてゆくことが多い.新旧 variants の置換や並立というよりは,それらが多義として積み重なっていく過程である.形態の保守性と意味の保守性は,この違いを意識しながら理解しておく必要があるだろう.関連して,「#1692. 意味と形態の関係」 ([2013-12-14-1]) の第3引用を参照されたい.

 ・ Stern, Gustaf. Meaning and Change of Meaning. Bloomington: Indiana UP, 1931.

[ | 固定リンク | 印刷用ページ ]

2014-06-04 Wed

#1864. ら抜き言葉と頻度効果 [frequency][lexical_diffusion][japanese][ranuki][japanese]

 言語変化における項目の頻度 (frequency) の役割について,frequency の各記事,とりわけ「#694. 高頻度語と不規則複数」 ([2011-03-22-1]),「#1091. 言語の余剰性,頻度,費用」 ([2012-04-22-1]),「#1239. Frequency Actuation Hypothesis」 ([2012-09-17-1]),「#1242. -ate 動詞の強勢移行」 ([2012-09-20-1]),「#1243. 語の頻度を考慮する通時的研究のために」 ([2012-09-21-1]),「#1265. 語の頻度と音韻変化の順序の関係に気づいていた Schuchardt」 ([2012-10-13-1]),「#1286. 形態音韻変化の異なる2種類の動機づけ」 ([2012-11-03-1]),「#1287. 動詞の強弱移行と頻度」 ([2012-11-04-1]) で様々に議論してきた.
 理論的な扱いとしては Phillips による「#1239. Frequency Actuation Hypothesis」 ([2012-09-17-1]) に関心を抱いているが,先日,現代日本語(東京共通語)のら抜き言葉 (innovative potential) の拡散を頻度の観点から調査した論文を見つけ,そこで提起されている "Revised Frequency Hypothesis of Analogical Leveling (RFH)" に目を引かれた.
 その論文で,著者の Matsuda はこれまでに指摘されてきた様々な言語学的,社会言語学的,文体的な要因がいかに関与的かを量的に明らかにしようとした.考慮されている変数は以下の通りである (12) .

I. Linguistic
   1. Length of the stem [measured in mora]
   2. Conjugation type of the verb: i-stem/e-stem
   3. Conjugation form following the potential suffix: Negative/Others
   4. Morphological structure of the preceding stem: Monomorphemic verb/Compound verb/Auxiliary verb/Causative verb
   5. Type of clause in which the potential form is embedded:
      Main clause
      Semi-embedded clause (Adverbial clause/Gerund)
      Embedded clause (Quote/Relative clause/Predicate complement clause/Noun complement clause)
II. Social
   1. Age
   2. Sex
   3. Area of residence: Uptown/Downtown
III. Style (taken from Labov & Sankoff, 1988)
   Casual (narrative, group, kids, tangent)
   Careful (response, language, soapbox, careful)


 Matsuda はこれらの変数(の組み合わせ)の効き目を量的に確かめていき,概ね各々がら抜き言葉の革新に関与的であることを示したが,Sex や Area of residence など有意差の出ない変数もあった.そして,これらの分析のあとで,従来の研究では考慮されてこなかった頻度という変数を導入した.Matsuda は,頻度効果というものを考えようとするときに,いったい何の頻度を考慮すればよいのかという本質的な問題に言及している.例えば mirare(ru)/mire(ru) (見られ(る)/見れ(る))の場合には,語幹 mir- の頻度を数えるべきのか,あるいは問題の接辞 -are/-e の頻度を数えるべきなのか.前者であれば,mir- のトークン頻度とタイプ頻度のどちらを問題にすべきなのか.英語の drive--drove など不規則変化動詞に見られる屈折現象を頻度の観点から分析する場合には,屈折した語形そのものの頻度を問題にすればよさそうだが,膠着的な日本語の mir-e(-ru) (見れ(る))の場合には,どの形態素の頻度を数えればよいのだろうか.
 以上のような考察を経て,Matsuda は屈折型と膠着型とでは考慮すべき頻度の単位が異なっているのではないかという仮説を唱える.これが上述の "Revised Frequency Hypothesis of Analogical Leveling (RFH)" (24) である.

In analogical leveling, the token frequency of the unit undergoing the leveling and its degree/rate of leveling tend to show an inverse correlation, where the "unit" is defined according to the degree of fusion of the form undergoing the leveling with its neighboring morpheme(s). If the form is highly fused with the neighboring morpheme, the whole (morpheme, form) combination counts as a "unit" whose frequency is to be measured. If it is not, the form alone counts as a "unit," and its own frequency suffices as a correlate of the rate of leveling.


 この仮説を採用すれば,今回のら抜き言葉の調査の結果が無理なく解釈できるという.つまり,ら抜き言葉の拡散に対して(反比例的に)関与的な頻度とは,問題の可能を表わす接辞 -are/-e それ自体のトークン頻度であり,前接する動詞語幹のトークン頻度やタイプ頻度ではない,と.
 おもしろい仮説のようにも思えるが,素朴な疑問として,頻度の低い接辞だからといって,なぜそれ自身の水平化(ら抜き化)が進むことになるのだろうか.-are にしても -e にしても頻度が低いのであれば,なぜ前者が後者に置換されてゆくことになるのだろうか.

 ・ Matsuda, Kenjiro. "Dissecting Analogical Leveling Quantitatively: The Case of the Innovative Potential Suffix in Tokyo Japanese." Language Variation and Change 5 (1993): 1--34.

[ | 固定リンク | 印刷用ページ ]

2014-04-03 Thu

#1802. ARCHER 3.2 [corpus][archer][mode][frequency]

 昨年末のことになるが,近代英米語コーパス ARCHER: A Representative Corpus of Historical English RegistersUntagged 版が公開された.詳細は,公式の Documentation,あるいは VARIENG によるコーパスの解説からどうぞ.英語史研究会のオンライン会報より,三浦あゆみさんの記事「ARCHERの新版公開」も参考になる.
 ARCHER は,1990年代初頭より Biber and Finegan が編纂してきたもので,現在では14の大学が合同で管理している.2013年に公開されたこの3.2版は Manchester 大学 ( David Denison and Nuria Yáñez-Bouza) による提供である.コーパスの内容と用途を端的に表現すれば,"a multi-genre historical corpus of British and American English covering the period 1600--1999. The corpus has been designed as a tool for the analysis of language change and variation in a range of written and speech-based registers of English." ということである.
 コーパスの規模は1,710ファイル,3,298,080語からなり,語数での英米比は6:4ほど.また,時期として8期,内容により12種類にジャンル分けされている (a = advertising, d = drama, f = fiction, h = sermons, j = journals, l = legal, m = medicine, n = news, p = early prose, s = science, x = letters, y = diaries) .ファイル数と語数の内訳は以下の通り.

BRITISHadfhjlmnpsxyTOTAL
1600--49files01000010001000030
words032,34200021,0260032,74100086,109
1650--99files0101110101021100107510177
words030,32841,66721,81821,18620,46623,81122,304021,42738,76720,488262,262
1700--49files0101110111014100107710173
words027,86244,05721,51123,26521,31522,06621,612020,81233,89620,495256,891
1750--99files10101010101020100107011181
words25,38627,48445,19821,75221,28420,36721,00223,172020,59929,58923,043278,876
1800--49files10101010111010100102510126
words30,80431,21145,10721,77723,24920,53120,28622,951021,01512,67120,883270,485
1850--99files10101010101010100102610126
words30,68434,85643,42721,32221,24320,75722,26523,072021,81010,81921,789272,044
1900--49files10111010101010100102910130
words26,71731,39145,40821,12322,20821,16020,21321,977021,66412,52922,424266,814
1950--99files10111010101013100102810132
words23,43732,20045,10921,09322,72320,72120,99422,935021,38511,36122,060264,018
TOTALfiles50827270728098701070330711,075
words137,028247,674309,973150,396155,158166,343150,637158,02332,741148,712149,632151,1821,957,499
AMERICANadfhjlmnpsxyTOTAL
1750--99files310101010129100105810152
words9,21429,98038,98021,27121,89641,17723,54122,265020,66827,86021,315278,167
1800--49files1101001012010010101083
words2,82240,56844,676021,47633,409037,107020,90420,73920,695242,396
1850--99files8101110101010100102811128
words24,48032,72144,39421,05622,43628,50620,54721,994021,31111,36123,419272,225
1900--49files101010010110150105210138
words30,46052,51453,430021,66121,607022,802020,98425,02120,731269,210
1950--99files10101010101210100123010134
words29,56331,03744,38221,05122,10925,51722,61723,069025,62311,96121,654278,583
TOTALfiles325051305057295505217851635
words96,539186,820225,86263,378109,578150,21666,705127,2370109,49096,942107,8141,340,581


 Documentation のページより,完全単語リストをダウンロード可能.タグ付きの検索が可能な版もいずれ公開されるということなので,期待したい.「#1752. interpretorinterpreter (2)」 ([2014-02-12-1]) の記事で少し使ってみたので,そちらも参照を.

[ | 固定リンク | 印刷用ページ ]

2014-02-03 Mon

#1743. ICE Frequency Comparer [corpus][web_service][cgi][frequency][new_englishes][variety]

 「#1730. AmE-BrE 2006 Frequency Comparer」 ([2014-01-21-1]), 「#1739. AmE-BrE Diachronic Frequency Comparer」 ([2014-01-30-1]) で,the Brown family of corpora ([2010-06-29-1]の記事「#428. The Brown family of corpora の利用上の注意」を参照)を利用した,変種間あるいは通時的な頻度比較ツールを作った.Brown family といえば,似たような設計で編まれた ICE (International Corpus of English) も想起される([2010-09-26-1]の記事「#517. ICE 提供の7種類の地域変種コーパス」を参照).1990年以降の書き言葉と話し言葉が納められた100万語規模のコーパス群で,互いに比較可能となるように作られている.
 そこで,手元にある ICE シリーズのうち,Canada, Jamaica, India, Singapore, the Philippines, Hong Kong の英語変種コーパス計6種を対象に,前と同じように頻度表を作り,データベース化し,頻度比較が可能となるツールを作成した.使い方については,「#1730. AmE-BrE 2006 Frequency Comparer」 ([2014-01-21-1]) を参照されたい.

    
Sort: ICE-Canada frequency ICE-Jamaica frequency ICE-India frequency ICE-Singapore frequency ICE-Philippines frequency ICE-Hong Kong frequency alphabetically nothing (non-regex mode only)


 どんな使い道があるかは,アイデア次第だが.例えば,"^snow(s|ed|ing)?$", "^Japan(ese)?$", "^bananas?$", "^Asia(n?)s?$" などで検索してみるとおもしろいかもしれない.

Referrer (Inside): [2015-04-22-1]

[ | 固定リンク | 印刷用ページ ]

2014-01-30 Thu

#1739. AmE-BrE Diachronic Frequency Comparer [corpus][ame_bre][web_service][cgi][frequency][representativeness]

 「#1730. AmE-BrE 2006 Frequency Comparer」 ([2014-01-21-1]) で,2006年前後の書き言葉テキストを編纂した英米各変種コーパスを紹介し,それに基づいた頻度比較ツールを作成・公開した.そのツールを作成しながら気づいたのだが,同じ方法で編纂され,規模も同じく100万語程度の the Brown family of corpora (「#428. The Brown family of corpora の利用上の注意」 ([2010-06-29-1]))と連携させれば,直近50年間ほどの通時的な英米間頻度比較が容易に可能となる.
 そこで,前の記事で紹介した Professor Paul Baker - Linguistics and English Language at Lancaster University による AmE06 と BrE06 に加えて,書き言葉アメリカ英語を代表する Brown (1961), Frown (1992),書き言葉イギリス英語を代表する LOB (1961), FLOB (1991) より語形頻度表を抽出し,合わせてデータベース化した.利用の仕方は,AmE-BrE 2006 Frequency Comparer とほぼ同じなので,そちらの取説 ([2014-01-21-1]) を参照されたい.ただし,出力される表では,問題の語形が出現するテキストの数や頻度順位は省いており,純粋に約100万語当たりの頻度を表示するにとどめているので,AmE06 と BE06 について前者の情報が必要な場合には,AmE-BrE 2006 Frequency Comparer をどうぞ.

    
Sort: by Brown freq by LOB freq by Frown freq by FLOB freq by AmE06 freq by BE06 freq alphabetically nothing (non-regex mode only)

 例えば,^movies?$ と入力してみると,伝統的にアメリカ英語的とされてきたこの語の分布が,過去50年ほどの間に,イギリス英語にも浸透してきている様子がわかる.
 英米差の通時的な変化を調査したいのであれば,単語だけではなく語句も受けつけ,かつ規模も巨大な「#607. Google Books Ngram Viewer」 ([2010-12-25-1]) のほうが簡便だろう.しかし,今回のツールは,the Brown family of corpora をベースにしているがゆえに,(1) 均衡かつ比較可能であり,(2) 「素性」がわかっている(再現可能性が確保されている)という利点があることは指摘しておきたい.望ましいのは,小型できめ細かなコーパスと,大型で傾向を大づかみにするコーパスとを上手に連携させることだろう.

[ | 固定リンク | 印刷用ページ ]

2014-01-21 Tue

#1730. AmE-BrE 2006 Frequency Comparer [corpus][ame_bre][web_service][cgi][frequency][spelling]

 先日,Professor Paul Baker - Linguistics and English Language at Lancaster University というページを教えてもらった.Baker 氏の編纂した現代英語・米語コーパス BE06 と AmE06 の情報と,そこから抽出した単語リストが得られる.当該のコーパス自体は,ユーザIDを請求すれば,ランカスター大学の CQP (Corpus Query Processor) system よりアクセスできる.
 BE06 と AmE06 は,2006年前後に出版されたイギリス変種とアメリカ変種の書き言葉均衡コーパスである.編纂方式や構成は「#428. The Brown family of corpora の利用上の注意」 ([2010-06-29-1]) で紹介した The Brown family に準じており,500テキスト×2000語の計100万語ほどの規模だ.
 さて,上のページからダウンロードできる BE06 Wordlist in WordSmith 5 formatAmE06 Wordlist in WordSmith 5 format より(見出し語ではなく)語形による頻度表を抽出し,それぞれをデータベース化して,英米変種の語の頻度を比較してくれる AmE-BrE Frequency 2006 Comparer なるツールを作成してみた.

    
Sort: by AmE freq by BrE freq alphabetically nothing (non-regex mode only)


 入力するのは原則としてPerl5相当の正規表現だが,カンマ,タブ,改行などで区切った(非正規表現の)単語リストも受け付ける.1つの語形のみを入力したい場合には ^ と $ で挟んで ^loves$ のようにするか,あるいは "nothing (non-regex mode only)" のラジオボックスをオンにする.
 出力形式は,デフォルトではアメリカ英語コーパスにおける頻度の高い順でソートされるようになっている ("by AmE freq") が,イギリス英語コーパスの頻度順 ("by BrE freq"),語形のアルファベット順 ("alphabetically") も可能.単語リストで入力した場合に,入力したそのままの順序で出力したいときには,"nothing (non-regex mode only)" をオンにする.
 いずれも100万語規模の(今となっては)小さめのコーパスなので,語形によっては十分な頻度が得られないこともあるが,簡便に英米差をチェックしたいときには便利だろう.出力結果の WORD, AME_2006, BRE_2006 の3列を切り出して,最後の行にコーパスサイズとして "total\t1000000\t1000000" と補ったうえで,Log-Likelihood Tester, Ver. 1 に放り込めば,英米差を統計的に検定することができる.
 例として,「#244. 綴字の英米差のリスト」 ([2009-12-27-1]) のうち,とりわけよく知られている類の米英綴字のペアを抜き出したリストを挙げよう.以下をコピーして,上のテキストボックスに放り込み,"nothing (non-regex mode only)" を選択して実行すると,数値として米英差が実感できる.

acknowledgment, acknowledgement, aging, ageing, aluminum, aluminium, analyze, analyse, apologize, apologise, armor, armour, behavior, behaviour, center, centre, civilization, civilisation, color, colour, defense, defence, disk, disc, endeavor, endeavour, favor, favour, favorite, favourite, fiber, fibre, flavor, flavour, fulfill, fulfil, gray, grey, harbor, harbour, honor, honour, humor, humour, inquiry, enquiry, judgment, judgement, labor, labour, license, licence, liter, litre, marvelous, marvellous, mold, mould, mom, mum, neighbor, neighbour, neighborhood, neighbourhood, odor, odour, organize, organise, pajamas, pyjamas, parlor, parlour, program, programme, realize, realise, recognize, recognise, skeptic, sceptic, specter, spectre, sulfur, sulphur, theater, theatre, traveler, traveller, tumor, tumour


 これまでは,語彙や綴字に関する英米差のコーパスによる比較は,「#708. Frequency Sorter CGI」 ([2011-04-05-1]) を用いたり,「BNC Frequency Extractor」 ([2012-12-08-1]) と「#1322. ANC Frequency Extractor」 ([2012-12-09-1]) を組み合わせたり,the Brown Family corpora を併用するなど,各変種コーパスの個別比較により対処してきたが,今回のツールにより多少便利な環境ができた.

[ | 固定リンク | 印刷用ページ ]

2013-08-24 Sat

#1580. 補充法研究の限界と可能性 [suppletion][analogy][arbitrariness][frequency][taboo][preterite-present_verb]

 補充法 (suppletion) は広く関心をもたれる言語の話題である.go -- went -- gone, be -- is -- am -- are -- was -- were -- been, good -- better -- best, bad -- worse -- worst, first -- second -- third など,なぜ同一体系のなかに異なる語幹が現われるのか不思議である.言語における不規則性の極みのように思われるから,とりわけ学習者の目にとまりやすい.
 しかし,専門の言語学においては,補充法への関心は必ずしも高くない.補充法を掘り下げて研究することには限界があると感じられているからだろう.その理由としては,(1) 単発であること,(2) 形態的に不規則で分析不可能であること,(3) 範列的な圧力 (paradigmatic pressure) から独立しており,形態的な類推 (analogy) が関与しないこと,などが挙げられる.つまり,個々の補充形は,文法のなかで体系的に扱うことができず,語彙項目として個別に登録されているにすぎないものと理解されている.一般にある語がなぜその形態を取っているのかが恣意的 (arbitrary) であるのと同様に,補充形がなぜその形態なのかも恣意的であり,より深く掘り下げられる種類の問題ではないということだろう.補充法の特徴を何かあぶりだせるとすれば,一握りの極めて高頻度の語にしか見られないということくらいである.
 Hogg は,一見すると矛盾するように思われる "Regular Suppletion" という題名を掲げて,補充法研究の限界を打ち破り,可能性を開こうとした.補充法は,形態理論の研究に重要な意味をもつという.Hogg は,英語史からの補充法の例により,次の4点を論じている.
 1つ目は,"the replacement of one suppletion by another" の例がみられることである.すでに古英語では yfel -- wyrsa -- wyrsta の補充法の比較が行なわれていたが,中英語では原級の語幹が入れ替わり,現代英語の bad -- worse -- worst へと至った.現在では,前者は evil -- more evil -- most evil となっている.yfel は極めて一般的な語義「悪い」を失い,宗教的な語義へ転じていったことにより,worse -- worst に対応する原級の地位を失い,後から一般的な語義を獲得した bad に席を譲ったということになる.Hogg は,古英語 *bæd はタブーだったために文証されていないだけであり,実際には14--18世紀に文証される badder -- baddest とともに,規則的な比較変化を示していたはずだと推測している (72) .あくまで仮説ではあるが,evilbad について,比較級変化は以下のような歴史的変化を経ただろうとしている (72) .

evilworseworse, more evilmore evil
badbadderworse, badderworse


 2つ目は,"the preference for suppletion over regularity" であり,go -- went に例をみることができる."to go" の補充過去形として古英語 ēode が中英語 went に置き換えられたことはよく知られている.それによって went の本来の現在形 wendwended という規則的な過去形を獲得したことが,英語史上も話題になっている.went の例で重要なのは,規則形よりも補充形が好まれるという補充法の傾向を示すものではないかということだ.ただし,北部方言やスコットランド方言では,別途,規則形 gaidgaed が生み出されたという事実もある.
 3つ目は,"the addition of regularity without disturbance of the suppletion" である.古英語 bēon の3人称複数現在形の1つ syndon は,印欧祖語 *-es からの歴史的な発展形である syndsynt という補充形に,過去現在動詞 (preterite-present_verb) の現在複数屈折語尾 -on を加えたものである.本来的に形態的類推を寄せつけないはずの語幹に,形態的類推による屈折語尾を付加した興味深い例である.これは,上で触れた (2), (3) の反例を提供する.
 4つ目は,"the creation of a new regular inflection on the basis of suppletion" である.古英語 bēon の1人称現在単数形の1つ (e)am は,Anglia 方言では語尾 -m の類推により非歴史的な bīom を生み出した.同方言ではこれが一般動詞に及び,非歴史的な1人称現在単数形 flēom (I flee) や sēom (I see) をも生み出すことになった.本来,補充形の内部にあって分析されないはずの -m がいまや形態素化したことになる.
 Hogg (80--81) は,以上のように補充法の語彙的,形態的な注目点を明らかにしたうえで,"[S]uppletion is not merely a linguistic freak which does no more than give a small amount of pleasure to a rather giggling schoolboy. . . . [S]uppletion is a dynamic process." と述べ,補充法研究の可能性を探りながら,論文を閉じている.

 ・ Hogg, Richard. "Regular Suppletion." Motives for Language Change. Ed. Raymond Hickey. Cambridge: CUP, 2003. 71--81.

Referrer (Inside): [2018-10-08-1]

[ | 固定リンク | 印刷用ページ ]

2013-04-06 Sat

#1440. 音節頻度ランキング [syllable][corpus][lexicon][phonetics][frequency][statistics]

 「#1424. CELEX2」 ([2013-03-21-1]) で紹介した巨大データベースで何かしてみようと考え,Version 2 で新たに加えられた音節頻度 (English Frequency, Syllables) のサブデータベースにより,現代英語で最も多い音節タイプのランキングを得た.
 これは,CELEX2 のもとになっているコーパス全体のうち,7.26%を構成する約130万語の話し言葉サブコーパスから引き出された音節頻度であり,タイプ頻度ではなくトークン頻度によるものである.つまり,話し言葉におけるある単語の頻度が高ければ,その分,その単語に含まれる音節タイプの頻度も高くなるということである.例えば,of を構成する "Ov" (= /ɒv/) と表現される音節は,第4位の頻度である.なお,強勢の有無は考慮せずに頻度を数えている.
 以下のリストに挙げる音素表記は,IPA ではなく CELEX 仕様の独特の表記なので,先に対応表を挙げておこう.

CELEX2 Phonetic Character Set

 では,以下にランキング表でトップ50位までを掲載する.高頻度の単音節語の音節タイプがそのまま上位に反映されていて,あまりおもしろい表ではないが,何かの役に立つときもあるかもしれない.

RankSyllableFrequency
1eI72971
2Di:60967
3tu:31446
4Ov30108
5In29906
6&nd28709
7aI23822
8lI19728
9@19566
10rI14356
11ju:12598
12dI12465
13D&t12118
14It11504
15wOz10834
16fO:r*9778
17Iz9517
18tI9161
19fO9042
20Sn,8969
21hi:8928
22r@n8638
23bi:8505
24bI7936
25nI7068
26wID7046
27On7030
28&z6919
29O:l6569
30h&d6240
31E6165
32bl,6021
33sI5836
34@U5824
35t@r*5687
36&t5652
37hIz5564
38bVt5416
39mI5397
40s@5391
41nOt5357
42D@r*5339
43I5283
44tId5259
45DeI5162
46IN5063
47t@5053
48s@U4974
49baI4894
50h&v4769


 全ランキング表を見たい方は,タブ区切り形式で Syllable Frequency Rank Table by CELEX2 を参照.ブラウザ上で閲覧したい方は,こちらからどうぞ.全体としては11492の異なる音節タイプが登録されており,頻度が1以上のものは7934タイプある.「#1023. 日本語の拍の種類と数」 ([2012-02-14-1]) の最後で,英語の音節タイプが日本語に比べて驚くほど多種多様であることに触れたが,この数をみれば納得できるだろう.関連して,syllable の各記事を参照.
 なお,CELEX2 のマニュアルには以下の但し書きが記されていたので,再掲しておく.

Please note that the English corpus used by CELEX for deriving these frequencies contains only 7.3% spoken material. This means there is a rather tenuous relationship between the full frequency figures, which are based on written forms, and the syllable frequencies, which merely refer to phonemic conversions of these graphemic transcriptions. Of course it could be argued that frequencies of syllables, as lexical sub-units, are less liable to get skewed from differences in medium than full words, but it has to be taken into account that NO FIRM EVIDENCE ABOUT SPOKEN FREQUENCIES can be derived from these data.

Referrer (Inside): [2019-07-03-1]

[ | 固定リンク | 印刷用ページ ]

2013-03-21 Thu

#1424. CELEX2 [corpus][dictionary][statistics][frequency][lexicology]

 英単語の頻度に関連する諸研究(Betty Phillips など)で,CELEX という語彙データベースが使用されているのを見かけることがある.現在取りかかっている研究で,巨大コーパスに基づいた信頼できる語彙頻度統計が必要になったので,郵送料込みで350ドルするこの高価なデータベースを入手してみた.現行版は第2版であり,CELEX2 として購入できる.(なお,予想していなかったが,入手した CD-ROM には,LDC99T42 というデータベースも含まれていた.ここには tagged Brown Corpus, Wall Street Journal, Switchboard tagged など Treebank 系のコーパスが入っている.)
 さて,CELEX2 には,英語語彙に関する複数のデータベースが納められている.それぞれのデータベースには,正書法,音韻,音節,形態,統語の各観点から,見出し語 (lemma) あるいは語形 (wordform) ごとに,ソース・コーパス内での頻度等の情報が格納されている.具体的には,次の11のデータベースが利用可能である.

 ect (English Corpus Types)
 efl (English Frequency, Lemmas)
 efs (English Frequency, Syllables)
 efw (English Frequency, Wordforms)
 eml (English Morphology, Lemmas)
 emw (English Morphology, Wordforms)
 eol (English Orthography, Lemmas)
 eow (English Orthography, Wordforms)
 epl (English Phonology, Lemmas)
 epw (English Phonology, Wordforms)
 esl (English Syntax, Lemmas)

 見出し語あるいは語形ごとの token 頻度の取り出しに強いデータベースという認識で購入したが,実際には,含まれている情報の種類は驚くほど豊富で,11のデータベースすべてを合わせたフィールド数はのべ250以上に及ぶ.行数は efl で52,447行,efw で160,595行という巨大さだ.検索用の SQLite DB をこしらえたら,容量にして90MBを超えてしまった.
 CELEX2 のソースは,辞書情報については Oxford Advanced Learner's Dictionary (1974) 及び Longman Dictionary of Contemporary English (1978) であり,頻度情報については 1790万語からなる COBUILD/Birmingham corpus である.このコーパスの構成は,1660万語 (92.74%) が書き言葉コーパス,130万語 (7.26%) が話し言葉コーパスで,前者を構成する284テキストのうち44テキスト (15.49%) がアメリカ英語である.しかし,これらのアメリカ英語はほとんどがイギリス英語の綴字に直されていることに注意したい.
 CELEX2 における "lemma" の定義は,以下の5点に依存する.

 (1) orthography of the wordforms: peek vs peak
 (2) syntactic class: meet (adj.) vs meet (adv.)
 (3) inflectional paradigm: water (v.) vs water (n.)
 (4) morphological structure: rubber (someone or something that rubs) vs rubber (the elastic substance)
 (5) pronunciation of the wordforms: recount [ˈriː-kaʊnt] vs recount [rɪ-ˈkaʊnt]

 したがって,通常異なる lexeme として扱われる bank (土手)と bank (銀行)などは,CELEX2 では同一の lemma として扱われているので注意が必要である.
 このように CELEX2 は非常に強力な語彙頻度データベースだが,その他にも語彙頻度研究に資するデータベースやツールは存在する.本ブログで触れたものとしては,frequency statistics lexicology の各記事や,特に以下の記事が参考になるだろう.

 ・ 「#308. 現代英語の最頻英単語リスト」 ([2010-03-01-1])
 ・ 「#607. Google Books Ngram Viewer」 ([2010-12-25-1])
 ・ 「#708. Frequency Sorter CGI」 ([2011-04-05-1])
 ・ 「#1159. MRC Psycholinguistic Database Search」 ([2012-06-29-1])

 ・ Baayen R. H., R. Piepenbrock and L. Gulikers. CELEX2. CD-ROM. Philadelphia: Linguistic Data Consortium, 1996.

[ | 固定リンク | 印刷用ページ ]

2013-01-09 Wed

#1353. 後舌高母音の長短 [pronunciation][phonetics][spelling][vowel][phoneme][frequency][variation]

 [2012-02-13-1]の記事「#1022. 英語の各音素の生起頻度」で確認できるように,/ʊ/ は英語の短母音音素のなかで最も生起頻度の低いものである.綴字としては,典型的に <oo> や <u> で表わされる音素だが,前者は /uː/,後者は /ʌ/ として実現されることも多いので,実際にはそれほど現われない.具体的にはどのくらいあるのだろうか.
 「#1191. Pronunciation Search」 ([2012-07-31-1]) で,「/ʊ/ + 子音」で終わる単音節語を拾ってみた.検索欄に "^[^AEIOU]*(?<!Y )UH[012]? [^AEIOUHWY]+$" と入れてみると次の159語が挙がった.

bloor, book, book's, booked, books, books', boor, boord, boors, bourque, brook, brook's, brooke, brooke's, brookes, brooks, brooks's, bruehl, bull, bull's, bulls, bulls', cook, cook's, cooke, cooked, cooks, could, crook, crooke, crooks, duerr, duerst, flook, fluhr, fooks, foor, foot, foote, foote's, foots, fuhr, fuld, full, full's, fulp, fults, fultz, gloor, good, good's, goode, goods, gook, hood, hoods, hoofed, hoofs, hook, hook's, hooke, hooked, hooks, hooves, joong, jure, kook, kooks, koors, kuehl, kuhrt, look, looked, looks, loong, luehrs, luhr, luhrs, lure, lured, lures, mook, moor, moore, moore's, moored, moores, moors, muhr, nook, nooks, poor, poor's, poore, poors, pull, pulled, pulls, puls, pultz, put, puts, rook, rooke, rooks, routes, ruehl, ruhr, schnooks, schnoor, schoof, schook, schultz, schulz, schulze, schuur, shook, should, shultz, shure, snook, snooks, soot, soots, spoor, spoor's, stood, stroock, stuhr, suire, sure, took, tooke, tookes, tour, tour's, toured, tours, ture, uhr, wolf, wolf's, wolfe, wolfe's, wolff, wolves, wood, wood's, woods, wool, woolf, wools, woong, would, wuertz, wulf, wulff, zook, zuehlke


 一方で,対応する長母音 /uː/ や中舌母音 /ʌ/ をもつ単音節語は,同様の条件検索 "^[^AEIOU]*(?<!Y )UW[012]? [^AEIOUHWY]+$" および "^[^AEIOU]*(?<!Y )AH[012]? [^AEIOUHWY]+$" によれば,それぞれ596語,966語がヒットした.限定された音声環境における調査ではあるが,相対的に /ʊ/ をもつ単語が少ないことがわかる.
 上の171語のうち,<oo> = /ʊ/ の関係を示すものは95語ある.この綴字と発音の関係の背景には,「#547. <oo> の綴字に対応する3種類の発音」 ([2010-10-26-1]) および「#1297. does, done の母音」 ([2012-11-14-1]) で述べた通り,長母音の短母音化という音韻変化があった.
 この音韻変化は過去のものではあるが,その余波は現代でも少数の語において散発的に見られる.例えば,「発音の揺れを示す語の一覧」 ([2010-08-28-1]) で確認できる限り,room, bedroom, broom の発音は,長母音と短母音の間で揺れを示す.LPD の Preference polls によれば,揺れの分布は以下の通り.


BrE /ruːm/BrE /rʊm/AmE /ruːm/AmE /rʊm/
room81%19937
bedroom6337--
broom928--


 関連して,「#1094. <o> の綴字で /u/ の母音を表わす例」 ([2012-04-25-1]) も参照.長母音 /uː/ については,「#841. yod-dropping」 ([2011-08-16-1]) も関与する.

 ・ Wells, J C. ed. Longman Pronunciation Dictionary. 3rd ed. Harlow: Pearson Education, 2008.

[ | 固定リンク | 印刷用ページ ]

2013-01-02 Wed

#1346. 付加疑問はどのくらいよく使われるか? [interrogative][tag_question][ame_bre][corpus][frequency][statistics]

 現代英語の会話では,付加疑問がよく使われる.だが,具体的にどのくらいよく使われるのだろうか.そもそも一般的に疑問文はどのくらいの頻度で生起するのか.そのなかで,付加疑問はどれくらいの割合を占めるのか.このような疑問を抱いたら,まず当たるべきは Biber et al. の LGSWE である.
 最初の問題については,p. 211 に解答が与えられている.疑問符の数による粗い調査だが,CONV(ERSATION) では40語に1つ疑問符が含まれているという.会話コーパスでは,転写上,疑問符が控えめに反映されている可能性が高く,実際には数値以上の頻度で疑問文が生起しているはずである.テキストタイプでいえば,次に大きく差を開けられて FICT(ION) が続き,NEWS と ACAD(EMIC) では疑問文の頻度は限りなく低い.
 次に,各サブコーパスにおいて,疑問文全体における付加疑問の生起する割合はどのくらいか.p. 212 に掲載されている統計結果を以下のようにまとめた.各列を縦に足すと100%となる表である.

(* = 5%; ~ = less than 2.5%)CONVFICTNEWSACAD
independent clausewh-question******************************
yes/no-question************************
alternative question~~~~
declarative question***~~
fragmentswh-question******
other********
tagpositive*~~~
negative*****~~


 CONV において付加疑問の生起比率が高いことは当然のように予測されたが,同サブコーパスの疑問表現全体のなかで25%を占めるということは発見だった.そのなかでも,肯定の is it? よりも否定の isn't it? のタイプのほうがずっと多い.また,FICT が CONV におよそ準ずる分布を示すのは,フィクション内の会話部分の貢献だろう.一方,NEWS と ACAD で付加疑問の比率が低いのは,この表現と対話との結びつきを強く示唆するものである.また,この2つのサブコーパスでは,完全な独立節での疑問文,特に wh-question が相対的に多いのが注意を引く.
 付加疑問の生起比率に関心をもったのは,実は,Schmitt and Marsden (192) に次のような記述を見つけたからだった.

Tag questions (i.e., regular questioning expressions tagged onto a sentence) exist in both American and British English, with British speakers perhaps using them more than Americans: "That's not very nice, is it?" Peremptory and aggressive tags tend to be used more in British English than in American English: "Well, I don't know, do I?" (192)


 残念ながら,Biber et al. では付加疑問の頻度の英米差を確かめることはできない.別途,英米のコーパスで調べる必要があるだろう.

 ・ Schmitt, Norbert, and Richard Marsden. Why Is English Like That? Ann Arbor, Mich.: U of Michigan P, 2006.
 ・ Biber, Douglas, Stig Johansson, Geoffrey Leech, Susan Conrad, and Edward Finegan. Longman Grammar of Spoken and Written English. Harlow: Pearson Education, 1999.

[ | 固定リンク | 印刷用ページ ]

2012-12-12 Wed

#1325. 会話で否定形が多い理由 [corpus][negative][frequency]

 Cheshire (115) を読んでいて,現代英語に関する記述として,会話において否定形が多く使われるという言及に遭遇した.直感的には確かにそのように思われるが,客観的な裏付けはあるのだろうかと,LGSWE に当たってみた.すると,関連する記述が pp. 159--60 に見つかった.
 否定形にも様々な種類があるが,4つの使用域のそれぞれについて,コーパスを用いて "Distribution of not/n't v. other negative forms" を調査した結果が示されていた.100万語当たりの生起数を,グラフと表で示そう.

Distribution of <em>not</em>/<em>n't</em> v. Other Negative Forms

not/n'tother negative forms
CONV195002500
FICT95004000
NEWS45002000
ACAD35001500


 会話で否定形が頻出する理由として,LGSWE は以下を挙げている.

 (1) 会話では他のレジスターよりも動詞が多い.否定は動詞と最も強く結びつくので,会話で否定が多いのは当然予想される.
 (2) 会話では他のレジスターよりも節が短く,多い.その分,否定の節も多くなることは当然予想される.
 (3) 会話では表現の反復が多い.否定形の反復もそれに含まれる.
 (4) 多重否定や付加疑問など,話しことばに典型的な否定構文というものがある.
 (5) not と強く共起する動詞があり,それらはとりわけ会話において頻度が高い.例えば,forget, know, mind, remember, think, want, worry などの心理動詞など.
 (6) 会話には相手がおり,意見の一致や不一致に関わる表現が多くなる.会話では,not のみならず no や他の否定辞も頻出する.

 CONV の次に FICT に否定形が多いのは,おそらくフィクションにおける対話部分が貢献しているからだろう.また,(1) については,会話には全体として動詞が多く生起するという事情も関与しているだろう.

 ・ Cheshire, Jenny. "Double Negatives are Illogical." Language Myths. Ed. Laurie Bauer and Peter Trudgill. London: Penguin, 1998. 113--22.
 ・ Biber, Douglas, Stig Johansson, Geoffrey Leech, Susan Conrad, and Edward Finegan. Longman Grammar of Spoken and Written English. Harlow: Pearson Education, 1999.

[ | 固定リンク | 印刷用ページ ]

2012-12-09 Sun

#1322. ANC Frequency Extractor [cgi][web_service][frequency][corpus][anc]

 昨日の記事「#1321. BNC Frequency Extractor」 ([2012-12-08-1]) に引き続き,ANC (American National Corpus) に基づく頻度表がANC Second Release Frequency Data のページに公開されていたので,"ANC Frequency Extractor" を作成した.

    


 仕様は,"BNC Frequency Extractor" と少々異なる.データベースは SQLite で,select 文のみ有効というのは同様.テーブルは "anc" (コーパス全体),"written" (書き言葉コーパス),"spoken" (話し言葉コーパス) ,"token" (語形ごとの頻度と生起率)の4種類.フィールドは,"anc", "written", "spoken" の各テーブルについては,"word", "lemma", "pos", "freq" の4つ,"token" のテーブルについては,"word", "freq", "ratio" の3つである.POS-tag については,Penn Treebank Tagset を参照.
 以下に,検索式をいくつか挙げておこう.

# 書き言葉テキストで,英米差があるとされる "diarrhoea" vs. "diarrhea" の綴字の生起頻度を確認
select * from written where word like "diarrh%"

# 書き言葉テキストで,英米差があるとされる "judgement" vs. "judgment" の綴字の生起頻度を確認.(その他,[2009-12-27-1]の記事「#244. 綴字の英米差のリスト」の綴字を放り込んでゆくとおもしろい.)
select * from written where word like "judg%ment%"

# -ly で終わらない副詞を探す(flat adverb かもしれない例を探す)
select * from anc where lemma not like "%ly" and pos like "RB%"

# -s で終わる副詞を探す(adverbial genitive の名残かもしれない例を探す)
select * from anc where pos like "RB%" and word like "%s"

# 単数名詞と複数名詞の token 数の比較を written subcorpus と spoken subcorpus で([2011-06-07-1]の記事「#771. 名詞の単数形と複数形の頻度」を参照)
select pos, sum(freq) from written where pos in ("NN", "NNS") group by pos
select pos, sum(freq) from spoken where pos in ("NN", "NNS") group by pos
select pos, sum(freq) from anc where pos in ("NN", "NNS") group by pos


 ANC は有料だが,そこから抜粋された OANC (Open American National Corpus) は無料.ANC 及び OANC については,「#708. Frequency Sorter CGI」 ([2011-04-05-1]) や「#509. Dracula に現れる whilst (2)」 ([2010-09-18-1]) を参照.
 "BNC Frequency Extractor" と "ANC Frequency Extractor" を組み合わせて使えば,語彙の英米差について頻度の観点から簡単に調査できる.

Referrer (Inside): [2014-01-21-1]

[ | 固定リンク | 印刷用ページ ]

2012-12-08 Sat

#1321. BNC Frequency Extractor [cgi][web_service][frequency][corpus][bnc]

 Adam Kilgarriff が公開している BNC database and word frequency lists から,見出し語化されていない頻度表 (unlemmatised lists) をダウンロードし,検索できるようにデータベースをこしらえた.

    


 仕様の説明.データベースには SQLite を用いており,SQL対応.select 文のみ有効.テーブルは "bnc" (コーパス全体),"written" (書き言葉コーパス),"demog" ('demographic' spoken material) ,"cg" ('context-governed' spoken material) ,"variances" (計算された分散その他の値を含む)の5種類.variances を除く4テーブルについては,フィールドは "freq" (頻度), "word" (語形), "pos" (品詞;BNC CLAWS POS-tags の一覧を参照), "files" (その語形が生起しているテキスト数)の4つ.variances のテーブルについては,上記4フィールドに加えて,"mean" (= freq / files) ,"variance" (分散),"variance_to_mean" (= variance / mean) の3つが設定されている.variances の計算基準となっているサブコーパスは,5000語以上を含む書き言葉テキストということで,全体としては約1千万語(BNC全体の約1割)である.具体的には,"select * from bnc limit 10" や "select * from variances limit 10" などとすれば,データの格納のされ方を確かめることができる.
 以下に,典型的な検索式を挙げておこう.

# 書き言葉テキストで,英米差があるとされる "diarrhoea" vs. "diarrhea" の綴字の生起頻度を確認
select * from written where word like "diarrh%"

# s で始まる語形を分散の高い順に
select * from variances where word like "s%" order by variance desc limit 100

# 母音変異の複数形を示す語の単数形の頻度(cf. 「#708. Frequency Sorter CGI」([2011-04-05-1]) の例では lemma 検索だった)
select * from bnc where word in ("foot", "goose", "louse", "man", "mouse", "tooth", "woman") and pos = "nn1" order by freq desc

# 母音変異の複数形の頻度
select * from bnc where word in ("feet", "geese", "lice", "men", "mice", "teeth", "women") and pos = "nn2"

# POSでまとめて頻度の高い順に(話し言葉 'demog')
select pos, sum(freq) from demog group by pos order by sum(freq) desc

# 最も広く多く使われる名詞
select * from variances where pos like "n%" order by variance desc limit 100

# 最も広く多く使われる形容詞
select * from variances where pos like "aj%" order by variance desc limit 100


 なお,見出し語化されている頻度表 (lemmatised list) については,頻度にして800回以上現われる,上位6318位までの見出し語のみに限定されており,その検索ツールは「#708. Frequency Sorter CGI」 ([2011-04-05-1]) として実装してある.関連して,「#956. COCA N-Gram Search」 ([2011-12-09-1]) も参照.

Referrer (Inside): [2014-01-21-1] [2012-12-09-1]

[ | 固定リンク | 印刷用ページ ]

2012-11-04 Sun

#1287. 動詞の強弱移行と頻度 [frequency][analogy][verb][conjugation][lexical_diffusion][statistics]

 昨日の記事「#1286. 形態音韻変化の異なる2種類の動機づけ」 ([2012-11-03-1]) で紹介した Hooper の論文では,調査の1つとして動詞の強弱移行(強変化動詞の弱変化化)が取り上げられていた.Hooper の議論は単純明快である.強弱移行は類推による水平化 (analogical leveling) の典型例であり,頻度の低い動詞から順に移行を遂げてきたのだという.
 Hooper が調査対象とした動詞は古英語の強変化I, II, III類に由来する動詞のみであり,その現代英語における頻度情報については Kučera and Francis の頻度表が参照されている.頻度計算は lemma 単位での綴字のみを基準とした拾い出しであり,drive, ride などの語(下表で * の付いているもの)について品詞の区別を考慮していない荒削りなものだ.また,過去千年以上にわたる言語変化を話題にしているときに,現代英語における頻度のみを参照してよいのかという問題([2012-09-21-1]の記事「#1243. 語の頻度を考慮する通時的研究のために」)についても楽観的である (99) .全体として,解釈するのに参考までにという但し書きが必要だが,以下に Hooper (100) の表を見やすく改変したものを掲げよう.

Frequency of Leveled vs. Unleveled Old English Strong Verbs by Hooper

 確かにこのように見ると,強弱移行を経た動詞は全体として頻度が相対的にずっと低いことがわかる.関連して,keep, *leave, *sleep や *creep, *leap, weep について,前者3語が伝統的な過去形を保持しているのに対して,後者3語には周辺的に creeped, leaped, weeped の異形も確認されるという.前者の頻度はそれぞれ 531, 792, 132 に対して後者はそれぞれ 37, 42, 31 だという (Hooper 100) .参考までにとはいっても,傾向としては明らかのように思われる.
 動詞の強弱移行は英語史において基本的な話題であり,本ブログでも「#178. 動詞の規則活用化の略歴」 ([2009-10-22-1]) ,「#527. 不規則変化動詞の規則化の速度は頻度指標の2乗に反比例する?」 ([2010-10-06-1]) ,「#528. 次に規則化する動詞は wed !?」 ([2010-10-07-1]) などで触れてきたが,案外とわかっていないことも多い.今後の詳細な研究が俟たれる.

 ・ Hooper, Joan. "Word Frequency in Lexical Diffusion and the Source of Morphophonological Change." Current Progress in Historical Linguistics. Ed. William M. Christie Jr. Amsterdam: North-Holland, 1976. 95--105.

[ | 固定リンク | 印刷用ページ ]

2012-11-03 Sat

#1286. 形態音韻変化の異なる源 [phonetics][frequency][causation][neogrammarian][analogy][verb][conjugation][lexical_diffusion]

 音韻変化と語の頻度との関係については,Phillips の研究を紹介しながら,「#1239. Frequency Actuation Hypothesis」 ([2012-09-17-1]) や「#1242. -ate 動詞の強勢移行」 ([2012-09-20-1]) で取り上げてきた.「#1265. 語の頻度と音韻変化の順序の関係に気づいていた Schuchardt」 ([2012-10-13-1]) で触れたように,純粋に音声学的な変化は高頻度語から始まるということは早くも19世紀から指摘されていたが,逆に類推作用 (analogy) の関わる形態音韻的な変化は低頻度語から始まるということも,ほぼ同時期に Herman Paul によって指摘されていた(Hooper 95) .
 Hooper は,1984年の論文で,語の頻度という観点から,純然たる音声変化と考えられる現代英語における schwa-deletion (memory などの第2母音)と類推による水平化と考えられる動詞の弱変化化を調査し,この2項対立 "phonetic change tends to affect frequent words first, while analogical leveling tends to affect infrequent words first" (101) を支持した.Phillips はこの単純な2項対立によっては説明できない例のあることを示しているが,この対立を議論の出発点とすることは今でも妥当だろう.
 このように頻度と音韻変化の関係にこだわっているように見える Hooper だが,実のところ,話者は語の頻度情報にアクセスできないはずだと考えている (102) .

I do not think the relative frequency of words is a part of native speaker competence, so I would not propose to make the rule sensitive to word frequency.


それでも語の頻度と音韻変化の進行順序に相関関係があることを認め続けるのであれば,両者の接点は,話者の言語能力ではなく言語運用のなかにあるということになるのだろうか.Hooper は子供の言語獲得に答えを見つけようとしているようだ.
 語の頻度と音韻変化の順序に関する議論のもつ理論的な意義は,(形態)音韻変化には源の異なる複数の種類があり得ることが示唆される点にある.変化の順序が異なるということは,おそらく変化のメカニズムが異なるということであり,変化の源が異なるということではないか.そうだとすれば,変化の順序がわかれば,変化の動機づけもわかることになる.従来はそのような源の異なる変化に「純然たる音声変化」や「類推的な形態音韻変化」というラベルを貼り付けてきたが,今後はより細かい分類が必要だろう.Hooper (103) の結語を引いておきたい.

. . . if it turned out that vowel shifts and some other phonetic changes affect infrequent forms before frequent forms, then we would have an interesting indication that phonetic changes arise from different sources, and furthermore, if my hypotheses are correct, a way of determining which types of changes are traceable to which source. Thus it appears that lexical diffusion, studied in terms of word frequency, may turn up some interesting evidence concerning the source of morpho-phonological change. (103)


 ・ Hooper, Joan. "Word Frequency in Lexical Diffusion and the Source of Morphophonological Change." Current Progress in Historical Linguistics. Ed. William M. Christie Jr. Amsterdam: North-Holland, 1976. 95--105.
 ・ Phillips, Betty S. "Word Frequency and the Actuation of Sound Change." Language 60 (1984): 320--42.
 ・ Phillips, Betty S. "Word Frequency and Lexical Diffusion in English Stress Shifts." Germanic Linguistics. Ed. Richard Hogg and Linda van Bergen. Amsterdam: John Benjamins, 1998. 223--32.

Referrer (Inside): [2014-06-04-1] [2012-11-04-1]

[ | 固定リンク | 印刷用ページ ]

2012-10-13 Sat

#1265. 語の頻度と音韻変化の順序の関係に気づいていた Schuchardt [frequency][lexical_diffusion][history_of_linguistics][analogy][creole][neogrammarian]

 語の頻度と語彙拡散 (lexical diffusion) の進行順序の関係については,[2012-09-17-1], [2012-09-20-1], [2012-09-21-1]の各記事で扱ってきた.19世紀の青年文法学派 (Neogrammarians) によれば,音韻変化は "phonetically gradual and lexically abrupt" であるということが常識だったが,近年の語彙拡散の研究により,音韻変化にも形態変化に典型的に見られる "lexically gradual" の過程が確認されるようになってきている.形態であれ音韻であれ,言語変化のなかには徐々に波及してゆくものがあるという知見は,言語変化の原理としての類推作用 (analogy) とも相性がよく,音韻変化と類推を完全に対置していた Neogrammarians がもしこのことを知ったら相当の衝撃を受けたことだろう.
 徐々に進行する音韻変化が確認される場合,それがどのような順序で進行するのかという点が問題となる.そこで,語の頻度という観点が提案されているのだが,この観点からの研究はまだ緒に就いたばかりである.ところが,観点ということだけでいえば,その提案は意外と早くなされていた.青年文法学派に対抗した Hugo Ernst Maria Schuchardt (1842--1927) は1885年という早い段階で,語の頻度と音韻変化の順序に目を付けていたのだ.以下は,Phillips (321) に掲載されている Schuchardt からの引用(英訳)である.

The greater or lesser frequency in the use of individual words that plays such a prominent role in analogical formation is also of great importance for their phonetic transformation, not within rather small differences, but within significant ones. Rarely used words drag behind; very frequently used ones hurry ahead. Exceptions to the sound laws are formed in both groups.


 Neogrammarian 全盛の時代において,語の頻度と音韻変化の順序に注目した Schuchardt の炯眼に驚かざるをえない.この識見は,当時,生きた言語の研究における最先端の場であり,ラテン語を母体とする資料の豊富さで確かな基盤のあったロマンス語学の分野に彼が身を投じていたことと関係する.彼は,現実の資料には Neogrammarian の音法則に反する例が豊富にあることをはっきりと認識しており,音法則による言語史の再建だけでは言語の真の理解は得られないことを痛感していた.語族という考え方にも否定的で,言語に混合や波状拡散の過程を想定していた.特に彼の混交言語への関心は果てしなく,その先駆的な研究が評価されるようになったのは,1世紀も後,クレオール語研究の現われだした1960年代のことである.
 Schuchardt がこのような言語思想をもっていたことを知れば,上記の引用も自然と理解できるだろう.Schuchardt とクレオール学の発展との関係については,田中 (188--96) が詳しい.

 ・ Phillips, Betty S. "Word Frequency and the Actuation of Sound Change." Language 60 (1984): 320--42.
 ・ Schuchardt, Hugo. Über die Lautgesetze: Gegen die Junggrammatiker. 1885. Trans. in Shuchardt, the Neogrammarians, and the Transformational Theory of Phonological Change. Ed. Theo Vennemann and Terence Wilbur. Frankfurt: Altenäum, 1972. 39--72.
 ・ 田中 克彦 『言語学とは何か』 岩波書店〈岩波新書〉,1993年.

[ | 固定リンク | 印刷用ページ ]

2012-09-21 Fri

#1243. 語の頻度を考慮する通時的研究のために [frequency][corpus][representativeness]

 昨日の記事「#1242. -ate 動詞の強勢移行」 ([2012-09-20-1]) や「#1239. Frequency Actuation Hypothesis」 ([2012-09-17-1]) で取り上げた Phillips の研究のように,語の頻度を考慮する言語変化の研究には多大な関心を寄せているが,方法論上の素朴な疑問として,ある語の頻度それ自体が通時的に変わるという事実をどのように考えればよいのかという問題がある.ある特定の語ではなく,語彙の全体あるいは部分集合を考える場合には,1--2世代の時差は大きな問題ではないだろうと直感される.だが,1世紀の時差ではどうか,2世紀ではどうか,と考えると,どこまで直感に頼れるものか,はなはだ心許ない.Phillips (225--26) は,この問題について次のように楽観している.

The words' frequencies are based on present-day English, but the general pattern of relative frequencies probably holds for the English in our data base (1755--1993) as well. For example, I would be very surprised if the 3-syllable verbs with CELEX frequencies over 100 --- concentrate, demonstrate, illustrate, contemplate, compensate, designate, and alternate --- were not also much more common in 1755 than those with frequencies of 0 --- altercate, auscultate, condensate, defalcate, eructate, exculpate, expuergate, extirpate, fecundate, etc.


 2世紀余の時差を相手にしていながら,頻度が100回以上の語と0回の語を比べるというのは大雑把にすぎるように思われる.確かに,Phillips は実際の頻度分析でも101回以上,10--100回,1--10回という荒い区分を用いており,大雑把な頻度情報を大雑把なままに用いる慎重さは示している.しかし,もし特に10--100回辺りの中頻度レベルの語をより詳細に調べようとするのであれば,2世紀の間にそれなりに頻度が変化している可能性はある.Phillips ならずとも,頻度を利用した通時的研究に関心をもつ誰もが突き当たるはずの問題だ.
 すぐに思いつく単純な解決案は,各時代を代表するできるだけ大きなコーパスを利用して頻度表を作成することである.案としては単純だが,実際に遂行するのは一手間も二手間もかかる.綴字がある程度固定した近代英語であれば,コーパスを用意して頻度表の自動作成ができそうだが,中英語以前では綴字や語形の variation ゆえに lemmatise されていない限りは見出し語単位での頻度表作成は難航しそうだ.また,時代が古くなればなるほど,コーパスに含まれるテキストの representativeness の問題は深刻になる.ただし,荒っぽい頻度表でも,ないよりはあるほうがよい.いずれ作成してみたいと思っている.あるいは,時代によってはすでにあるだろうか?
 なお,引用にある CELEX という単語データベースは,現代英語の語や形態に関する量的な研究でよく使われているものである.詳細は,CELEX2 を参照.また,頻度と通時態の関係については,[2012-05-03-1]の記事「#1102. Zipf's law と語の新陳代謝」を参照.

 ・ Phillips, Betty S. "Word Frequency and Lexical Diffusion in English Stress Shifts." Germanic Linguistics. Ed. Richard Hogg and Linda van Bergen. Amsterdam: John Benjamins, 1998. 223--32.

[ | 固定リンク | 印刷用ページ ]

Powered by WinChalow1.0rc4 based on chalow