hellog〜英語史ブログ     前の日     次の日     最新     2023-03     検索ページへ     ランダム表示    

hellog〜英語史ブログ / 2023-03-15

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

2023-03-15 Wed

#5070. ソーシャルメディアと中英語の綴字のヴァリエーションは酷似している [spelling][me][nlp][med][social_media][media]

 ソーシャルメディアの書き言葉は,省略やタイポが多い.英語でいえば単語の省略の仕方は一通りではなく,いずれの省略綴字が用いられるかは予測できない.自然言語処理 (nlp) においては,このような省略綴字を正規化するなどの前処理が必要となり,なかなか厄介な問題のようだ.
 一方,中英語の綴字のヴァリエーションも豊富である.綴り方は一通りではなく,いずれの綴字が用いられるかは,方言ごとに緩い傾向はあるものの,完全には予測できない.中英語を読んだり分析する際には,多様な綴字を「正規化」する必要があり,かなり厄介な問題だ.
 両者は,このようにとても似ている."tomorrow" という単語の綴字ヴァリエーションを例に取り,比較してみよう.ソーシャルメディアの例は Vajjala 他 (p. 295) から,中英語の例は MED から取った.

[ ソーシャルメディアからの "tomorrow" の綴字 ]

tmw, tomarrow, 2mrw, tommorw, 2moz, tomorro, tommarrow, tomarro, 2m, tomorrw, tmmrw, tomoz, tommorow, tmrrw, tommarow, 2maro, tmrow, tommoro, tomolo, 2mor, 2moro, 2mara, 2mw, tomaro, tomarow, tomoro, 2morr, 2mro, tmoz, tomo, 2morro, 2mar, 2marrow, tmr, tomz, tmorrow, 2mr, tmo, tmro, tommorrow, tmrw, tmrrow, 2mora, tommrow, tmoro, 2ma, 2morrow, tomrw, tomm, tmrww, 2morow, 2mrrw, tomorow

[ MED からの "tomorrow" の綴字 ]

tōmōrn, tomorne, -moroun(e, -morwen, -morwin, -morewen, -morgen, tomor3en, -moregan, -moreuin, -marewene, -marwen, -marhen, -mar3an, -mar3en, -mær3en, temarwen; tōmōrwe, tomorewe, -moreu, -mor(r)owe, -mor(r)ou, -morou, -moru(e, -mor3e, -marewe, temorwe, tomoruwe, -more3e, -mar3e, -mær3e

 もう主旨はお分かりだろう.ソーシャルメディアを対象とする自然言語処理技術の発展は,中英語研究にも有用にちがいない! 笑い話のようでありながら,いや,なかなかおもしろい比較ではないか.

 ・ Vajjala, Sowmya, Bodhisattwa Majumder, Anuj Gupta, Harshit Surana (著),中山 光樹(訳) 『実践 自然言語処理 --- 実世界 NLP アプリケーション開発のベストプラクティス』 オライリー・ジャパン,2022年.

Referrer (Inside): [2023-03-17-1]

[ 固定リンク | 印刷用ページ ]

2024 : 01 02 03 04 05 06 07 08 09 10 11 12
2023 : 01 02 03 04 05 06 07 08 09 10 11 12
2022 : 01 02 03 04 05 06 07 08 09 10 11 12
2021 : 01 02 03 04 05 06 07 08 09 10 11 12
2020 : 01 02 03 04 05 06 07 08 09 10 11 12
2019 : 01 02 03 04 05 06 07 08 09 10 11 12
2018 : 01 02 03 04 05 06 07 08 09 10 11 12
2017 : 01 02 03 04 05 06 07 08 09 10 11 12
2016 : 01 02 03 04 05 06 07 08 09 10 11 12
2015 : 01 02 03 04 05 06 07 08 09 10 11 12
2014 : 01 02 03 04 05 06 07 08 09 10 11 12
2013 : 01 02 03 04 05 06 07 08 09 10 11 12
2012 : 01 02 03 04 05 06 07 08 09 10 11 12
2011 : 01 02 03 04 05 06 07 08 09 10 11 12
2010 : 01 02 03 04 05 06 07 08 09 10 11 12
2009 : 01 02 03 04 05 06 07 08 09 10 11 12

最終更新時間: 2024-02-28 16:15

Powered by WinChalow1.0rc4 based on chalow