何をしたか、何がわかったか、どこを間違えたか、次に何をするか。 ブラックボックスにしないための記録です。
英語の実テキストを12,871万語ぶん手元に集め、 任意のフレーズについて「何回出るか / どの語域で出るか / どんな場面で出るか」を その場で数えられる状態にしました。そこから覚える価値のある表現だけを抜いて順位表にしています。
| 語域 | 出典 | 語数 |
|---|---|---|
素の会話 演出で盛られていない話し言葉。本命 | YouTube 字幕 (43ch / 1,155本) | 14,711,455 |
映像字幕 量。会話の網羅性 | OpenSubtitles (OPUS) | 64,673,306 |
映画脚本 脚本の会話。やや劇的に盛られる | Cornell Movie-Dialogs 617本 | 3,206,942 |
論説・講演 現代の書き言葉。ことわざと成句はここに住んでいる | News-Commentary / TED2020 / QED | 41,359,348 |
古典書籍 1890年代。現代語の証拠にはならない | Project Gutenberg 40冊 | 4,755,285 |
| 合計 | 128,706,336 | |
名作40冊452万語で snap out of it は0件、you guys も0件。代わりに a quarter of an hour が48件、my lord が1,828件。著作権が切れている=古い、かつ本は書き言葉。二重に外れる。
i don't / want to / going to / out of / to see。これは覚える対象ではなく、ネイティブとの差もここにはない。内容語の有無・端の欠け・結束度の3関門で絞る。ただし結束度は「よく出るもの」には効かせない。生涯74,441回の look at まで落としていたため。
necessity is the mother of invention を完全一致で引いたら8,734万語で1件。そこで死語と結論したが誤り。実際は is the mother of という型で41件生きており、かつ大人のネイティブの99%が知っている。ことわざは決まり文句という札つきで提示されるので1〜3回で定着する。頻度だけで順位をつけると、この層が最下位に沈む。
語域を1つ足しただけで結論がひっくり返った実測です。 古典40冊には、現代の成句が1件も入っていません。 必要は発明の母を死語と誤判定したのは、成句が住んでいる語域を持っていなかったからでした。
| 表現 | 論説・講演 | YouTube | 映像字幕 | 古典40冊 |
|---|---|---|---|---|
| easier said than done | 89 | 36 | 50 | 0 |
| the tip of the iceberg | 77 | 17 | 49 | 0 |
| a double-edged sword | 32 | 32 | 3 | 0 |
| the elephant in the room | 26 | 28 | 0 | 0 |
| actions speak louder | 14 | 4 | 3 | 0 |
| necessity is the mother of invention | 4 | 2 | 0 | 0 |
論説・講演コーパスの成句密度は映像字幕の2倍から3倍。 1つの語域だけで数えると必ず事故る、というのがこの仕組みで唯一の必須ルールです。
AIとコーパスDBは、できることが正反対です。両方を使わないと必ず失敗します。 この原則が、この仕組みの中心です。
AIは重みの塊で索引を持たないため、数え上げる対象のリストがそもそも存在しません。 列挙させると300〜600個で尽き、その先は捏造が始まります。しかも本人に見分けがつきません。
頻度表は意味を持ちません。日本語との対照も数値には出ません。 数えるのは機械、意味をつけるのがAI。AIに電話帳を書かせず、電話帳を引かせる。
ここを上から潰していきます。効果の大きい順に並べてあります。
列挙済み12,444本に対し取得は1,358本。残りを入れると素の会話だけで1億語を超え、いまの全コーパス合計を上回る
報道・論説・講演 (News-Commentary / TED / QED)。ことわざと成句が実際に生きている語域が現状ゼロ。書き言葉が1890年代しかないのが最大の穴
1万件に訳がない。商品として成立しない。訳はLLM側の仕事
X is the mother of Y のような型を完全一致が落とす。necessity の誤判定はこれが原因。スロット付きパターンで数える
ことわざ・成句・引用は低頻度でも全員知っている。頻度と別列で持ち、並べ替えられるようにする
番組固有の決め台詞を消すため2語域以上を必須にした結果、6語が4,426件から325件に激減した。語域ごとの閾値差を補正して recall を戻す
OpenSubtitles v2018 は新しい語を含まない。SNS・掲示板・最近の配信
いまは corpus-search を叩かないと場面が見えない。1表現あたり実場面を3〜5本、データに持たせる
日本語との対照。これはLLMにしかできない。数値の隣に置く
/api/phrases にカード化して既存の復習系に流す
上位N件で会話の何割を覆うかを出す。500件で22%、2000件で38%まで算出済み。残数で管理する画面にする
ここまでの数字はすべて「何回出たか」で、これは頻度の証拠にはなりますが取りこぼしの証拠にはなりません。 自分の網を自分で評価しても、網の外は原理的に見えないためです。 そこで外部の熟語一覧（英語版ウィクショナリー、見出し語のみ）と突き合わせました。
一見すると93%の落第です。ただしこの一覧には ab off や a cold day in july のような、 現代ではまず使われないものも大量に含まれます。 そこで落とした14,150件をすべてコーパスに投げ直し、実際の出現回数で仕分けました。
4,580件
一度も出てこない
相手側の死語。落として正しい
5,853件
文法の骨組み
have to / kind of。意図的に落としている
3,717件
本当の取りこぼし
こちらの基準でも残すべきなのに落ちていた
見つかった穴の中身
原因は1つでした。結束度（PMI）という指標で足切りしていたこと。 これは部品が珍しいほど大きく出る指標なので、構成語が普通すぎる組み合わせは、いくら共起しても数字が伸びません。
この表の基準は遭遇率であって結束度ではないので、 よく出るものについては足切りを免除するよう直しました。 同じことが二度起きないよう、基本表現91個の在否を毎回機械で確認しています （scripts/audit-must-have.mjs。1つでも欠けたら失格）。