検証の記録
AIが書いた文章は、人間の文章とどこが違うのか。
手元で数えた小さな実験の、方法と数字と限界をここに置きます。
連載やスライドに出す数字の出どころは、すべてこのページです。
最終更新：2026年9月4日。結果が増えるたびに書き足します。下の更新履歴を見てください。
1. 何を比べたか
人間の文章30本と、同じ題・同じ字数でAIに書かせた文章を、1本ずつ対にして数えました。
AIには題と字数だけを渡し、本文も役割も渡していません。APIで呼び、記憶や個人設定の混ざらない状態です。
人間の文章は、noteで2019年以前から書いている普通の人の記事です。
選び方は次の順で、先に決めてから機械で取り、あとから入れ替えていません。
- noteの書き手検索で「2018年から」「2019年に始め」のような言い回しを45種類引き、1,000人余りを集めた
- 1人ずつ最初の投稿日を確かめ、2019年12月以前に始めた人だけ残した
- プロフィールに職業的な肩書き（ライター、編集、作家、デザイナー、代表、講師、コーチ、コンサル、士業、議員、団体）がある人を除いた
- 2020年12月以前の記事で、無料、400〜900字（別に200〜400字の版も）、宣伝や告知を含まないものに絞った
- 書き手1人につき1本を、乱数で無作為に30本引いた（乱数の種は記録してある）
本文は数えるためだけに使い、保存も公開も引用もしていません。使ったのは数字だけです。
2. 何で数えたか
決まった言葉を機械で数え、1,000字あたりに直しました。
文の長さのそろい方は、一文の字数のばらつき（標準偏差を平均で割った値）で、低いほどそろっています。
判定は、30組のうちAIの方が高い組と低い組を数える符号検定です。21組以上なら偶然では5%未満と言えます。
3. 結果（400〜900字、8モデル×30組）
| モデル | 長さの均一さ 人間→AI | AIがそろう組 | 強調語 AI | 指示語 AI（人間4.0） | 漢語率 AI（人間0.37） | 語彙の多様さ AIが高い組 |
|---|---|---|---|---|---|---|
| gpt-5.6-sol | 0.60→0.36 | 26/30 | 0.58 | 4.80 | 0.43 | 26/30 |
| gemini-3.8-flash | 0.60→0.39 | 27/30 | 0.00 | 4.89 | 0.43 | 28/30 |
| claude-sonnet-5 | 0.60→0.37 | 27/30 | 0.60 | 7.45 | 0.44 | 18/30 |
| claude-fable-5-1 | 0.60→0.43 | 26/30 | 0.00 | 5.58 | 0.37 | 25/30 |
| claude-opus-5 | 0.60→0.43 | 26/30 | 0.00 | 6.25 | 0.35 | 25/30 |
| claude-haiku-4-5 | 0.60→0.32 | 30/30 | 2.38 | 6.46 | 0.50 | 22/30 |
| gpt-5.6-luna | 0.60→0.39 | 24/30 | 1.25 | 4.71 | 0.44 | 25/30 |
| gemini-3.1-pro-preview | 0.60→0.41 | 26/30 | 1.12 | 5.00 | 0.43 | 28/30 |
「AIがそろう組」＝30組のうち、AIの方が文の長さがそろっていた組の数。強調語・指示語・漢語率・語彙の多様さはAI側の中央値。人間側は、強調語0、指示語4.0、漢語率0.37、長さのそろい方0.60。
4. 結果（250字、8モデル×30組）
| モデル | 長さの均一さ 人間→AI | AIがそろう組 | 強調語 AI | 指示語 AI（人間3.8） | 漢語率 AI（人間0.41） | 語彙の多様さ AIが高い組 | 一文の字数 AIが短い組 |
|---|---|---|---|---|---|---|---|
| gpt-5.6-sol | 0.56→0.42 | 23/30 | 0.00 | 6.12 | 0.39 | 28/30 | 19/30 |
| gemini-3.8-flash | 0.56→0.43 | 23/30 | 0.00 | 3.90 | 0.42 | 29/30 | 14/30 |
| claude-sonnet-5 | 0.56→0.38 | 24/30 | 0.00 | 7.00 | 0.37 | 22/30 | 19/30 |
| claude-fable-5-1 | 0.56→0.42 | 25/30 | 0.00 | 5.95 | 0.31 | 25/30 | 19/30 |
| claude-opus-5 | 0.56→0.41 | 24/30 | 0.00 | 6.88 | 0.35 | 29/30 | 19/30 |
| claude-haiku-4-5 | 0.56→0.35 | 24/30 | 0.00 | 7.78 | 0.48 | 16/30 | 21/30 |
| gpt-5.6-luna | 0.56→0.35 | 26/30 | 0.00 | 3.74 | 0.37 | 22/30 | 16/30 |
| gemini-3.1-pro-preview | 0.56→0.40 | 25/30 | 0.00 | 4.72 | 0.40 | 29/30 | 14/30 |
人間側は、200〜400字の記事30本。長さのそろい方0.56、指示語3.8、漢語率0.41。
5. ここから言えること
- 文の長さがそろうことだけが、どのモデルでも、どちらの長さでも残った差でした
- 強調語、中身のない言葉、サ変名詞は、人間もAIも0で、差がありません。以前の実験でAIに多く出たのは、ハウツーの題で書かせたからでした
- 語尾を3回そろえる、「〜を行う」、回りくどい言い方、という通説は、今のAIにはほぼ出ません。人間にも出ないので、違いにもなりません
- 語彙は、AIの方が多様です。通説の逆です
- 小さいモデルほど文の長さがそろい、上位のモデルは人間に近づきます。ただし上位でも差は残ります
6. 限界
- 人間側は、noteを書く人に限ります。2016〜2020年のnoteは30代が多く、50代は少ない
- 肩書きの除外はプロフィールの言葉だけで、書き慣れた人が残っている可能性があります
- AIはAPIの素の状態です。ブラウザで使うときの記憶や設定の影響は含みません
- 数え方は機械の規則で、改行、長さ、薄さのような読者が感じる手がかりは測れません
- 本数は30組。モデル同士の細かい順位を断定できるほどではありません
7. 以前の実験との違い
2026年9月3日の最初の実験では、人間側が書き慣れた論客のブログと随筆と百科事典で、題材も揃っていませんでした。
そこでは強調語と中身のない言葉がAIに多く出ましたが、人間側を普通の人のnoteに替え、題を揃えたら消えました。
崩れたものは崩れたと書き、組み立て直したのがこのページです。
更新履歴
- 2026年9月4日：8モデル×30組（400〜900字と250字）の結果を掲載
- 2026年9月3日：最初の実験（人間側の取り違えのため、数字は使わない）