国語施策と公用文作成指針に基づく客観的なプロンプト作り
「分かりやすく書いて」という指示は勘に頼っています。わかりやすさの基準は人によって、LLMによって違います。 この記事は、韓国語の公文書ガイドを含む各種公式資料より「一文20~30字」という数字を見つけ、CS回答アシスタントの前処理・保存・プロンプトの3か所に仕掛けた経験の記録です。
「簡潔に書いて」「分かりやすく書いて」はよくある指示です。文を短く、考えはひとつだけ入れろという意味です。問題は、この指示が勘に頼っていることです。分かりやすさや簡潔さの基準が、人によって、LLMによって違います。結果も毎回変わります。
必要なのは再現可能で検証可能な基準でした。その答えを言語学と韓国の国語教育に探しました。文章の読みやすさを数値化した試みです。英語圏にはFlesch-KincaidやSMOGといった公式があります。韓国語にもリーダビリティ(文章がどれだけ読みやすいか)を担保するための指針があり、そのひとつがパク・ヨンモク(박영목)の回帰式です。
従来のリーダビリティに関する指針の多くは語彙リストに基づきます。易しい単語の数を数え、文の長さを計算し、その値を公式に代入する必要があります。退屈な過程なので、あまり使われませんでした。パク・ヨンモクの「韓国語リーダビリティ公式」は、基準テキストの選定から回帰分析までを経て、この過程を2つの変数に減らしました。
学年水準(GL) = 4.874 + 0.591 × A - 9.201 × B³ A = 平均文長 B = 5,000語リスト基準の易しい単語の比率
原理は単純です。文が長くなるほど学年水準が上がります。易しい単語が多いほど学年水準が下がります。ただしBは3乗です。易しい単語の比率が少し下がるだけで難易度が急上昇します。研究チームはこれをEasyWord 1.0というプログラムとして実装し、手作業の計算を肩代わりさせました。
公式は学年水準を教えてくれますが、疑問がひとつ残ります。学年水準が低ければ読みやすい文章なのか。必ずしもそうではありませんでした。難易度を下げることと情報を伝えることは別の問題です。この公式は計量には強いものの、伝達の単位までは教えてくれません。
そこで公文書のガイドを見ました。公文書は情報を正確に伝えながら、読む負担は最小に抑えるべき文章です。韓国の国立国語院「やさしい公文書の書き方」の原則は「一文 = ひとつの考え」で、文は20~30字以内を推奨しています。富平区庁の監修事例はより具体的です。目的語と述語を備えた20字前後が最適とされています。
パク・ヨンモクの公式は原理を数値で証明し、公文書ガイドは実践指針を示しました。学術と実務が20~30字という同じ結論に到達したわけです。これを確認してようやく根拠が立ちました。
この基準を検証する機会がありました。CS回答ドラフトアシスタントを開発しながら、この公式をデータの前処理、保存、プロンプトの3か所に仕掛けました。
自然言語データは基準を決めるのが難しい。意味のない文の境界が曖昧だからです。そこで20字未満を基準にしました。情報のない回答はほとんどここに該当し、フィルタを通過したデータだけをOpenSearchに保存しました。このデータがそのまま回答の根拠として使われるからです。プロンプトにも一文20~30字を明記して、モデルがルールを忘れないようにしました。
| 指標 | 適用前 | 適用後 |
|---|---|---|
| 30字超の文 | 3件 | 1件 |
| 最長の文の長さ | 52字 | 26字 |
| 意味のない完結文 | あり | なし |
ルールを1か所だけに仕掛けなかったのが核心です。回答が長くなるとモデルはルールを取りこぼします。3か所すべてに仕掛けておくと、1段階が漏らしても別の段階が拾ってくれました。
核心を4行にまとめました。
[リーダビリティ規則] - 一文にはひとつの考えだけを入れる。 - 文の長さは20~30字を超えない。 - 目的語と述語を備えた完結した文で書く。 - 条件と例外をひとつの文に重ねず、文を分ける。
回帰式であれ監修の経験であれ、この4行に圧縮されます。理論は複雑でも、ルールは単純でなければ使われません。
「分かりやすく書け」は勘に頼った助言ですが、実は文の長さと易しい単語の比率という2つの変数に還元されます。パク・ヨンモクの公式はこの関係を数値化し、公文書ガイドは実践基準に移し、PoCでも同じ効果を確認しました。
「簡潔に」より「20~30字」の方が明確です。その数字は勘ではなく、回帰分析と公共言語の監修という2つの経路から出てきました。
参考資料
- パク・ヨンモク「文章の水準を評価する韓国語リーダビリティ公式」
- 国立国語院「やさしい公文書の書き方」 (44~45p、102~103p)
- 仁川広域市富平区庁「公共言語とは?」