JSON出力が44言語モデルの回答多様性を低下

元記事公開日: -

AI活用の概要

44言語モデルに31種類の単語回答課題を出し、JSON、XML、YAML、CSVなどの形式指定で回答を生成して、形式ごとの回答選択驚きを比較した。JSONでは平均値が1.80ビットから1.58ビットへ低下し、自由回答でも最頻回答の比率が41%から64%へ上がった。

背景

言語モデルは、ツール呼び出し、フィールド抽出、分類、スキーマへの入力、リクエストの振り分けで、JSONなどの構造化出力を返す。一方で、モデルの評価、比較、選定は散文形式のチャットで行われる。この二つの出力面で、同じモデルが同じ問いに対して異なる回答を選ぶかが検証対象となった。

要望・目的

回答に正解が一つに定まらない場面で、出力形式の指定が回答の選択へ与える影響を測定する。散文形式の回答と、JSONなどのシリアライズ形式での回答を比較し、形式が回答の多様性を変えるかを確認する。正確性の低下ではなく、複数の有効な選択肢のうち何が選ばれるかを扱う。

実装・実施内容

31の単発課題を44モデルへ与え、システムプロンプトなし、要求温度1.0、各条件4サンプルで回答を生成した。JSON、XML、YAML、CSV、角括弧の5形式を追加し、各形式では5,456回の呼び出しを実施した。回答から形式部分を除去して単語を正規化し、他43モデルの回答プールに対する回答選択驚きを算出した。

AIサービス・システム

44の言語モデルは、同じ単語回答課題に対して、JSONなどでの回答を求める形式指定に従って出力した。JSON条件ではデコーダーの制約やトークンマスキングを使わず、プロンプト末尾にJSON形式で返す指示だけを加えた。別条件ではJSON Schemaによるresponse_formatも使い、形式指定だけの場合との差を測定した。

結果・効果

JSON条件での平均回答選択驚きは、通常のチャットの1.80ビットから1.58ビットへ低下した。「Pick a word」では最頻回答の比率が41%から64%へ上がり、異なる回答数は52から36へ減少した。JSON Schemaによる形式強制は、形式指定だけに比べて平均値を0.03ビットしか追加で低下させなかった。ネイティブ形式強制、ツール呼び出し形式、指示文の言い換えは追加検証の対象として残った。