ChatGPTのフィクション生成、34%を確認
出典: https://ledge.ai/articles/wildchat_ai_fiction_generation
GPT-4o miniでWildChatの英語会話を分類し、ChatGPTがフィクション生成に使われる割合と利用の偏りを分析した。フィクション生成は全体の34%で、生成量の80%以上は2%のユーザーに集中していた。
背景
分析対象は、ユーザーの同意を得て収集されたChatGPT会話ログの公開データセット「WildChat」である。初期データに含まれる英語会話57万3,453件を用い、AIチャットがフィクション生成にどの程度使われているかを調べた。この標本はChatGPT利用者全体を代表するものではなく、無料・ログイン不要の環境で収集された会話である。
要望・目的
オリジナルストーリー、脚本、ロールプレイ、世界設定、仮想シナリオ、代替歴史などを含むフィクション生成の利用実態を把握することが目的となった。フィクションが会話全体に占める割合、ファンフィクションや性的に明示的な内容の比率、特定利用者への集中を確認した。
実装・実施内容
研究チームは各会話の最初の3往復をもとに、「フィクション」「ファンフィクション」「性的に明示的な内容」の3軸で分類した。GPT-4o miniによる分類に加え、300件の会話を手作業で分類して結果を比較した。フィクション分類のF1スコアは0.95だった。分類は相互排他的ではなく、同じ会話が複数のカテゴリに含まれる場合がある。
AIサービス・システム
GPT-4o miniは会話を3軸に分類するために使われた。分析対象となったChatGPTは、利用者の指示に応じてオリジナル小説、二次創作、ロールプレイなどのフィクションを生成する。利用者は既存キャラクターや物語展開を指定し、同じ題材の異なる展開を繰り返し生成する使い方もしていた。
結果・効果
57万3,453件のうち19万5,271件、34%がフィクション生成に分類された。フィクション会話ではファンフィクションが9万5,450件で49%、性的に明示的な内容が5万2,231件で27%を占めた。生成量の80%以上は2%のユーザーに集中し、利用者ごとに1会話だけを集計するとフィクションの割合は7.1%まで下がった。個人向けに生成した物語を読む利用形態は、読書体験の自己完結化につながる可能性として示された。