ChatGPTってどのくらい正確？実際のアンケート結果と比較してみた【アスマーク調べ】

ChatGPTはアンケート調査の代替となり得るのか？実際のアンケート結果と対話型AIの回答を比較。

アスマークは、「ChatGPTとアンケートの回答比較調査」を実施した。対話型AIの回答がどの程度適切なのかを調べるため、男女800名に対するアンケート調査結果とChatGPTの回答とを比較している。

実際のアンケートとChatGPTの回答、結果は大きく異なる？

まず、「ECサイトで購入したことがある商品」をランキング形式で調べると、特に「キッズ・ベビー・玩具」において、アンケート調査では15位、ChatGPTでは3位と大きな差が見られた。また「コスメ・健康・医薬品」「スポーツ・アウトドア」でも順位に違いがあった。

続いて、「ECサイトで買い物をする理由」についての回答を比較すると、アンケート・ChatGPTともに「ポイント還元」などのお得さや利便性を重視する傾向が見られた。ただし、「コロナ」などの時事ネタに関するワードはChatGPTではあげられなかった。

配送に関する満足度ランキングでは、特に「配送料金の妥当性」などの項目で違いが見られた。

一方、送料に関する満足度ランキングでは、ともに「送料の明確さ」「送料の無料条件の明確さ」「送料の妥当性」などが上位を占め、アンケートとChatGPTであまり違いは見られなかった。

※今回使用したAIはChatGPT（GPT4）。特別なプロンプトは使用せず、レポートに記載された指示と選択肢だけを提示し、回答を出力させている。また、Q2（自由記述回答）については、ChatGPTが生成した文章（568文字）をテキストマイニングにかけている。