- G.A.,シニアエディター
最近の報告で、研究者がプレプリントに隠しプロンプトを埋め込み、AI査読を操作するという懸念が示されました。日本経済新聞の記事によると、8カ国、14大学の研究者が論文の影響力や評価を高めるために、見えない文字などで隠しプロンプトを挿入していたことが明らかになりました。隠しプロンプトは、学術出版で研究の要約、ランク付け、推薦などに使用頻度が増えているAIツールをターゲットにしています。 今回のような手法は、特に査読がないarXivなどのプレプリントサーバーでは学術研究の評価をAIに頼ることが多くなっているという点を突いて使用されました。
隠しプロンプトはまだ広く使用されていないものの、学術界に倫理的な問題を提起しています。プレプリントの価値は迅速に情報共有ができることにありますが、査読付き学術誌のような厳格な審査を受けていません。隠しプロンプトはAIツールを欺き、被引用数予測や可視化アルゴリズムなどの指標を歪める可能性があります。これらの指標は多くの研究者が資金調達やキャリアアップのために重視しているものです。日本経済新聞の報告では、この行為によって読者やAIツールが操作されたテキストと本物のコンテンツを区別することが難しくなり、プレプリントへの信頼が損なわれる可能性が示唆されています。
今回の問題は、AIを科学的なワークフローに統合する際に発生する様々な課題を示しています。論文の分析や要約に使用されるAIツールは強力ですが、悪用されるリスクもあります。研究者は技術を活用する一方で、誠実性を維持するというバランスを取らなければなりません。学術誌やプレプリントサーバーは、隠しプロンプトを特定するためにテキスト分析アルゴリズムのような検出方法を採用し、透明性を確保する必要があるのかもしれません。
学術界は、協働してこの状況を刷新することができます。操作に対する保護機能を備えた堅牢なAIツールの開発と、明確な倫理指針の策定は不可欠です。arXivのようなプレプリントサーバーはさらに厳格な投稿プロトコルを導入することが可能ですが、研究者はAIの使用において透明性を優先するべきです。率直な対話と技術の進歩を促進することで、科学界はAIの時代においても信頼と誠実性を維持することができます。
英語版はこちら