robots.txtによるクローリング禁止が急増 — AIがWeb全体をクローズドにしつつある

9月1日、海外のテックメディアIEEE Spectrumで「AIがウェブクローリングをめぐる戦いを巻き起こす(AI Has Created a Battle Over Web Crawling)」と題した記事が公開された。この記事では、ジェネレーティブAIの進化とそれに伴うウェブクローリングに関する論争について、AI研究者グループ「Data Provenance Initiative」のリードリサーチャーであるシェイン・ロングプレ（Shayne Longpre）氏へのインタビューを通じて詳しく解説されている。