ウィキメディア財団：AIクローラーによりウィキメディア・コモンズの帯域幅需要が50%増加

ウィキペディアやその他十数件のクラウドソーシング知識プロジェクトの管理組織であるウィキメディア財団は月曜日、ウィキメディア・コモンズからマルチメディアをダウンロードするための帯域幅消費が2024年1月以来50％急増したと発表した。

同社は火曜日のブログ投稿で、その理由は知識欲の強い人間からの需要増加によるものではなく、人工知能モデルを訓練したい自動化されたデータ欲の強いクローラーによるものだと述べている。

「当社のインフラは、注目度の高いイベントの際に人間によるトラフィックの急増に耐えられるように構築されていますが、ボットによって生成されるトラフィックの量は前例のないほど多く、リスクとコストの増加を伴います」と投稿には書かれている。

Wikimedia Commons は、オープン ライセンスまたはパブリック ドメインで利用できる画像、ビデオ、オーディオ ファイルの、自由にアクセスできるリポジトリです。

さらに詳しく調べてみると、Wikipedia によると、最も「高価な」トラフィック、つまり消費されるコンテンツの種類に関して最もリソースを消費するトラフィックのほぼ 3 分の 2 (65%) がボットから来ているそうです。しかし、全体のページビューのうち、これらのボットから得られたものはわずか 35% でした。 Wikipedia によると、この違いの理由は、頻繁にアクセスされるコンテンツはユーザーに近いキャッシュに保存されるのに対し、あまりアクセスされないコンテンツは遠く離れた「コア データ センター」に保存され、コンテンツの提供にはより多くのコストがかかるためです。これはボットが通常探すコンテンツの種類です。

「人間の読者は特定の（多くの場合は類似した）トピックに焦点を当てる傾向があるのに対し、クローラーボットは大量のページを「一括読み取り」し、あまり人気のないページを訪問する傾向がある」とWikipediaは書いている。 「つまり、こうしたタイプのリクエストはコアデータセンターに転送される可能性が高くなり、リソースの消費コストが高くなります。」

全体として、ウィキメディア財団のサイト信頼性チームは、一般ユーザーへの混乱を避けるためにボットをブロックするために多くの時間とリソースを費やす必要があります。そして、これはすべて、財団が直面するクラウド コストを考慮する前の話です。

実際、これはオープン インターネットの存在そのものを脅かす、急速に拡大している傾向の一部を表しています。先月、ソフトウェアエンジニアでありオープンソースの支持者であるドリュー・デボールト氏は、AIクローラーが自動トラフィックから保護するために設計された「robots.txt」ファイルを無視していると不満を述べた。また、「実践的なエンジニア」のゲルゲリー・オロス氏も先週、Meta などの企業の AI クローラーが自身のプロジェクトの帯域幅需要を増大させていると不満を漏らした。

オープンソースのインフラが特に最前線にある一方で、開発者たちは「創意工夫と復讐心」で反撃している。一部のテクノロジー企業もこの問題の解決に取り組んでいる。たとえば、Cloudflare は最近、AI 生成コンテンツを使用してクローラーの速度を低下させる AI Labyrinth を立ち上げた。

しかし、これはむしろ猫とネズミのゲームであり、最終的には多くの出版社がログインとペイウォールの背後に隠れざるを得なくなる可能性があり、それは今日ウェブを使用しているすべての人にとって有害となるでしょう。