AI技術と「サイバー暴力」のガバナンス：人工知能はサイバー暴力にどのように対処するのか？

「サイバー暴力」の統治に関しては、サイバー空間を浄化するためにレッドカードを提示し、レッドラインを引くなど、法的観点を積極的に活用してサイバー暴力を統治している。一部の企業は、サイバー暴力の分析に人工知能の自然言語処理技術を応用することを検討し始めている。

「ネットいじめ」とは何ですか?

「サイバー暴力」とは、インターネット上で文章、画像、動画などを利用して他人を誹謗中傷したり、名誉を傷つけたり、他人の名誉やプライバシーなどを毀損したり、関係者に精神的ストレスや心理的トラウマを与える行為を指します。それはインターネット上の社会的暴力の延長です。サイバー暴力の最も一般的な形態は、Weibo、ビデオ、ニュース、フォーラムに現れます。

「サイバー暴力」の原因は、第一に、個人のプライバシーが保護される一方で、侵害者が無謀な発言をすることを許してしまうインターネットの匿名性である。第二に、一部のメディアはトラフィックと注目度を追求するため、一方的な報道を行い、話題性を高めるために事実を故意に歪曲します。第三に、世論が形成されるとき、個人は集団の価値観の方向に従い、自分自身の合理的思考能力を無視する傾向がある。

自然言語処理（NLP）と「ネットいじめ」

ソーシャルメディア上のサイバー暴力は、主にコメントや集中砲火などの形で拡散されます。コメントや集中砲火などの非構造化言語データを分析するために、使用されるコアAI技術は主に自然言語処理です。自然言語処理技術は機械学習とディープラーニングの手法に基づいており、機械が言語の特徴を自動的に学習し、人間の言語を理解する能力を持つことを可能にします。現在、この技術は、テキスト分類、自動要約、質問応答システム、機械翻訳、感情分析などに広く使用されています。実生活では、一般的な音声アシスタントや最近人気のChatGPTは、自然言語処理技術の一般的なアプリケーションです。 「サイバー暴力」のガバナンスに関しては、以下の方向性も関係するでしょう。

テキストエンティティ抽出:

「ネットいじめ」のターゲットは通常、特定の人物や出来事であるため、まずは大量のコメントデータから特定のネットいじめ事件に関するコメントをフィルタリングする必要があり、これには主に固有表現抽出アルゴリズム（NER）が関与します。 NER アルゴリズムは、主にルールベース方式、統計的方式、ディープラーニング方式などに分けられます。

図1 固有表現認識方式

テキスト感情分析:

感情分析では、コメントに肯定的/否定的なスコアを割り当て、セマンティクスにさまざまな種類の感情の詳細が含まれているかどうかを識別し、テキストから全体的な感情に最も大きな影響を与えるキーワードをインテリジェントに抽出できます。これにより、数千万件のコメントの背後にあるネットユーザーの感情分布を理解し、さらに、期間、地域、性別ごとにさまざまなイベントに対するさまざまなグループの感情を分析し、イベントに対する否定的かつ暴力的な感情を迅速に管理できるようになり、また、極性語に基づいてより多くの潜在的なサイバー暴力行為を発見することもできます。

、

図2 異なる感情の分類

技術的なポイントとしては、主に機械学習（SVMなど）やディープラーニング（CNN）を用いたテキスト分類や極性語マイニングなどが挙げられます。全体的なプロセスを図に示します。

図3 文レベルの感情分析ソリューション

テキスト類似性分析:

同じイベントに関するコメントの類似性分析は、イベントコメントの世論の傾向を発見するのに役立ちます。さまざまなイベントに関するコメントの類似性分析を行うことで、「ネットいじめ」ユーザーが使用するコメントと類似した単語や表現を含むコメントを見つけたり、特定のイベント/人物に関する最近の世論の肯定的/否定的側面を掘り起こすことができます。現在、類似性分析には主に 2 つのディープラーニング パラダイムがあります (次の図を参照)。

図4 類似性分析の2つのパラダイム

最初のパラダイムでは、まずディープ ニューラル ネットワークを通じてコメント コンテンツの表現ベクトルを抽出し、次に表現ベクトルの単純な距離関数 (ユークリッド距離など) を通じて 2 つの間の類似度を計算します。表現ベクトルを抽出するこの方法は、通常、ツイン ネットワークを使用して実装されます。このカテゴリに属する​​一般的なモデルには、DSSM、CNTN などがあります。

2 番目のパラダイムは、ディープ モデルを通じてコメント コンテンツのクロス特徴を抽出し、一致する信号テンソルを取得し、それらを類似度スコアに集約することです。

構文/語彙解析:

構文と語彙の分析を通じて、多数の「肯定的」なコメントと「ネットいじめ」のコメントに共通する構文と語彙の習慣を掘り起こし、現在のオンライン環境で「ネットいじめ」のユーザーがよく使用するレトリックと単語、およびさまざまなユーザーが意見の極性を表現するときに使用する言語特性をまとめることができます。

統語構造分析は、文の主語、述語、目的語、形容詞、副詞、補語を識別し、構成要素間の関係を分析するために使用されます。これは通常、ディープラーニングの RNN および LSTM シーケンス モデルに基づいています。

語彙解析のタスクは、入力されたコメント コンテンツ文字列を単語シーケンスに変換し、各単語の品詞をマークすることです。主に配列ラベリング技術が用いられます。具体的なアルゴリズムとしては、条件付きランダムフィールド (CRF)、RNN+CRF などがあります。

図5 語彙解析の例

要約する

「サイバー暴力」の存在は、被害者の権利と利益を直接的に危険にさらすだけでなく、ネットワークの安全性と社会の調和にも悪影響を及ぼします。中国移動スマートホームオペレーションセンターは、ディープラーニング、画像認識、自然言語処理、OCRなどの技術的蓄積を基に、写真、テキスト、動画、音声内のポルノ、暴力とテロ、政治、ギャンブル、画像OCR、顔認識などの多次元コンテンツのセキュリティテストを実行できるコンテンツセキュリティ保護製品を発売しました。

AI技術の発展に伴い、技術的手段に基づくインターネット暴力管理が徐々に重要な役割を果たすようになるでしょう。中国移動のスマートホームオペレーションセンターは、このシナリオにおいて先進技術を継続的に探求し、業界の最先端技術を組み合わせてコンテンツエコシステムの構築を強化し、中国サイバースペース管理局の「明晰で明るい」シリーズの特別措置に積極的に対応し、明晰で明るいネットワーク環境の実現に貢献します。

参考文献

【1】知乎百科事典：ネットいじめ、https://www.zhihu.com/topic/19592480/intro

【2】 テキスト感情分析の総合的解釈、https://zhuanlan.zhihu.com/p/270399396

【3】自然言語処理（NLP）（6）— 語彙解析、https://blog.csdn.net/echoKangYL/article/details/87912509

著者: 徐静洋

部署：中国移動スマートホームオペレーションセンター