ああ？音楽にも「指紋」がある！楽曲認識機能の実現方法 →

誰もがこのような経験をしたことがあるかもしれません。

聞き覚えのあるメロディーを聞く

でも曲名が思い出せない

このとき、曲認識機能をオンにしてください

数秒後

対応する曲が画面に表示されます。

この機能はどのように機能しますか?

こんなに短時間で曲名を正確に特定するにはどうすればいいのでしょうか？

オーディオ指紋は曲を識別する鍵となる

曲を聴いて識別するための鍵は、オーディオ フィンガープリンティングにあります。人の指紋がそれぞれユニークであるように、曲にもそれぞれユニークな指紋があります。オーディオ フィンガープリントは、オーディオ信号のデジタル DNA です。その生成プロセスは、おおよそ次のステップに分けられます。
オーディオ信号のデジタル化

音楽認識の第一歩は、音を「聴く」ことです。しかし、機械はどのようにして歌を「聞く」のでしょうか?音は本質的に振動です。人間の耳に受信された後、鼓膜やその他の組織がこの振動を脳が認識できる信号に変換します。音楽を聴く機械の原理も同様です。音の振動を電気信号に変換し、その電気信号をコンピューターで処理できるデジタル信号に変換します。

現実世界の音は連続的（線のような）アナログ信号ですが、コンピューターが処理する信号は離散的（複数の点のような）デジタル信号です。そのため、連続した音の波形をサンプリングして離散的なデジタル信号に変換する必要があります。サンプリング レートによって信号のキャプチャ効果が決まります。サンプリング レートが高くなるほど、ポイントの密度が高くなり、元のサウンドがより完全に保存されます。

特徴抽出後のデジタル化された信号は、音声処理モジュールに送信され、特にフーリエ変換（数学的変換アルゴリズム）を介して、時間領域から周波数領域への変換を含む音声特徴抽出が行われ、連続音声信号がさまざまな周波数の成分に分解されます。

時間領域信号は、サウンド表現の最も直接的な形式（つまり、録音ソフトウェアで通常表示される波形）であり、周波数領域信号は、サウンドに含まれる周波数成分を反映できます。周波数領域分析後、結果として得られるスペクトログラムは、オーディオの特性情報を視覚化できます。スペクトログラムは、曲の周波数と振幅を毎秒記録し、信号にどの周波数がいつ現れるか、またそれらの強度がどのように関連しているかを直感的に示します。

オーディオ指紋生成

スペクトル グラフの特徴に基づいて、オーディオ フィンガープリントを取得できます。通常、オーディオはいくつかの小さなブロックに分割され、オーディオ内の重要な周波数ピークが抽出されます。各フラグメントのピークの組み合わせが、曲全体のオーディオ フィンガープリントを形成します。

通常、低音、中音、高音のバランスの取れた分析を確実にするために、異なる周波数範囲が個別に処理され、混乱や特定の音楽要素の欠落を回避します。

各曲は固有のオーディオ フィンガープリントに変換されるため、同じ曲の異なるバージョンであっても、周波数、振幅、時間の違いにより異なるフィンガープリントが生成され、その後のマッチングの精度が最も高くなります。

最後に、曲の「指紋」ができたら、次のステップは、既存の曲データベース内でそれに一致する指紋を見つけて、特定の曲を識別することです。楽曲認識技術では、オーディオ全体を比較するよりもハッシュ値を直接比較する方がはるかに高速であるため、各オーディオ フィンガープリントをハッシュ値 (一種のコード) に変換します。ソフトウェアは、ユーザーの録音のフィンガープリントをデータベース内のフィンガープリントのハッシュ値と比較し、一致する曲を見つけます。

オーディオ指紋のその他の用途

オーディオ フィンガープリント テクノロジーは、曲の識別に使用されるだけでなく、次の分野にも応用できます。

1. パーソナライズされた音楽のおすすめ

特徴抽出とマッチング技術は、パーソナライズされた音楽推奨の基礎も提供します。推薦システムは、メロディー、リズム、感情などの音楽の特徴に基づいてユーザーの好みを探ります。これにより、推薦の精度が向上するだけでなく、ユーザーは自分の好みに合ったより多くの音楽を発見できるようになります。

2. 著作権の検出と保護

オーディオ フィンガープリント テクノロジーは、メディア ライブラリ内に同じ内容の曲があるかどうかの検出、ユーザーがアップロードしたビデオやオーディオが著作権を侵害しているかどうかの検出、曲が無断で使用されているかどうかの検出など、著作権の検出と保護にも使用できます。

3. オーディオ再生モニタリング

たとえば、広告主がテレビやラジオが特定の頻度で時間通りに広告を放送しているかどうかを監視する必要がある場合、ラジオ局はこのテクノロジーを使用して監視およびカウントできます。