盛科がオーディオ小説向けの初のAI吹き替え制作プラットフォームを立ち上げ、新たな没入型読書体験をもたらす

ロマン・ロランはかつてこう言いました。「本とともに生きれば、ため息をつくことはなくなる。」読書への愛好もまた、中国人の間で世代から世代へと受け継がれてきた素晴らしい伝統です。現在、国は国民全体の間で読書を継続的に推進しています。

近年、インターネットや新しいメディアの急速な発展により、人々の知識獲得の手段はかつてないほど広がり、読書の仕方も大きく変化しました。第7回中国デジタル読書会議が発表した「2020年中国デジタル読書報告」によると、全国のデジタル読書ユーザー数は4億9,400万人を超え、そのうち一人当たりのオーディオブックの平均読書数は6.3冊に達し、特に急速な発展を遂げている。

オーディオブックには、普及が早く、読みやすく、読者層が広いという利点があります。しかし一方で、制作コストとユーザー体験のバランスをコントロールすることは依然として難しく、高品質のオーディオブックコンテンツの制作能力が不十分となり、業界の発展が制限されています。

現在、オーディオブックのコンテンツを制作する方法には、手動録音と機械生成の 2 つの主な方法があります。ライブ朗読は芸術表現の面で大きな利点がありますが、制作コストが非常に高く、一部のプラットフォームでは1分あたり30元にもなります。録音作品が長い場合、費用は数十万元にまで高くなることもあります。

オーディオブックのコンテンツを機械で生成すると、制作コストを約 90% 削減できるため、より効率的でコスト効率の高い方法となります。さらに、音声合成などの技術が継続的に成熟するにつれて、機械で生成された朗読音は人間の声の表現効果に非常に近いものとなり、人文知識や科学技術などの科学普及用オーディオブックの制作に広く利用されるようになりました。

しかし、より文学的で表現力豊かな小説の場合、機械生成音声の可能性はまだ探求されていません。一方で、このタイプの作業では、生成された音声のより高い表現力が求められます。一方、小説では登場人物の数が多く、それらを区別する必要があることが多く、高度なAI技術も求められます。

このような状況の中で、テンセントPCG AIインタラクション部門傘下のオーディオおよびビデオ制作プラットフォーム「盛科」は、AI技術の蓄積を活かして、オーディオ小説の吹き替えを目的とした初のAI制作機能を立ち上げました。この機能は現在、期間限定で無料です。オーディオ小説一冊分の制作を一人で完結できます。テキストを入力すると、AI によって吹き替えが生成されるため、オーディオブックの制作コストが大幅に削減され、効率が大幅に向上します。

さらに、この機能により、すべてのユーザーが自分の好みに応じて没入型オーディオブックを無料で作成できるようになり、より多様なオーディオブックのニーズを満たすことができます。

Shengkaはとても使いやすいです。 txt や doc などの一般的な形式のテキストをインポートし、対応する AI ダビングを選択するだけで、オーディオの読み上げを開始できます。どの AI 吹き替えを選んでも、特に注意を払わないと、本当に人間が読んでいるような効果だと思うかもしれません。

  AI吹き替え、声質、方言などはいつでも変更可能

もちろん、中国語の豊かな表現力のため、完全に AI によって生成された結果には必ず何らかの欠陥が伴います。たとえば、私たちがテストしたテキストでは、「thatched rafters and puffy windows」という単語の最後の 2 つの単語に休止があり、「待在下此來源注明」の「待」も 1 つの音調として発音されていました。 Shengka はこれらの問題に対して優れた最適化を行っており、ユーザーはフレーズ連鎖や多音文字などの機能を通じてオーディオを簡単に調整できます。さらに、一時停止の挿入、ローカル速度の変更、単語の発音などの機能により、効果はより鮮明で詳細になります。

 任意の領域を選択した後、読み取り効果を微調整できます。

より多くの文字が含まれる小説の場合、Shengka には非常にユニークなオーディオ小説作成機能もあります。小説のテキストをアップロードすると、システムはNERアルゴリズムを通じて小説内の登場人物を自動的に識別し、「正規表現」を通じて章を自動的に分割します。認識速度も非常に速いです。 『モンテ・クリスト伯』のような100万語の小説を読むのに30秒もかかりません。その後、ユーザーはキャラクターの理解度に応じて AI 吹き替えを選択できます。 Shengka は、クロススピーカー スタイル転送テクノロジーを使用して、同じ AI 声優が異なる感情や方言さえも解釈できるようにします。

各AI声優には適切な仕事スタイルがマークされている

編集インターフェースに入ると、左側の章と右側の文字のレイアウトが一目でわかります。登場人物に複数の名前がある場合（本書のダンテス、エドモンド、モンテ・クリスト伯など）、または表現方法により重複して識別される場合（下図のダングラーズ氏とダングラーズなど）でも、ユーザーは同じ AI 吹き替えを簡単にすばやく選択できます。また、名前のないキャラクターが話すセリフがある場合は、手動でキャラクターを追加したり、個々の文章を選択して個別に吹き替えを追加したりすることもできます。

文字認識精度は非常に高く、登場する文字は基本的に全て網羅しています。

『紅楼夢』の古典的な一節「林黛玉が賈屋敷に入る」を例に挙げてみましょう。主人公の三人、黛玉、賈の母、王希峰には、優しい声、大人っぽい声、親しみやすい声の3つのAI吹き替え音声を選択し、ナレーションには深みのある男性の声を選択しました。中でも、王希峰さんは頭の回転が速く、話が流暢なことで知られているので、彼女のセリフの一部をスピードアップしました。このように、もともと表現力豊かなテキストは、音が加わることでさらに鮮やかで印象的になります。

各キャラクターのセリフが強調表示され、個々の文章の調整が容易になります。

多くの小説には数十人の登場人物が登場します。一致する音声を手動で選択するのは時間がかかり、労力がかかります。盛歌のオーディオノベル機能は、異なる吹き替えを通じて、異なるキャラクターを素早く区別し、各キャラクターに対するユーザーの印象を深めることができます。これは、AI技術の発展がユーザーの読書体験と読書効果に与える革新性も反映しています。

ライフスタイルの変化に伴い、消費者の読書方法や読書シーンは多様化しており、デジタル読書はますます大きな可能性を示しています。中でも、より便利で感情豊かなオーディオブックは、最も幅広い発展の見通しを持っています。

ビッグデータ、5G、AIに代表される新世代の情報技術は急速に発展しており、その応用シナリオは絶えず拡大しており、さまざまな産業の変革、アップグレード、統合を促進しています。オーディオブック業界が発展したいのであれば、テクノロジーの力に頼らなければなりません。 Shengka は、テクノロジーが業界にどのような力を与えるかを示す優れた例です。 AI技術の導入により、オーディオブックの制作コストが大幅に削減され、コンテンツの大量生産にも便利になり、短期間でオーディオブック業界の経済的利益を急速に向上させ、規模の経済を形成するのに役立ちます。

コンテンツクリエイターにとって、有名作品の二次創作であれ、自身の作品の「オーディオ化」であれ、Shengka は革新的なソリューションを提供します。この方法で制作されたコンテンツは、オーディオ小説に対する現在の一般の需要を満たすだけでなく、高齢者、ティーンエイジャー、視覚障害者などの特別なグループに宣伝して、彼らの読書環境を改善するのにも適しています。

元新聞出版総局副局長の李東東氏は「デジタル発展の新たな潮流に直面して、我々はデジタル読書の発展を積極的に推進し、国民読書のためのデジタルリソースプラットフォームを確立し、デジタル読書サービスを推進しなければならない」と述べた。テンセントPCG AIインタラクション部門のShengkaは、「読書+テクノロジー」の優れた応用事例であり、ユーザーはいつでもどこでも専門的で高品質の読書コンテンツを取得できます。これは間違いなく、国民全体の読書を促進する上で非常に前向きな役割を果たすでしょう。

今日頭条の青雲計画と百家曼の百+計画の受賞者、2019年百度デジタル著者オブザイヤー、百家曼テクノロジー分野最人気著者、2019年捜狗テクノロジー文化著者、2021年百家曼季刊影響力のあるクリエイターとして、2013年捜狐最優秀業界メディア人、2015年中国ニューメディア起業家コンテスト北京3位、2015年光芒体験賞、2015年中国ニューメディア起業家コンテスト決勝3位、2018年百度ダイナミック年間有力セレブなど、多数の賞を受賞しています。