イレブンラボのAI音声クローン作成ツールはすでに悪用されている。同社は現在、この悪用を防止する方法を検討している。
数日前、人工知能ボーカルイレブンラボは、ユーザーがテキスト読み上げ用のまったく新しい合成音声を作成したり、誰かの声を複製したりできるプラットフォームのベータ版を開始しました。残念ながら、完成には数日しかかかりませんでしたインターネット始まりますこのツールを悪意を持って使用する。同社が明らかにした。ツイッターは「音声クローンの悪用例が増加している」と指摘し、「追加の安全策を導入する」ことで問題に対処する方法を検討していると述べた。
イレブンラボは「不正行為」が何を意味するのかを明らかにしていないが、マザーボード有名人が非常に疑わしい何かを読んだり言ったりしているように聞こえる、生成された音声を特徴とするオーディオクリップを含む投稿が 4chan で見つかりました。たとえば、そのうちの 1 人は、次のような声を発します。エマ・ワトソン誰が抜粋を読むだろうか私の戦い。ユーザーは、同性愛嫌悪、トランス嫌悪、暴力的、または人種差別的な発言を含むクリップを公開したこともあります。これらのクリップすべてが実際に Celebrities のテクノロジーを使用しているかどうかは誰も知りませんが、4chan 上の音声ファイルの大規模なコレクションを含む 1 つの投稿には、このスタートアップのプラットフォームへのリンクが含まれていました。
結局のところ、数年前に同様の現象を観察することができたので、この「ディープフェイク」音声の出現はおそらく驚くことではありません。人工知能と機械学習の進歩により、動画が増加ディープフェイク、特にポルノにおけるディープフェイクでは、既存のポルノ コンテンツを改変して有名人の顔をフィーチャーするものがあります。そして、確かに、この種のビデオでエマ・ワトソンの顔を使用した人もいます。
イレブンラボは現在、ユーザーによるこのテクノロジーの悪用を防ぐ方法について、ユーザーや専門家からのフィードバックを収集しています。現在、音声クローンを可能にするために、支払い方法やIDカードの入力を必須にするなど、アカウント認証にさらに階層を追加することが議論されています。同社は、ユーザーがテキストを読み上げたサンプルを送信するなど、クローンしたい音声の著作権所有権を確認することも検討している。最後に、このスタートアップは、Voice Labツールを市場から撤退させ、手動で検証できるリクエストのみで運用することを検討している。つづく！
素晴らしい週末 – ベータ版プラットフォームをお試しいただいた皆様、ありがとうございました。当社のテクノロジーは圧倒的に積極的な用途に適用されていますが、音声クローンの悪用事例も増加しています。ご意見やフィードバックが必要な場合は、Twitter コミュニティにご連絡ください。
— イレブンラボ (@elevenlabsio)2023 年 1 月 30 日
