چند روز پیش، استارتاپ هوش مصنوعی گفتاری ElevenLabs یک نسخه بتا از پلتفرم خود را راه‌اندازی کرد که به کاربران اجازه می‌دهد صداهای مصنوعی کاملاً جدیدی برای تبدیل متن به گفتار ایجاد کنند یا صدای دیگران را شبیه‌سازی کنند. حالا اشاره شده که تنها چند روز پس از راه‌اندازی این پلتفرم، کاربران شروع به استفاده از آن برای اهداف ناخوشایندی کرده‌اند.
شرکت ElevenLabs از طریق حساب توییتر خود فاش کرد که شاهد «تعداد بسیار زیادی سوءاستفاده از شبیه سازی صدا» بوده و به دنبال راهی برای حل این مشکل است.
هرچند ElevenLabs در توییت خود توضیح بیشتری درباره این موارد سوء استفاده ارائه نکرده است، نشریه Motherboard کلیپ‌هایی را پیدا کرده که در آن‌ها از صداهایی استفاده شده که شبیه افراد مشهور در حال خواندن یا بیان کردن چیز مشکوکی هستند. به عنوان مثال، در یکی از این کلیپ‌ها، صدایی شبیه به «اما واتسون» بازیگر فیلم‌های هری پاتر در حال خواندن کتاب «نبرد من» از آدولف هیتلر است.
ElevenLabs اکنون در حال جمع‌آوری بازخوردهای لازم در مورد نحوه جلوگیری از سوء استفاده کاربران از فناوری خود است. در حال حاضر، ایده فعلی آن شامل افزودن لایه‌های بیشتری به تأیید حساب کاربران برای فعال کردن قابلیت شبیه‌سازی صوتی می‌شود، مانند الزام کاربران به وارد کردن اطلاعات پرداخت یا شناسه. همچنین این موضوع برای آینده در نظر گرفته شده که کاربران حق کپی‌رایت صدایی که می‌خواهند آن را شبیه‌سازی کنند را باید تأیید کنند، مثلا از آن‌ها خواسته می‌شود تا نمونه ویدیویی را با متن درخواستی خود ارسال کنند.
در نهایت، این شرکت به این مسئله نیز فکر می‌کند که ابزار Voice Lab خود را به طور کلی کنار بگذارد و از کاربران بخواهد درخواست‌های شبیه‌سازی صوتی خود را به صورت دستی ارسال کنند.
در طول چند سال گذشته فناوری‌های هوش مصنوعی و یادگیری ماشین پیشرفت بسیار زیادی کرده‌اند و آشنایی کاربران اینترنت با آن‌ها باعث شده تا ویدیوهای دیپ‌فیک زیادی نیز ساخته شوند.
