شرکت فناوری چینی ShengShu-AI با همکاری محققان «دانشگاه چینهوا»، از اولین مدل هوش مصنوعی تبدیل متن به ویدیو چین، با نام Vidu رونمایی کرد. این مدل که پیشرفت سریع این کشور در زمینه توسعه هوش مصنوعی را نشان می‌دهد، با Sora از OpenAI رقابت خواهد کرد.
Vidu که در انجمن Zhongguancun پکن معرفی شد، می‌تواند با یک کلیک و دستور متنی ساده، کلیپ ویدیویی 16 ثانیه‌ای با وضوح 1080p تولید کند. طبق توضیحات ارائه‌شده، مدل هوش مصنوعی Vidu براساس یک معماری تبدیل بصری با نام Universal Vision Transformer (U-ViT) ساخته شده است که دو مدل هوش مصنوعی متن به ویدیو Diffusion و Transformer را با یکدیگر ترکیب می‌کند.
در ویدیو زیر می‌توانید ویدیوهای ساخته‌شده با این مدل را تماشا کنید:
همانطور که در ویدیو بالا قابل‌مشاهده است، Vidu می‌تواند محیط و اجسام دنیا را به‌صورت واقعی شبیه‌سازی کند و صحنه‌هایی با جزئیات پیچیده و مطابق با قوانین فیزیک، همراه با افکت‌های نور و سایه تولید کند. همچنین این مدل در نمایش حالات چهره نیز در ویدیوهای خود تبحر دارد. علاوه‌براین، Vidu درک خوبی از عناصر چینی دارد و می‌تواند ویدیوهایی از موجودات منحصربه‌فرد مانند پاندای غول‌پیکر و اژدهای چینی تولید کند.
مدل هوش مصنوعی تبدیل متن به ویدیوی چینی Vidu تنها دو ماه پس از انتشار مدل Sora توسط استارتاپ آمریکایی OpenAI که با سروصدای زیادی در سراسر جهان همراه شد، معرفی شده است. «ژو جون»، معاون انستیتوی هوش مصنوعی دانشگاه چینهوا و دانشمند ارشد ShengShu-AI، هنگام معرفی مدل Vidu گفت:
«پس از انتشار Sora، متوجه شدیم که این مدل با نقشه راه فنی ما مطابقت دارد، که ما را ترغیب کرد تا تحقیقات خود را با قاطعیت پیش ببریم.»
