Meta ได้เปิดตัว SeamlessM4T ซึ่งเป็น AI ใหม่ที่เป็น “โมเดลหลายภาษาและหลายงานที่สามารถแปลและถอดความได้อย่างราบรื่นระหว่างเสียงและข้อความ” ตามที่บล็อกของ Meta ระบุ โมเดลนี้สามารถแปลระหว่างภาษาใด ๆ จากเกือบ 100 ภาษาสำหรับฟังก์ชันแปลข้อความเป็นข้อความและข้อความเป็นเสียง รวมถึงภาษาที่ใช้ในการป้อนข้อมูลและส่งออกใน 36 ภาษาอื่น ๆ รวมถึงภาษาอังกฤษ

Meta ได้สร้าง SeamlessM4T จากโครงสร้างโมเดลหลายงาน UnitY ที่มีพื้นฐานอยู่แล้ว ซึ่งสามารถดำเนินการแปลหลายโหมดได้เช่นกัน รวมถึงการรู้จำคำพูดอัตโนมัติ มันใช้ระบบ BERT 2.0 สำหรับการเข้ารหัสเสียง และ HiFi-GAN unit vocoder สำหรับการสร้างการตอบสนองที่พูด

บริษัทยังได้สร้างคลังข้อมูลขนาดใหญ่ที่เปิดให้คนทั่วไปเข้าถึงสำหรับการแปลเสียงเป็นเสียงและเสียงเป็นข้อความ ชื่อว่า SeamlessAlign โดยมีการทดสอบเพื่อความทนทาน และพบว่า SeamlessM4T มีประสิทธิภาพสูงกว่าโมเดลก่อนหน้านี้ถึง 37% และ 48% ตามลำดับ