அலிபாபா Qwen3 Omni-ஐ அறிமுகப்படுத்தியது: திறந்த மூலப் பன்மாதிரி செயற்கை நுண்ணறிவு மாதிரி

இந்த அறிமுகம் இப்போது ஏன் முக்கியம்

உரை, படங்கள், ஒலி, காணொளி ஆகியவற்றை ஒரே அமைப்பில் செயலாக்கும் பன்மாதிரி செயற்கை நுண்ணறிவு மாதிரியான Qwen3 Omni-ஐ அலிபாபா வெளியிட்டுள்ளது. உலகளாவிய செயற்கை நுண்ணறிவுப் போட்டி தீவிரமடைந்து வரும் தருணத்தில் இது வெளியாகியுள்ளது. Apache 2.0 உரிமத்தின் கீழ் இந்த மாதிரியைப் பதிவிறக்கிப் பயன்படுத்தலாம். இதன் மூலம் நிறுவனங்கள் இந்தத் தொழில்நுட்பத்தை வணிகத் தயாரிப்புகளில் இயக்கவும், மாற்றியமைக்கவும், வெளியிடவும் விரிவான உரிமைகளைப் பெறுகின்றன. பரந்த அளவிலான உள்ளீட்டு வகைகளையும் அனுமதி விரிவான உரிமத்தையும் இணைக்கும் இந்த அணுகுமுறை, அமெரிக்க முன்னணி நிறுவனங்களின் மூடிய அமைப்புகளுக்கு நேரடிப் போட்டியை ஏற்படுத்துகிறது.

இதன் வெளியீட்டு நேரம் குறிப்பிடத்தக்கது. மேற்கத்திய நிறுவனங்கள் தனியுரிமை கொண்ட செயற்கை நுண்ணறிவிலும் அதற்கான கட்டமைப்பிலும் தொடர்ந்து பெரும் முதலீடு செய்து வருகின்றன. அதேவேளையில், சீன ஆய்வுக் குழுக்கள் திறந்த அணுகல் மாதிரிகள் மூலம் மென்பொருள் உருவாக்குநர்களை ஈர்த்து வருகின்றன. Hugging Face சமூகத்தின் பிரபலப் பட்டியல்களில் Qwen3 Omni விரைவாக மேலேறியுள்ளது; உருவாக்குநர்கள் இதை பெரிய அளவில் பயன்படுத்தத் தொடங்கியிருப்பதற்கான அறிகுறி இது. இந்த வெளியீடு, ஆராய்ச்சித் துறையில் கவனம் பெறுவதுடன் மட்டும் நின்றுவிடாமல், உலகளாவிய செயற்கை நுண்ணறிவுப் பணிச்சுமைகளுக்கான போட்டியிலும் களமிறங்க சீனாவின் மிகப்பெரிய மேகக் கணினிச் சேவை வழங்குநரான அலிபாபா விரும்புவதை உணர்த்துகிறது.

இந்த மாதிரியின் நோக்கத்தை எளிமையாகச் சொல்லலாம்: மொழி, படங்கள், ஒலி, காணொளி ஆகியவற்றைப் பெற்றுக்கொண்டு, உரையாகவோ இயல்பான பேச்சாகவோ விரைவாகப் பதிலளிக்கும் ஒரே அடிப்படை மாதிரி. அலிபாபா தெரிவிக்கும் செயல்திறன் அன்றாடப் பயன்பாட்டிலும் நீடித்தால், மூடிய தளங்களுக்குப் பயன்பாட்டுக் கட்டணம் செலுத்தாமலும் ஒவ்வொரு தரவு வகைக்கும் தனித்தனி மாதிரிகளை ஒன்றிணைக்காமலும் நிறுவனங்கள் உதவியாளர்கள், ஒலிப்பதிவு எழுத்தாக்கச் சேவைகள், பகுப்பாய்வுக் கருவிகள் ஆகியவற்றைப் பயன்படுத்தலாம்.

Qwen3 Omni என்றால் என்ன, அது என்ன செய்கிறது

Qwen3 Omni என்பது பன்மாதிரி ஊடாட்டத்துக்காக இயல்பாகவே உருவாக்கப்பட்ட அடிப்படை மாதிரி. இது உரை, படம், ஒலி, காணொளி என நான்கு வகையான உள்ளீடுகளை ஏற்றுக்கொண்டு, உரை மற்றும் பேச்சு என இரண்டு வகையான வெளியீடுகளை வழங்குகிறது. பதில்களை நிகழ்நேரத்துக்கு நெருக்கமான வேகத்தில் தொடர்ச்சியாகப் பெறலாம். எனவே, பயனர் அமைப்புடன் பேசலாம் அல்லது ஒரு காட்சியை நோக்கிக் கேமராவைக் காட்டலாம்; காட்சிப் படங்களைச் செயலாக்கும் போதே பதிலைக் கேட்கத் தொடங்கலாம்.

பல்வேறு பயன்பாடுகளுக்கு ஏற்ற திறன்களைத் தேர்ந்தெடுக்க அணிகளுக்காக அலிபாபா மூன்று பதிப்புகளை வெளியிடுகிறது. ஒவ்வொரு பதிப்பும் 30 பில்லியன் அளவுருக்களைக் கொண்ட அடிப்படை மாதிரியைச் சார்ந்தது. செயலாக்கத்தின்போது திறன் மிக்க நிபுணர் கூறுகளைத் தேர்ந்தெடுத்து இயக்குவதன் மூலம் இது செயல்திறனை உயர்த்துகிறது. அவை பின்வருமாறு:

• Instruct: ஒலி, காணொளி, உரை உள்ளீடுகளைக் கையாள்வதுடன் உரையையும் பேச்சையும் உருவாக்கும் முழுமையான ஊடாட்ட மாதிரி.
• Thinking: நீண்ட பகுத்தறிவுச் சிந்தனைப் பதில்களுக்கான மாதிரி. இதுவும் அதே உள்ளீடுகளை ஏற்றுக்கொள்ளும்; ஆனால் உரையை மட்டுமே வெளியிடும்.
• Captioner: ஒலி மூலங்களையும் நிகழ்வுகளையும் விவரிக்கும்போது தவறான தகவலைப் புனைந்து கூறுவதைக் குறைப்பதை நோக்கமாகக் கொண்ட, விரிவான ஒலி விளக்கங்களுக்காக நுணுக்கமாகப் பயிற்றுவிக்கப்பட்ட பதிப்பு.

உருவாக்குநர்கள் மாதிரியின் எடைகளை GitHub மற்றும் Hugging Face தளங்களிலிருந்து பதிவிறக்கலாம். அல்லது அலிபாபாவின் API வழியாக நிர்வகிக்கப்படும் சேவையைப் பயன்படுத்தலாம். தாமதம் உணர்திறன் மிக்க பயன்பாடுகளுக்கு வேகமான Flash பதிப்பையும் API வழங்குகிறது.

Thinker, Talker வடிவமைப்பின் உள்பக்கம்

அலிபாபா Thinker, Talker என அழைக்கும் இரண்டு கூறுகளைக் கொண்ட கட்டமைப்பை இந்த அமைப்பு பின்பற்றுகிறது. பல்வேறு உள்ளீட்டு வகைகளில் பகுத்தறிவது Thinker-ன் பொறுப்பு. இது உரை, காட்சிப் படங்களைச் செயலாக்கும் குறியாக்கிகள், ஒலிக் குறியாக்கி ஆகியவற்றிலிருந்து கிடைக்கும் குறிப்புகளை ஒன்றிணைத்து, பின்னர் திட்டமிட்டு, விரும்பிய பதில் அல்லது செயல்பாட்டைக் குறிக்கும் உரைத் துணுக்குகளை உருவாக்குகிறது. Talker அந்தத் திட்டத்தை இயல்பான பேச்சாக மாற்றுகிறது; அதே நேரத்தில் காட்சி மற்றும் ஒலிச் சூழலுக்கு ஏற்ப நேரத்தையும் குரல் ஏற்ற இறக்கத்தையும் ஒத்திசைக்கிறது.

இரு கூறுகளும் நிபுணர் கலவை (Mixture of Experts) அணுகுமுறையைப் பயன்படுத்துகின்றன. ஒவ்வொரு செயல்பாட்டுப் படியிலும் அளவுருக்களில் ஒரு பகுதி மட்டுமே இயங்கும். இதனால் பணிச்சுமை நிபுணர் கூறுகளிடையே பகிரப்பட்டு, ஒரே நேரத்தில் பல கோரிக்கைகள் வரும்போது செயலாக்கத் திறன் மேம்படுகிறது. பல பயனர்களுக்குச் சேவை வழங்கும்போதும் குறைந்த தாமதத்தைப் பேண இந்த வடிவமைப்பு உதவுகிறது.

Thinker-ன் உள் உரைப் பிரதிநிதித்துவத்தை Talker சார்ந்திருப்பதில்லை. ஒலி, காட்சிச் சிறப்பம்சங்களை நேரடியாக அடிப்படையாகக் கொண்டு அது செயல்பட முடியும். இதனால் மொழிபெயர்ப்பு அல்லது நேரடி உதவியின்போது பேச்சு இயல்பாக அமையும்; காட்சிக்கு ஏற்ற பேச்சின் ஏற்ற இறக்கத்தையும் குரல் பண்பையும் அமைப்பு தக்கவைக்க முடியும். இந்தப் பிரிப்பு செயல்பாட்டிலும் நன்மை தருகிறது. தகவல் மீட்டெடுப்பு அமைப்புகள் அல்லது பாதுகாப்பு வடிகட்டிகள் போன்ற வெளிப்புறக் கூறுகள், Talker பேச்சாக மாற்றுவதற்கு முன் Thinker முன்வைக்கும் உரையைச் சோதித்து மாற்றியமைக்கலாம்.

பேச்சை விரைவாகவும் தெளிவாகவும் உருவாக்க, Talker பல குறியீட்டுப் புத்தக வரிசையைத் தன்னியக்கமாக முன்னறிவித்து, Code2Wav எனப்படும் இலகுவான வலையமைப்பைப் பயன்படுத்தி ஒலிப் பகுதிகளை உடனுக்குடன் உருவாக்குகிறது. குரலின் தர நுணுக்கத்தைக் குறைக்காமல் தாமதத்தைக் குறைக்கிறது இந்த அணுகுமுறை.

வேகம், அளவு, மொழிகள்

குரல், காணொளி ஊடாட்டத்தில் தாமதம் முக்கியமானது. ஒலிக்கான முதல் தொகுப்புத் தாமதம் சுமார் 234 மில்லி வினாடிகள் என்றும், காணொளிக்கானது சுமார் 547 மில்லி வினாடிகள் என்றும் Qwen3 Omni தெரிவிக்கிறது. பல கோரிக்கைகளுக்குச் சேவை வழங்கும்போதும், தொடக்கம் முதல் முடிவு வரையிலான பதிலளிப்பு வேகம் ஒரு நிகழ்நேரக் காரணி வரம்புக்குள் இருக்கிறது; இதனால் உரையாடல் தடையின்றி தொடர்கிறது.

இந்த மாதிரி பல மொழிகளை ஆதரிக்கிறது. உரை வடிவில் 119 மொழிகளை ஆதரிக்கிறது. 19 மொழிகளில் பேசப்படும் உள்ளீட்டைப் புரிந்துகொண்டு, 10 மொழிகளில் பேசவும் முடியும். முக்கிய உலக மொழிகளும் கான்டோனீஸ் போன்ற வட்டார மொழிகளும் இதில் அடங்கும். ஒவ்வொரு பிராந்தியத்துக்கும் மாதிரிகளை மாற்ற வேண்டியதின்றி உலகளாவிய பயனர்களுக்கான உதவியாளர்களை உருவாக்க இது தயாரிப்புக் குழுக்களுக்கு வழி தருகிறது.

நீண்ட அமர்வுகளைக் கருத்தில் கொண்டு சூழல் சாளரங்கள் வடிவமைக்கப்பட்டுள்ளன. Thinking Mode-இல் 65,536 துணுக்குகளும், Non Thinking Mode-இல் 49,152 துணுக்குகளும் கிடைக்கின்றன. அதிகபட்ச உள்ளீடும் வெளியீடும் தலா 16,384 துணுக்குகள்; ஆதரிக்கப்படும் மிக நீண்ட பகுத்தறிவுச் சிந்தனை வரிசை 32,768 துணுக்குகள் வரை செல்கிறது. சுமார் 30 நிமிடங்கள் வரை நீளமான ஒலித் துணுக்குகளை இந்த மாதிரி பகுப்பாய்வு செய்து சுருக்க முடியும்.

அலிபாபா இந்த மாதிரியை எப்படிப் பயிற்றுவித்தது

ஒலியைப் புரிந்துகொள்வதற்கு AuT எனப்படும் தனிப்பயன் Audio Transformer அடிப்படையாக உள்ளது. சுமார் 20 மில்லியன் மணி நேரம் குறியீடு செய்யப்பட்ட ஒலித் தரவுகளைக் கொண்டு அலிபாபா AuT-ஐ தொடக்கம் முதல் பயிற்றுவித்தது. அந்தத் தரவுகளில் பெரும்பகுதி சீன, ஆங்கிலத் தானியங்கி பேச்சு அங்கீகாரத்தில் கவனம் செலுத்துகிறது; மீதமுள்ள சிறு பகுதி பிற மொழிகளையும் விரிவான ஒலி புரிதலை நோக்கிய பணிகளையும் கொண்டுள்ளது. சுமார் 60 கோடி அளவுருக்களைக் கொண்ட AuT, தொடரோட்டச் சேமிப்புகளுக்கும் இணையமற்ற செயலாக்கப் பணிகளுக்கும் ஏற்றவாறு வடிவமைக்கப்பட்டுள்ளது.

முன்பயிற்சி மூன்று கட்டங்களாக நடந்தது. குறியாக்கி ஒத்திசைவுக் கட்டத்தில் மொழி அடிப்படை மாதிரியை உறையவைத்தபடி காட்சி, ஒலிக் குறியாக்கிகளுக்குப் பயிற்சி அளிக்கப்பட்டது; இதனால் உணர்திறன் தரம் பாதுகாக்கப்படுகிறது. அடுத்து, உரை, ஒலி, படங்கள் ஆகியவற்றை உள்ளடக்கிய சுமார் இரண்டு டிரில்லியன் துணுக்குகள் கொண்ட தரவுத்தொகுப்பில் பொதுப் பயிற்சி மேற்கொள்ளப்பட்டது. இதில் குறைந்த அளவில் காணொளி மற்றும் ஒலி-காணொளித் தரவுகளும் இடம்பெற்றன. இறுதியாக, நீண்ட சூழல் பயிற்சிக் கட்டத்தில் வரிசை நீளம் 8,192 துணுக்குகளிலிருந்து 32,768 துணுக்குகளாக உயர்த்தப்பட்டு, நீண்ட ஒலி, காணொளித் தரவுகள் சேர்க்கப்பட்டன. இதனால் நீண்ட வரிசைகளைப் பின்தொடரும் திறன் மாதிரிக்கு இருப்பது உறுதிசெய்யப்பட்டது.

பயிற்சிக்குப் பிந்தைய கட்டத்தில் அறிவுறுத்தல்களைப் பின்பற்றுவதற்கான பயிற்சியும் பாதுகாப்பு ஒத்திசைவும் சேர்க்கப்பட்டன. Thinker-க்காக மேற்பார்வையுடனான நுணுக்கப் பயிற்சி, வலுவிலிருந்து பலவீனத்துக்கான அறிவுப் பரிமாற்றம், விதிகள் மற்றும் மதிப்பீட்டாளராகச் செயல்படும் LLM கருத்துகளை இணைத்த GSPO மேம்படுத்தல் ஆகியவற்றை அணி பயன்படுத்தியது. Talker-க்கு நூற்றுக்கணக்கான மில்லியன் பன்மாதிரிப் பேச்சு மாதிரிகளையும் தேர்ந்தெடுக்கப்பட்ட தரவுகளுடனான தொடர்ச்சியான முன்பயிற்சியையும் இணைக்கும் நான்கு கட்டப் பயிற்சி அளிக்கப்பட்டது. பேச்சின் தெளிவையும் வெளிப்பாட்டுத் திறனையும் மேம்படுத்தியபடி, தவறான தகவலைப் புனைந்து கூறுவதைக் குறைப்பதே இதன் நோக்கம்.

அளவுகோல் சோதனைகள், பலங்கள், வரம்புகள்

உரை, பேச்சு, காட்சி, காணொளி ஆகியவற்றை உள்ளடக்கிய 36 பொதுவான அளவுகோல் சோதனைகளில் 22-இல் Qwen3 Omni முதலிடத்தையும், திறந்த மாதிரிகளில் 32-இல் முன்னிலையையும் பெற்றுள்ளதாக அலிபாபா தெரிவிக்கிறது. ஒலி சார்ந்த பணிகளில் வலுவான செயல்திறனையும், உரை மற்றும் காட்சிப் பணிகளில் போட்டித்தன்மை மிக்க முடிவுகளையும் இந்தத் தரவுகள் காட்டுகின்றன.

பகுத்தறிவும் எழுதும் திறனும்: AIME25 சோதனையில் இந்த மாதிரி 65.0 மதிப்பெண் பெற்றுள்ளது. 2024 காலகட்ட GPT 4o-வின் 26.7 மதிப்பெண்ணைவிட இது கணிசமாக அதிகம். ZebraLogic சோதனையில் 76.0 பெற்று, Gemini 2.5 Flash-இன் 57.9 மதிப்பெண்ணை முந்தியுள்ளது. WritingBench சோதனையில் 82.6 மதிப்பெண் பெற்று, GPT 4o-வின் 75.5-ஐ விட அதிகமாக உள்ளது.

பேச்சும் ஒலியும்: Wenetspeech சோதனைத் தொகுப்பில் பதிவான சொல் பிழை விகிதங்கள் 4.69, 5.89 ஆகும்; GPT 4o-வின் 15.30, 32.27 மதிப்புகளைக் காட்டிலும் இவை மிகவும் குறைவு. LibriSpeech other சோதனையில் பிழை 2.48 ஆகக் குறைகிறது. இசை வகைப்பாட்டிலும் இது வலுவாகச் செயல்படுகிறது: GTZAN-இல் 93.0, RUL MuchoMusic-இல் 52.0 மதிப்பெண்கள் பெற்று, இரண்டிலும் GPT 4o-வை முந்தியுள்ளது.

காட்சியும் காணொளியும்: HallusionBench-இல் 59.7, MMMU pro-வில் 57.0, MathVision full-இல் 56.3 மதிப்பெண்களைப் பெற்றுள்ளது. அதே முடிவுத் தொகுப்பில் இவை அனைத்தும் GPT 4o-வின் மதிப்பெண்களைவிட அதிகம். MLVU காணொளிப் புரிதல் சோதனையில் Qwen3 Omni 75.2 மதிப்பெண் பெற்று, Gemini 2.0 Flash-இன் 71.0, GPT 4o-வின் 64.6 ஆகியவற்றை முந்தியுள்ளது.

இவை வலுவான முடிவுகள் என்றாலும், அணிகள் அவற்றைச் சூழலுடன் பொருத்திப் பார்க்க வேண்டும். பேச்சு, பன்மாதிரி ஊடாட்டத்தில் சிறந்து விளங்கியபடியே உரை, காட்சித் தரத்தையும் பேணும் வகையில் அலிபாபா இந்த அமைப்பைச் செம்மைப்படுத்தியுள்ளது. அதே குடும்பத்தைச் சேர்ந்த உரையை மட்டும் கையாளும் மாதிரி, மொழி சார்ந்த சில தூய பணிகளில் இன்னும் முன்னிலை வகிக்கக்கூடும் என ஆரம்பகட்டக் கவனிப்பாளர்கள் குறிப்பிடுகின்றனர். ஒற்றை உள்ளீட்டு வகைப் பயிற்சியிலிருந்து பரந்த பன்மாதிரி அமைப்புக்கு மாறும்போது இது இயல்பான சமரசமாகும். உண்மையான சோதனை, உற்பத்திச் செயல்பாடுகளில் அன்றாடப் பயன்பாட்டின்போது அதன் செயல்திறன் எப்படி இருக்கிறது என்பதுதான்.

திறந்த உரிமம், அணுகல், விலை

Qwen3 Omni Apache 2.0 உரிமத்தின் கீழ் வெளியிடப்பட்டுள்ளது. இந்த உரிமம் வணிகப் பயன்பாடு, மாற்றியமைத்தல், மறுவிநியோகம் ஆகியவற்றை அனுமதிப்பதுடன் காப்புரிமை உரிமையையும் வழங்குகிறது. நிறுவனங்கள் இந்த மாதிரியைத் தங்கள் தயாரிப்புகளில் இணைக்கலாம், சொந்தக் கணினி வன்பொருளிலோ நம்பகமான மேகக் கணினிச் சேவைகளிலோ நிறுவலாம், தனியுரிமை மாற்றங்களை வெளிப்படுத்தாமல் மூடிய தயாரிப்புகளாக வெளியிடலாம். ஒழுங்குமுறை விதிகள் பொருந்தும் சூழல்களில் மேம்பட்ட மாதிரிகளைப் பயன்படுத்துவதிலிருந்து அணிகளைத் தடுக்கும் பொதுவான சட்டத் தடைகளை இந்த உரிமம் நீக்குகிறது.

இந்த மாதிரிக் குடும்பத்தை GitHub மற்றும் Hugging Face தளங்களிலிருந்து பதிவிறக்கலாம். நிர்வகிக்கப்படும் சேவையை விரும்பும் அணிகள் அலிபாபாவின் API-ஐப் பயன்படுத்தலாம்; அது விரைவான பதில்களுக்கான Flash தெரிவையும் வழங்குகிறது. செயல்படுத்திய பிறகு 90 நாட்களுக்கு, திறன்களை மதிப்பீடு செய்வதற்காகப் பல்வேறு உள்ளீட்டு வகைகளில் மொத்தம் ஒரு மில்லியன் துணுக்குகள் வரை இலவசப் பயன்பாட்டு ஒதுக்கீட்டை அலிபாபா வழங்குகிறது.

துணுக்குகளுக்கான விலை எப்படிக் கணக்கிடப்படுகிறது

ஆயிரம் துணுக்குகளுக்கு ஒருமுறை கட்டணம் கணக்கிடப்படுகிறது. துணுக்கு என்பது உரையின் சிறிய அலகு அல்லது பிற ஊடகங்களின் துண்டாக்கப்பட்ட பிரதிநிதித்துவம். பல்வேறு உள்ளீட்டு வகைகளுக்கான கணினிச் செலவை அளவிடப் பொதுவாகப் பயன்படுத்தப்படும் அலகு இதுவாகும். ஒரு விதிவிலக்கைத் தவிர, Thinking மற்றும் Non Thinking முறைகளுக்கு ஒரே துணுக்கு விலையை அலிபாபா பட்டியலிட்டுள்ளது: ஒலி வெளியீடு Non Thinking Mode-இல் மட்டுமே கிடைக்கும்.

உள்ளீட்டுச் செலவுகள்: உரை உள்ளீட்டுக்கு ஆயிரம் துணுக்குகளுக்கு 0.00025 டாலர் செலவாகும்; இது ஒரு மில்லியன் துணுக்குகளுக்கு சுமார் 25 சென்ட். ஒலி உள்ளீட்டுக்கு ஆயிரம் துணுக்குகளுக்கு 0.00221 டாலர் செலவாகும்; இது ஒரு மில்லியன் துணுக்குகளுக்கு சுமார் 2.21 டாலர். படம், காணொளி உள்ளீட்டுக்கு ஆயிரம் துணுக்குகளுக்கு 0.00046 டாலர் செலவாகும்; இது ஒரு மில்லியன் துணுக்குகளுக்கு சுமார் 46 சென்ட்.

வெளியீட்டுச் செலவுகள்: உள்ளீடு உரை மட்டுமே கொண்டிருந்தால், உரை வெளியீட்டுக்கு ஆயிரம் துணுக்குகளுக்கு 0.00096 டாலர் செலவாகும். உள்ளீட்டில் படம் அல்லது ஒலி இருந்தால், உரை வெளியீட்டுக்கு ஆயிரம் துணுக்குகளுக்கு 0.00178 டாலர் செலவாகும். உரை, ஒலி ஆகிய இரண்டையும் வெளியிடக் கோரினால், ஒலிப் பகுதிக்கு ஆயிரம் துணுக்குகளுக்கு 0.00876 டாலர் செலவாகும். இந்த நிலையில் உரைப் பகுதிக்கு கட்டணம் இல்லை.

இப்போதே பயன்பாட்டுக்குத் தயாராக உள்ள வழிகள்

ஒலி, காணொளியை மையமாகக் கொண்ட பயன்பாடுகள் இதனால் பலன் பெறக்கூடும். வாடிக்கையாளர் ஆதரவு, ஊடக உள்ளூர்மயமாக்கல் ஆகியவற்றுக்கான பன்மொழிப் பேச்செழுத்தாக்கமும் மொழிபெயர்ப்பும், செவிமடுத்து சூழலைப் புரிந்துகொண்டு பேச்சாகப் பதிலளிக்கும் ஒரே மாதிரியில் இயங்கலாம். ஒலியை விவரிப்பதில் கவனம் செலுத்தும் Captioner பதிப்பு, ஊடகக் குறியிடல், ஒலிபரப்புக் கண்காணிப்பு, இசைத் தகவல் மீட்டெடுப்பு ஆகியவற்றுக்கு உதவும்.

ஒளியெழுத்து அறிதல், பொருட்களைப் படத்துடன் பொருத்துதல், படம் அல்லது காணொளி குறித்த கேள்விகளுக்குப் பதிலளித்தல் போன்ற காட்சிப் பணிகளுக்கும் இது ஏற்றது. ஆதரவு முகவர் ஒருவர் மடிக்கணினியை நோக்கிய நேரடி தொலைபேசிக் கேமரா காட்சியைப் பார்த்து, எந்தக் கம்பியைச் சரிபார்க்க வேண்டும் என்பதை விவரித்தபடியே, இயல்பான வேகத்தில் படிகளையும் விளக்கலாம். அணியக்கூடிய சாதனத்தின் மூலம் உணவக மெனுவை நிகழ்நேரத்தில் மொழிபெயர்த்துக் காட்டும் செயல்முறையை அலிபாபா காட்சிப்படுத்தியுள்ளது. தொடரோட்டத் தாமதமும் பேச்சின் தரமும் ஏன் முக்கியம் என்பதை இந்தச் சூழல்கள் எடுத்துக்காட்டுகின்றன.

ஒலி-காணொளி உரையாடலையும் Qwen3 Omni ஆதரிக்கிறது. அது கேட்பதையும் பார்ப்பதையும் குறிப்பிட்டு உரையாடலாம், நீண்ட அமர்வில் சூழலை நினைவில் வைத்திருக்கலாம், கருவிகளுடன் இணைக்கப்பட்டால் தொடர்புடைய வெளிப்புற அறிவையும் வழங்கலாம். உருவாக்குநர்கள் அமைப்புக் கட்டளைகள் மூலம் தொனியையும் நடத்தையையும் வடிவமைக்கலாம், குறிப்பிட்ட துறைகளுக்கான உதவியாளர்களை உருவாக்கலாம், பேச்சு உருவாவதற்கு முன் Thinker வெளியீடுகளைத் தனிப்பயன் பாதுகாப்பு வடிகட்டிகள் வழியாகச் செலுத்தலாம்.

GPT 4o, Gemini 2.5, Gemma 3n ஆகியவற்றுடன் ஒப்பீடு

ஒரே இயந்திரத்தில் பல வகையான தரவுகளைச் செயலாக்குவதை நோக்கமாகக் கொண்ட முழுமைப் பன்மாதிரி மாதிரிகளின் வரிசையில் Qwen3 Omni இணைகிறது. OpenAI-யின் GPT 4o உரை, படம், ஒலி உள்ளீடுகளை ஆதரிக்கிறது; ஆனால் மூடிய சேவையாக வழங்கப்படுகிறது. Google-இன் Gemini 2.5 Pro காணொளிப் பகுப்பாய்வையும் கையாள்கிறது; அதுவும் மூடிய மாதிரி. Google-இன் Gemma 3n திறந்த உரிமத்துடன் உரை, படம், ஒலி, காணொளி உள்ளீடுகளை ஏற்றுக்கொள்கிறது; ஆனால் உரையை மட்டுமே உருவாக்குகிறது. அலிபாபாவின் மாதிரி அதே நான்கு வகையான உள்ளீடுகளை ஏற்றுக்கொள்வதுடன் பேச்சு வெளியீட்டையும் வழங்குகிறது; இது உதவியாளர்களுக்கும் நேரடி மொழிபெயர்ப்புக்கும் முக்கியமானது.

திறந்த தன்மை நடைமுறையில் பெரிய வேறுபாட்டை ஏற்படுத்துகிறது. Qwen3 Omni-யின் மாதிரி எடைகள் Apache 2.0 உரிமத்தின் கீழ் கிடைப்பதால், நிறுவனங்கள் மாதிரியைத் தங்கள் கணினியில் இயக்கலாம், தொழில் விதிமுறைகளுக்கு ஏற்ப மாற்றியமைக்கலாம், தரவுப் பரிமாற்றத்தைக் கட்டுப்படுத்தலாம். சில உயர்நிலைப் பணிகளில் மூடிய மாதிரிகள் இன்னும் ஆதிக்கம் செலுத்தினாலும், அவற்றின் உரிம நிபந்தனைகளும் தரவு இருப்பிடக் கட்டுப்பாடுகளும் முக்கியத் துறைகளில் நிறுவுவதைக் கட்டுப்படுத்தலாம். பல நிறுவனங்கள் கலப்புக் கட்டமைப்பைத் தேர்ந்தெடுக்கும்: செலவு, கட்டுப்பாடு ஆகியவற்றுக்குத் திறந்த மாதிரிகளையும், செயல்திறனை மிஞ்சுவது கடினமான இடங்களில் கட்டணச் சேவைகளையும் இணைத்துப் பயன்படுத்தும்.

உற்பத்திப் பயன்பாட்டுக்கான தயார்நிலையும் மற்றொரு வேறுபாடு. நூற்றுக்கணக்கான பதிப்புகளைக் கொண்ட விரிவான Qwen குடும்பத்தை அலிபாபா உருவாக்கியுள்ளது; உருவாக்குநர்களிடையே பரவலான பயன்பாடு இருப்பதாகவும் தெரிவிக்கிறது. Qwen3 Omni-யின் நேரடி பேச்சு, காணொளி ஊடாட்டம் அன்றாடப் பயன்பாட்டிலும் அளவுகோல் முடிவுகளுக்கு இணையாக இருந்தால், பன்மொழி, குறைந்த தாமத உதவியாளரைத் தாங்களே வழங்கி இயக்க விரும்பும் அணிகளுக்கு நம்பகமான மாற்றாக அமையும்.

பயன்பாடும் சந்தை அறிகுறிகளும்

உருவாக்குநர்களின் ஈடுபாடு தெளிவாகத் தெரிகிறது. Hugging Face-இன் பிரபலப் பட்டியல்களில் Qwen3 Omni முதலிடத்தை எட்டியுள்ளது; அலிபாபாவின் பிற மாதிரிகளும் இப்போது முன்னணி இடங்களில் பலவற்றைப் பிடித்துள்ளன. சீன ஆய்வகங்களிலிருந்து வெளியாகும் திறந்த மாதிரிகள் உலகளாவிய சமூகத்தில் ஆதரவைப் பெற்று வரும் பரந்த மாற்றத்தை இந்த வேகம் பிரதிபலிக்கிறது.

Qwen குடும்பம் உலகெங்கும் 400 மில்லியனுக்கும் மேற்பட்ட முறை பதிவிறக்கப்பட்டுள்ளதாகவும், இந்தக் குடும்பம் தொடங்கியதிலிருந்து 300-க்கும் மேற்பட்ட மாதிரிகளை நிறுவனம் வெளியிட்டுள்ளதாகவும் அலிபாபா கிளவுட் தெரிவிக்கிறது. முதலீட்டாளர்களின் எதிர்வினையும் ஆதரவாக இருந்தது. சமூகப் பிரபலப் பட்டியல்களில் Qwen3 Omni முதலிடத்துக்கு ஏறிய நாளில், ஹாங்காங் பங்குச் சந்தையில் அலிபாபா பங்குகள் 4 சதவீதத்துக்கும் சற்றே அதிகமாக உயர்ந்தன. நிறுவனத்தின் செயற்கை நுண்ணறிவு முன்னேற்றத்தைச் சந்தை உன்னிப்பாகக் கவனித்து வருவதற்கான அறிகுறி இது.

“திறந்த” என்பதன் பொருள் என்ன என்பது குறித்த விவாதமும் உள்ளது. மாதிரிகள் Apache 2.0 உரிமத்தின் கீழ் வெளியிடப்பட்டு, அவற்றின் எடைகளும் கிடைக்கின்றன. ஆனால், மூலத் தரவிலிருந்து பயிற்சியை மீண்டும் உருவாக்குவதற்கான முழுமையான செய்முறை பொதுவில் இல்லை. திறந்த எடைகள் என்பதே சரியான விளக்கம் எனத் தூய்மைவாதிகள் கூறுவர். பெரும்பாலான நிறுவனங்களுக்கு உரிம நிபந்தனைகளே முக்கியம்; அவை ஒவ்வொரு பயனருக்கும் அல்லது இருக்கைக்கும் கட்டணம் செலுத்தாமல் தயாரிப்புகளை வெளியிட அனுமதிக்கின்றன.

பாதுகாப்பு, நிர்வாகம் தொடர்பாகக் கவனிக்க வேண்டியவை

அறிவிக்கப்பட்ட அளவுகோல் முன்னேற்றங்கள், அதிகச் சுமையின்போதும் கணிக்கத்தக்க பாதுகாப்பான நடத்தையாக மாறுமா என நிறுவனங்கள் கேட்கும். பேச்சு அமைப்புகள் தவறாகக் கேட்கப்படும் கட்டளைகள் முதல் நம்பத்தகுந்த குரல் உருவாக்கம் வரையிலான தனித்துவமான அபாயங்களை உருவாக்குகின்றன. அடையாளச் சரிபார்ப்பு, உள்ளடக்க வடிகட்டல், தரவுத் தக்கவைப்பு ஆகியவற்றுக்கான பாதுகாப்பு வரம்புகளை அணிகள் அமைக்க வேண்டும். பேச்சு உருவாக்கப்படுவதற்கு முன் பாதுகாப்பு அடுக்கு உரையை இடைமறிக்க முடிவதால், Thinker, Talker கூறுகளின் பிரிப்பு இந்தக் கட்டுப்பாடுகளுக்கு உதவுகிறது.

செயல்பாட்டுத் தயார்நிலையும் கவனத்துக்கு வரும். திறந்த மாதிரிகளைப் பெரிய அளவில் பயன்படுத்தும் நிறுவனங்கள் பொதுவாக MLOps, நுணுக்கப் பயிற்சிப் பணிப்பாய்வுகள், மதிப்பீடு ஆகியவற்றில் முதலீடு செய்கின்றன. உரை, ஒலி, படம், காணொளி ஆகியவற்றை ஒரே இடத்தில் கையாள்வதன் மூலம் பல மாதிரிகளைத் தனித்தனியாகச் சமாளிக்க வேண்டிய தேவையை Qwen3 Omni குறைக்கிறது. இதனால் கட்டமைப்பு எளிமையாவதுடன் தயாரிப்பு உருவாக்கச் சுழற்சிகளும் வேகமடையலாம்; குறிப்பாகப் பிராந்திய விதிகளைப் பூர்த்தி செய்ய வேண்டிய உள்ளகக் கணினி அல்லது இறையாண்மை மேகக் கணினி அமைப்புகளுக்கு இது பயனளிக்கும்.

பல பேச்சாளர்களை மேம்பட்ட முறையில் அடையாளம் காணுதல், காணொளியில் உரையை அடையாளம் காணுதல், இணைந்த ஒலி மற்றும் காணொளியிலிருந்து மேம்பட்ட கற்றல், திறன்மிக்க தன்னாட்சி முகவர்கள் ஆகியவை அடுத்தகட்ட இலக்குகள் என அலிபாபா தெரிவித்துள்ளது. முன்னோட்டச் சோதனைகளிலிருந்து உற்பத்திப் பயன்பாட்டுக்கு நகரும்போது வாடிக்கையாளர்கள் இந்த மாதிரியில் முதலில் அழுத்தம் கொடுக்கக்கூடிய பகுதிகளுடன் இந்த இலக்குகள் ஒத்துப்போகின்றன.

முக்கிய குறிப்புகள்

• Qwen3 Omni என்பது உரை, படம், ஒலி, காணொளி ஆகியவற்றை உள்ளீடாக ஏற்றுக்கொண்டு, உரையையும் பேச்சையும் தொடரோட்ட வேகத்தில் வெளியிடும் ஒற்றை மாதிரி.
• வணிகப் பயன்பாடு, மாற்றியமைத்தல், மறுவிநியோகம் ஆகியவற்றை அனுமதிக்கும் காப்புரிமை உரிமையுடன் மாதிரி எடைகளை Apache 2.0 உரிமத்தின் கீழ் அலிபாபா வெளியிடுகிறது.
• மூன்று பதிப்புகள் இப்போது கிடைக்கின்றன: முழுமையான ஊடாட்டத்துக்கு Instruct, உரை வெளியீட்டுடன் நீண்ட பகுத்தறிவுக்கு Thinking, தவறான தகவல் புனைவைக் குறைக்கும் ஒலி விளக்கத்துக்கு Captioner.
• Thinker, Talker ஆகியவை பகுத்தறிவையும் பேச்சு உருவாக்கத்தையும் தனித்தனியாகக் கையாள்கின்றன; ஒரே நேரத்தில் அதிகச் சுமை இருந்தாலும் தாமதத்தைக் குறைக்க நிபுணர் கலவை அணுகுமுறையைப் பயன்படுத்துகின்றன.
• முதல் தொகுப்புத் தாமதம் ஒலிக்கு சுமார் 234 மில்லி வினாடிகளும் காணொளிக்கு சுமார் 547 மில்லி வினாடிகளும் எனத் தெரிவிக்கப்பட்டுள்ளது; நிகழ்நேரக் காரணி வரம்புக்குள் உள்ளது.
• இந்த மாதிரி உரை வடிவில் 119 மொழிகளை ஆதரிக்கிறது; 19 மொழிகளில் பேச்சைப் புரிந்துகொண்டு, கான்டோனீஸ் போன்ற வட்டார மொழிகள் உட்பட 10 மொழிகளில் பேச முடியும்.
• சுமார் 20 மில்லியன் மணி நேரத் தரவுகளில் பயிற்றுவிக்கப்பட்ட 60 கோடி அளவுருக்களைக் கொண்ட ஒலிக் குறியாக்கியான AuT, பேச்சைப் புரிந்துகொள்வதற்கு அடிப்படையாக உள்ளது.
• 36 சோதனைகளில் 22-இல் முன்னிலையும், திறந்த மாதிரிகளில் 32-இல் முன்னிலையும் அளவுகோல் முடிவுகள் காட்டுகின்றன; பேச்சு, இசை, காட்சி, காணொளி ஆகியவற்றில் வலுவான முடிவுகள் கிடைத்துள்ளன.
• API விலை, ஆயிரம் உரை உள்ளீட்டுத் துணுக்குகளுக்கு 0.00025 டாலரிலிருந்தும், ஆயிரம் உரை வெளியீட்டுத் துணுக்குகளுக்கு 0.00096 டாலரிலிருந்தும் தொடங்குகிறது. 90 நாட்களுக்கு ஒரு மில்லியன் துணுக்குகள் இலவசச் சோதனைக்கு வழங்கப்படுகின்றன.
• Hugging Face-இல் பயன்பாடு வேகமாக அதிகரித்து வருகிறது. உற்பத்திப் பயன்பாட்டுக்கான திறந்த மாதிரிகளை நிறுவனங்கள் மதிப்பீடு செய்து வரும் நிலையில், Qwen மாதிரிகள் நூற்றுக்கணக்கான மில்லியன் முறை பதிவிறக்கப்பட்டுள்ளதாக அலிபாபா தெரிவிக்கிறது.