Aegaeon பகிர்வு அமைப்பால் என்விடியா GPU பயன்பாட்டைக் குறைத்தது அலிபாபா கிளவுட்

Aegaeon மூலம் AI-க்கான GPU தேவையை அலிபாபா கிளவுட் எவ்வாறு குறைத்தது?

பெரிய மொழி மாதிரிகளைப் பெருமளவில் இயக்கத் தேவையான என்விடியா கிராபிக்ஸ் செயலிகளின் எண்ணிக்கையை Aegaeon எனப்படும் புதிய அமைப்பின் உதவியுடன் வெகுவாகக் குறைத்துள்ளதாக அலிபாபா கிளவுட் தெரிவித்துள்ளது. தனது மாதிரி சந்தையில் உற்பத்திச் சூழலுக்கான பீட்டா சோதனையில், 72 பில்லியன் அளவுருக்கள் வரையிலானவை உட்பட டஜன் கணக்கான மாதிரிகளை இயக்கத் தேவையான என்விடியா H20 GPU-களின் எண்ணிக்கையை Aegaeon 1,192-லிருந்து 213-ஆகக் குறைத்ததாக நிறுவனம் கூறுகிறது. அதே அளவிலான சேவையை வழங்க, பயன்படுத்தப்படும் முடுக்கிகளின் எண்ணிக்கையில் இது 82 சதவீதக் குறைவு. கணினி அமைப்புகள் ஆராய்ச்சிக்கான முன்னணி மாநாடான சியோலில் நடைபெற்ற இயக்க முறைமைக் கோட்பாடுகள் குறித்த கருத்தரங்கில் இந்த முடிவுகள் முன்வைக்கப்பட்டன. கிளவுட் சேவைகளை வாங்குவோருக்கு, செலவும் மின்சாரப் பயன்பாடும் குறையக்கூடும், அரிதாகக் கிடைக்கும் சில்லுகள் அதிகம் கிடைக்கக்கூடும், ஒரே தளத்தின் வழியாக வெவ்வேறு மாதிரிகளைப் பயன்படுத்தும்போது அனுபவம் மேலும் சீராக இருக்கக்கூடும் என்பதைக் குறிக்கிறது இந்தக் கூற்று.

மாதிரி சந்தைகளின் காலத்தில் அதிகரித்து வரும் ஒரு சிக்கலை இந்தச் சாதனை இலக்காகக் கொண்டுள்ளது. கிளவுட் வழங்குநர்கள் இப்போது ஒரே நேரத்தில் ஆயிரக்கணக்கான மாதிரிகளை உருவாக்குநர்களுக்குச் சேவையளிக்கின்றனர். அலிபாபாவின் Qwen குடும்பம், திறந்த மாதிரியான DeepSeek போன்ற சில மாதிரிகளுக்கு பெரும்பாலான பயன்பாட்டுப் போக்குவரத்து செல்கிறது. பல மாதிரிகள் நீண்ட நேரம் பயன்பாடின்றி இருந்து, பின்னர் குறுகிய காலத்திற்கு அதிக கோரிக்கைகளைப் பெறுகின்றன. பாரம்பரிய சேவை அமைப்புகள் ஒவ்வொரு மாதிரி நிகழ்வுக்கும் முழு GPU-களையோ பெரிய GPU பகுதிகளையோ ஒதுக்குகின்றன. ஒரு மாதிரி அமைதியாக இருக்கும்போது, அதற்காக ஒதுக்கப்பட்ட GPU முழுமையாகப் பயன்படுத்தப்படுவதில்லை. போதுமான அளவில் தயார்நிலையில் உள்ள பிரதிகள் இல்லாதபோது கோரிக்கைகள் வந்தால், தளம் கூடுதல் திறனைச் செயல்படுத்தி, ஏற்ற நேரத்திலும் குறைந்த செயல்திறனிலும் விலையாகச் செலுத்துகிறது. பல மாதிரிகளின் GPU வளங்களை ஒன்றிணைத்து, ஒவ்வொரு முடுக்கியும் தொடர்ந்து வேலை செய்யும் வகையில் மிகச் சிறிய நேரப் பகுதிகளில் பணிகளைத் திட்டமிடுவதன் மூலம் இந்தக் கணக்கீட்டை மாற்ற Aegaeon முயல்கிறது.

வீணாக்கமின்றி ஒரே நேரத்தில் பல LLM பணிச்சுமைகளுக்குச் சேவையளிக்கும் வழியாக Aegaeon-ஐ அலிபாபா கிளவுட் முன்வைக்கிறது. இந்த அமைப்பு தீவிரமான பல மாதிரி திட்டமிடலுடன், நினைவகத்தில் தரவைத் தயார்நிலையில் வைத்திருக்கும் மற்றும் குறைந்த தாமதத்துடன் மாதிரிகளுக்கிடையே பணியை மாற்றும் செயல்முறைகளையும் இணைக்கிறது. இதனால் அதிக செயல்திறன், குறைந்த வரிசை காத்திருப்பு, குறைவாகப் பயன்படுத்தப்படும் சேவைகளில் செயலற்ற நிலையில் இருக்கும் சில்லுகளின் எண்ணிக்கை குறைதல் ஆகியவை கிடைப்பதாக பீக்கிங் பல்கலைக்கழகம் மற்றும் அலிபாபா கிளவுட் ஆராய்ச்சிக் குழு தெரிவிக்கிறது.

Aegaeon எந்தச் சிக்கலைத் தீர்க்க உருவாக்கப்பட்டது?

நவீன AI தளங்களில் தேவையின் நீண்ட வால் உள்ளது. சில பிரபலமான மாதிரிகள் பெரும்பாலான அனுமானப் பயன்பாட்டைப் பெறுகின்றன. குறைவாகப் பிரபலமான மாதிரிகளும் உருவாக்குநர்களுக்கு முக்கியமானவைதான்; ஆனால் அவற்றுக்கான கோரிக்கைகள் இடைவிட்டு வருகின்றன. தனது சந்தையில் உள்ள GPU-களில் 17.7 சதவீதம், வெறும் 1.35 சதவீதக் கோரிக்கைகளுக்குச் சேவையளிக்க ஒதுக்கப்பட்டிருந்ததாக அலிபாபா கிளவுட் கணக்கிட்டது. மாதிரிகள் தனித்த முடுக்கிகளுடன் பிணைக்கப்பட்டிருப்பதால், குறிப்பாகப் போக்குவரத்து மாறுபடும்போது அல்லது கணிக்க முடியாதபோது, செயலற்ற நேரத்துக்கும் அடிக்கடி ஏற்படும் குளிர் தொடக்கங்களுக்கும் கிளவுட் செலவிட வேண்டியுள்ளது.

வெளிப்பார்வைக்கு அனுமானச் சேவை எளிமையாகத் தோன்றினாலும், அதன் உள்செயல்முறைகள் சிக்கலானவை. ஒரு பெரிய மொழி மாதிரியின் எடைகளும் இயக்கநேர நிலையும் GPU நினைவகத்தில் இருக்கும். உரை உருவாக்கத்தின்போது, ஏற்கெனவே உருவாக்கப்பட்ட டோக்கன்களுக்கான இடைநிலைச் செயல்பாட்டு மதிப்புகளைச் சேமிக்கும் கீ-வேல்யூ கேஷை அமைப்பு பராமரிக்கிறது. வட்டிலிருந்து அல்லது பிணையம் வழியாக மாதிரி எடைகளை ஏற்றுவது மெதுவானது. கீ-வேல்யூ கேஷைத் தயாராக்கவும் நேரம் பிடிக்கும். பாரம்பரியமாக ஒரு GPU-ஐ ஒரு மாதிரியிலிருந்து மற்றொன்றுக்கு மாற்ற, அதிகச் செலவுள்ள இறக்கமும் மீளேற்றமும் தேவைப்பட்டது. இந்த மேலதிகச் செலவு அடிக்கடி வளங்களைப் பகிர்வதைத் தடுத்ததால், பெரும்பாலான முடுக்கிகள் அதிகபட்சம் ஒன்று அல்லது இரண்டு மாதிரிகளுக்கே ஒதுக்கப்பட்டன. இந்த மாற்றங்களை மிகச் செயல்திறனுடன் நிர்வகித்து, அதிகச் சுமையின்றி பல மாதிரிகளுக்கிடையே GPU-கள் நேரத்தைப் பகிர்ந்துகொள்ளும் வகையில் Aegaeon வடிவமைக்கப்பட்டுள்ளது.

இந்த அமைப்பு செயல்படும் விதம்

Aegaeon என்பது GPU-ஐப் பகிரப்பட்ட வளத் தொகுப்பாகக் கருதி, மிக நுணுக்கமான அளவில் எதை இயக்குவது என முடிவெடுக்கும் பல மாதிரி சேவை அமைப்பாகும். கோரிக்கை அளவிலோ மாதிரிப் பிரதியின் அளவிலோ திறனை அதிகரிப்பதற்குப் பதிலாக, ஒவ்வொரு டோக்கன் அடிப்படையிலும் இது முடிவெடுக்கிறது. உயர் மதிப்புள்ள தரவுக் கட்டமைப்புகளை நினைவகத்தில் தயார்நிலையில் வைத்துக்கொண்டே, ஒரே GPU-இல் வெவ்வேறு பயனர்களுக்கும் மாதிரிகளுக்கும் உரிய டோக்கன்களை உருவாக்குவதைத் திட்டமிடுபவர் மாறிமாறி செயல்படுத்த முடியும். பதிலளிப்பு நேரத்தை நிர்ணயிக்கப்பட்ட வரம்புக்குள் வைத்தபடி, ஒவ்வொரு நொடியும் பயனுள்ள பணியின் அளவை அதிகப்படுத்துவதே இதன் நோக்கம்.

டோக்கன் அளவிலான தானியங்கித் திறன் விரிவாக்கம்

டோக்கன் அளவில் திறனை விரிவாக்குவதே அடிப்படைக் கருத்து. அதாவது, ஒரே தொகுப்பாக்கம் மற்றும் கர்னல் செயலாக்கத்துக்குள், ஒரு மாதிரிக்கான கோரிக்கையை Aegaeon சேவையளிக்கத் தொடங்கிவிட்டு, மீதித் திறனைப் பயன்படுத்தி மற்றொரு மாதிரியின் டோக்கன்களையும் திட்டமிட முடியும். GPU ஒன்றுக்கு இரண்டு அல்லது மூன்று மாதிரிகளை மட்டுமே பல்முனைப் பயன்பாட்டில் இயக்கும் மாற்று வளத் தொகுப்புகளுடன் ஒப்பிடுகையில், Aegaeon 2 முதல் 2.5 மடங்கு அதிக கோரிக்கை வருகை விகிதத்தைத் தாங்கியதாகவோ, 1.5 முதல் 9 மடங்கு அதிக பயனுள்ள செயல்திறனை வழங்கியதாகவோ ஆய்வுக் கட்டுரை தெரிவிக்கிறது. டோக்கன் அளவிலேயே செயல்படுவதால், புதிய பிரதிகளைத் தொடங்கும்போது ஏற்படும் நீண்ட இடைநிறுத்தங்களை இந்த அமைப்பு தவிர்த்து, எந்த ஒரு மாதிரியிலும் ஏற்படும் திடீர் அதிகரிப்புக்கு விரைவாகப் பதிலளிக்கிறது.

நினைவக மறுபயன்பாடும் KV கேஷ் ஒருங்கிணைப்பும்

கூறுகளை மீண்டும் பயன்படுத்துதல், நினைவகத்தை வெளிப்படையாக நிர்வகித்தல், மாதிரிகளுக்கிடையே கீ-வேல்யூ கேஷை நுணுக்கமாக ஒத்திசைத்தல் ஆகியவற்றின் மூலம் மேலதிகச் செலவைக் குறைக்கிறது Aegaeon. எளிய அணுகுமுறைகளுடன் ஒப்பிடுகையில், இது தானியங்கித் திறன் விரிவாக்கத்தின் மேலதிகச் செலவை 97 சதவீதம் குறைப்பதாக ஆராய்ச்சியாளர்கள் கூறுகின்றனர். மேம்பட்ட நினைவக நிர்வாகமும் கேஷ் கையாளுதலும், தொடர்ந்து மீளேற்றம் செய்யாமல் ஒரே GPU-இல் பல மாதிரிகளை இயக்கத் தயார்நிலையில் வைத்திருக்க உதவுகின்றன. இதனால், முந்தைய பல மாதிரி அமைப்புகளில் வழக்கமாக இருந்த இரண்டு அல்லது மூன்று மாதிரிகளுடன் ஒப்பிடுகையில், ஒரு முடுக்கி ஒரே நேரத்தில் ஏழு மாதிரிகள் வரை ஆதரிக்க முடிகிறது.

உற்பத்திச் சூழல் பீட்டா சோதனையின் அளவிடப்பட்ட முடிவுகள்

தனது மாதிரி சந்தையில் Aegaeon-ஐ மூன்று மாதங்களுக்கும் மேலாகப் பீட்டா சோதனை செய்ததாக அலிபாபா கிளவுட் கூறுகிறது. 72 பில்லியன் அளவுருக்கள் வரையிலான மாதிரிகள் உட்பட, டஜன் கணக்கான மாதிரிகளுக்கு இந்தப் பயன்பாடு சேவையளித்தது. அதே அளவிலான சேவைச் சுமையைப் பூர்த்திசெய்யத் தேவைப்பட்ட GPU-களின் எண்ணிக்கை 1,192 என்விடியா H20 அலகுகளிலிருந்து 213-ஆகக் குறைந்ததாகவும், இதனால் வளப் பயன்பாட்டில் 82 சதவீதம் சேமிக்கப்பட்டதாகவும் குழு தெரிவிக்கிறது. மாதிரிகளுக்கிடையே மாறுவதால் ஏற்படும் தாமதத்தையும் இந்த அமைப்பு 97 சதவீதம் குறைத்தது. இதனால் நாள்முழுவதும் பிரபலமான மாதிரிகளுக்கும் நீண்ட வாலில் உள்ள மாதிரிகளுக்கும் இடையே பணிச்சுமைகள் மாறிமாறி வரும்போது உதவுகிறது.

உண்மையான ஒரேநேரப் பயன்பாடு, பல்வேறு அளவிலான கோரிக்கைகள், பரந்த அளவிலான மாதிரிகள் ஆகியவற்றைக் கொண்டிருப்பதால், சந்தைச் சூழல் வலுவான சோதனைக் களமாக உள்ளது. இச்சூழலில், முடுக்கிகளை மேலும் சுறுசுறுப்பாகப் பயன்படுத்தி, அரிதாகப் பயன்படுத்தப்படும் சேவைகளில் செயலற்ற நேரத்தைக் குறைத்து, நுணுக்கமான திட்டமிடல் மூலம் அதிகத் தேவை உள்ள மாதிரிகளுக்கான பதிலளிப்புத் திறனை Aegaeon தக்கவைத்தது. ஒவ்வொரு டோக்கனுக்கும் திட்டமிடுவதும் நினைவகத்தை கவனமாக மீண்டும் பயன்படுத்துவதும், ஒவ்வொரு GPU மணிநேரத்திலும் அதிகப் பயனுள்ள பணியைச் செய்வதற்கான முக்கியக் காரணங்களாகத் தெரிகின்றன.

இடைவிட்டு மட்டுமே தேவைப்படும் மாதிரிகளுக்கு GPU-களை ஒதுக்குவதன் மூலம் தொழில்துறை பணத்தை வீணடித்துவந்ததாக பீக்கிங் பல்கலைக்கழகம் மற்றும் அலிபாபா கிளவுட் ஆராய்ச்சிக் குழு வாதிட்டது. தங்கள் ஆய்வுக் கட்டுரையில் அவர்கள் இந்த முடிவை நேரடியாக முன்வைத்தனர்.

சந்தையில் ஒரே நேரத்தில் பல LLM பணிச்சுமைகளுக்குச் சேவையளிப்பதுடன் தொடர்புடைய அளவுக்கு மீறிய செலவுகளை வெளிப்படுத்தும் முதல் ஆய்வு Aegaeon ஆகும்.

இந்தக் கருத்து, மாதிரி சந்தைகளில் காணப்படும் போக்குகளுடன் ஒத்துப்போகிறது. தேவையின் நீண்ட வால் திறனை முடக்கி, அனைவருக்குமான செலவை அதிகரிக்கிறது என்பதை வழங்குநர்கள் நீண்டகாலமாக உணர்ந்துள்ளனர். பல மாதிரி சேவைக்காக வடிவமைக்கப்பட்ட திட்டமிடல் மற்றும் நினைவக அமைப்பு இந்த வீணாக்கத்தைச் சமாளிக்க முடியும் என்பதை Aegaeon அணுகுமுறை காட்டுகிறது.

கிளவுட் வாடிக்கையாளர்களுக்கும் உருவாக்குநர்களுக்கும் இதன் பொருள்

வாடிக்கையாளர்களுக்கு, ஒவ்வொரு செயல்திறன் அலகுக்கும் குறைவான GPU-கள் தேவைப்படுவது குறைந்த விலை, மேம்பட்ட ஒதுக்கீடு, மேலும் கணிக்கக்கூடிய செயல்திறன் ஆகியவற்றைத் தரக்கூடும். ஐந்தில் ஒரு பங்கு முடுக்கிகளைக் கொண்டு அதே போக்குவரத்துக்குச் சேவையளிக்க கிளவுட் நிறுவனத்தால் முடிந்தால், அதிகப் பயன்பாட்டு நேரங்களுக்கான திறனை அது விடுவித்து, புதிய பயன்பாடுகளுக்கான காத்திருப்பையும் குறைக்கலாம். ஒரே செயலியில் பல மாதிரிகளை இணைக்கும் உருவாக்குநர்களுக்கு, வெவ்வேறு சேவை முகப்புகளுக்கிடையே போக்குவரத்து மாறும்போது குளிர் தொடக்கங்களாலும் பிரதிகள் மாறுவதாலும் ஏற்படும் இடையூறுகள் குறையக்கூடும்.

வாங்குவோருக்கு முக்கியமான நடைமுறைச் சிக்கல்களும் உள்ளன. பல மாதிரிகளுக்கிடையேயான வளப் பகிர்வு, ஒரு வாடிக்கையாளரின் பணிச்சுமை மற்றொருவரின் அனுபவத்தைப் பாதிக்காமலும் தரவு கசியாமலும் இருப்பதை உறுதிசெய்ய வேண்டும். பிரபலமான மாதிரிகள் விரைவான பதிலளிப்பு நேரத்தைத் தக்கவைத்துக்கொள்வதோடு, மெதுவான மாதிரிகளும் முன்னேறுவதை உறுதிசெய்ய, திட்டமிடுபவர் முன்னுரிமை மற்றும் நியாயமான பகிர்வு விதிகளை மதிக்க வேண்டும். சேவைத் தர இலக்குகளைக் கருத்தில் கொண்டு ஒவ்வொரு டோக்கனுக்குமான முடிவுகளை Aegaeon எடுக்கும் என ஆய்வுக் கட்டுரை குறிப்பிடுகிறது. இருப்பினும், பெரிய அளவிலான வளத் தொகுப்புகளில் பகிர்வை விரிவுபடுத்தும்போது, உச்சநிலை தாமதத்தைக் கட்டுப்படுத்த வலுவான கண்காணிப்பும் வேகக் கட்டுப்பாடும் கிளவுட் நிறுவனங்களுக்குத் தேவைப்படும்.

என்விடியா, சீனா, AI சில்லுகளின் பின்னணி

உயர்நிலை முடுக்கிகளுக்கான உலகளாவிய விநியோகம் இறுக்கமாகவும், சீனாவுக்கான மேம்பட்ட AI சில்லுகள் மீதான ஏற்றுமதிக் கட்டுப்பாடுகள் தொடர்ந்தும் இருக்கும் சூழலில் Aegaeon அறிமுகமாகிறது. அந்த விதிகளுக்கு இணங்க சீனச் சந்தைக்காக H20-ஐ என்விடியா உருவாக்கியது; பல சீன வழங்குநர்கள் அனுமானப் பயன்பாட்டுக்கு அந்தச் சாதனத்தைச் சார்ந்துள்ளனர். அதேவேளையில், ஹுவாவே மற்றும் கேம்பிரிகான் போன்ற சீன வடிவமைப்பாளர்கள் உள்நாட்டுத் தயாரிப்புகளிலும் முதலீடு செய்து வருகின்றனர். ஒவ்வொரு GPU-யும் அதிகப் பணியைச் செய்ய உதவும் மென்பொருள் திறன் எந்தச் சந்தையிலும் மதிப்புமிக்கது; ஆனால் அதிநவீன சில்லுகளைப் பெறுவதற்கான அணுகல் கட்டுப்படுத்தப்படும் இடங்களில் அது குறிப்பாகப் பயனுள்ளதாகும்.

கொள்கை வரம்புகள் காரணமாக, சீனாவின் மேம்பட்ட சில்லுகள் பிரிவிலிருந்து கிடைக்கும் வருவாய் மிகக் குறைவாகவோ அல்லது இல்லாமலோ இருக்கும் என்ற அனுமானத்தின் அடிப்படையிலேயே தனது அண்மைக்கால நிதி முன்னறிவிப்பு அமைந்துள்ளதாக என்விடியாவின் தலைமை தெரிவித்துள்ளது. இந்தப் பின்னணி அலிபாபா கிளவுட்டின் முடிவுகளை மேலும் முக்கியத்துவம் வாய்ந்ததாக ஆக்குகிறது. பெரிய வழங்குநர்கள் மென்பொருள் மூலம் தங்களிடம் நிறுவப்பட்டுள்ள வளங்களை இன்னும் நீட்டித்துப் பயன்படுத்த முடிந்தால், உயர்நிலை முடுக்கிகளின் விநியோகம் குறைவாக இருந்தாலும் சேவைகளைத் தொடர்ந்து விரிவாக்கலாம்.

மற்ற அணுகுமுறைகளுடன் Aegaeon-ஐ ஒப்பிடுதல்

சமீப காலம் வரை, பெரும்பாலான பல மாதிரி சேவை அமைப்புகள், மேலதிகச் செலவுகள் பலன்களை விட அதிகமாகும் முன் ஒரு GPU-இல் இரண்டு அல்லது மூன்று மாதிரிகளை மட்டுமே பாதுகாப்பாகப் பல்முனையில் இயக்க முடிந்தது. ஒவ்வொரு கூடுதல் மாதிரியும் சூழல் மாற்றங்களை அதிகரித்து, கேஷ் தவறவிடுதலையும், தாமத இலக்குகளைப் பாதிக்கக்கூடிய செயல்திறன் ஏற்ற இறக்க அபாயத்தையும் உயர்த்தியது. இந்த மாற்றச் செலவுகளைக் குறைத்து, முக்கியத் தரவுக் கட்டமைப்புகளைப் பல மாதிரிகளிலும் நினைவகத்தில் வைத்திருப்பதில் Aegaeon வடிவமைப்பு கவனம் செலுத்துகிறது. அதனால்தான் தெரிவிக்கப்பட்ட சோதனைச் சூழல்களில் ஒரு முடுக்கி இப்போது ஏழு மாதிரிகள் வரை தாங்க முடிகிறது.

மிக அதிக செயல்திறன் தேவைப்படும் சேவை முகப்புகளுக்கும், கடுமையான தனிமைப்படுத்தல் தேவையுள்ள பணிச்சுமைகளுக்கும் தனிப்பட்ட நிகழ்வுகள் இன்னும் பொருத்தமானவை. மறுமுனையில், தேவைக்கேற்ப முழு மாதிரிப் பிரதிகளைத் தொடங்கும் சர்வர்லெஸ் அனுமானச் சேவை, குறைந்த போக்குவரத்துள்ள மாதிரிகளுக்கு செலவு குறைந்ததாக இருக்கலாம்; ஆனால் அது தொடங்க அதிக நேரம் எடுக்கும். Aegaeon இடைப்பட்ட அணுகுமுறையைப் பின்பற்றுகிறது. இது திறனை ஒன்றிணைத்து, மாதிரிகளைத் தயார்நிலையில் வைத்திருந்து, பின்னர் சிறிய பகுதிகளாகப் பணிகளைத் திட்டமிடுவதால், தாமதத்தில் பெரிய சமரசமின்றி ஒட்டுமொத்தப் பயன்பாடு அதிகரிக்கிறது.

திறந்துள்ள தொழில்நுட்பக் கேள்விகளும் அடுத்த கட்டங்களும்

அலிபாபா கிளவுட்டின் மாதிரி சந்தையில் பீட்டா சோதனை நடத்தப்பட்டது. இது பெரிய அளவிலான சூழல்தான்; ஆனால் நிறுவனத்தின் சேவைகள் அனைத்தையும் உள்ளடக்குவதில்லை. Aegaeon-ஐ மேலும் பல பகுதிகளிலும், நிறுவனங்களுக்கான பிரத்யேகக் கணினித் தொகுப்புகள் அல்லது வளாகத்திலேயே இயங்கும் அமைப்புகள் போன்ற பல்வேறு தயாரிப்பு வரிசைகளிலும் அறிமுகப்படுத்துவது, மாறுபட்ட கட்டுப்பாடுகளின் கீழ் அதன் வடிவமைப்பைச் சோதிக்கும். மாதிரிகளின் சூழல் நீளம் அதிகரிக்கும்போதும், மொழியைப் பார்வை மற்றும் ஒலியுடன் இணைக்கும் பன்மாதிரி மாதிரிகள் உருவாகும்போதும் திட்டமிடுபவர் எவ்வாறு செயல்படுகிறார் என்பதும் மற்றொரு கேள்வி. இச்சூழல்கள் நினைவக மற்றும் கேஷ் கொள்கைகளுக்கு புதிய சவால்களை ஏற்படுத்தும்.

வெவ்வேறு வகை முடுக்கிகளுக்கிடையிலும், பல கணினிக் கணுக்களுக்கிடையிலும் வளங்களைப் பகிர்வதற்கான ஆராய்ச்சி வாய்ப்பும் உள்ளது. ஒரு GPU மட்டுமின்றி, இணைப்புக் கட்டமைப்பு வழியாகப் பல GPU-களையும் திட்டமிடுபவரால் ஒன்றிணைக்க முடிந்தால், கூடுதல் பலன்களைப் பெறலாம். ஆனால், இடைஇணைப்பு மேலதிகச் செலவு குறைவாகவும் நினைவக அமைவிடம் கணிக்கக்கூடியதாகவும் இருக்க வேண்டும். இதுவரை வெளியிடப்பட்ட சான்றுகள், ஒற்றைச் சாதனத்தில் வளங்களைப் பகிர்வதால் பெரும் பலன்கள் கிடைப்பதைக் காட்டுகின்றன. இன்றைய அனுமானப் பணிச்சுமைகளுக்கு இது ஏற்கெனவே முக்கியமான நடைமுறை முன்னேற்றமாகும்.

விரைவு உண்மைகள்

• அலிபாபா கிளவுட் சந்தைச் சேவைக்குத் தேவைப்பட்ட GPU-களின் எண்ணிக்கையை Aegaeon, 1,192 என்விடியா H20 அலகுகளிலிருந்து 213-ஆகக் குறைத்து, 82 சதவீதச் சரிவை ஏற்படுத்தியது.
• மூன்று மாதங்களுக்கும் மேலான பீட்டா சோதனையின்போது, 72 பில்லியன் அளவுருக்கள் வரையிலானவை உட்பட டஜன் கணக்கான மாதிரிகளுக்கு இந்த அமைப்பு சேவையளித்தது.
• அறிக்கையிடப்பட்ட சோதனைகளில், முந்தைய அமைப்புகள் இரண்டு அல்லது மூன்று மாதிரிகளை மட்டுமே ஆதரித்த நிலையில், ஒரு GPU ஏழு மாதிரிகள் வரை ஆதரித்தது.
• ஒவ்வொரு டோக்கனுக்கும் திட்டமிடுதல், நினைவக மறுபயன்பாடு, கீ-வேல்யூ கேஷ் ஒத்திசைவு ஆகியவை தானியங்கித் திறன் விரிவாக்கத்தின் மேலதிகச் செலவை 97 சதவீதம் குறைத்தன.
• மாற்று அமைப்புகளுடன் ஒப்பிடுகையில், சோதனைகள் 2 முதல் 2.5 மடங்கு அதிக கோரிக்கை வருகை விகிதத்தைத் தாங்கியதாகவோ, 1.5 முதல் 9 மடங்கு அதிக பயனுள்ள செயல்திறனை வழங்கியதாகவோ காட்டின.
• சிறுபான்மையான கோரிக்கைகள் GPU-களின் பெரும் பகுதியை முடக்கிவைக்கும் மாதிரி சந்தைகளின் நீண்ட வால் சிக்கலை இந்த அணுகுமுறை இலக்காகக் கொண்டுள்ளது.
• சீனாவில் மேம்பட்ட AI சில்லுகளைப் பெறுவதற்கான அணுகலை ஏற்றுமதிக் கட்டுப்பாடுகள் வரையறுக்கும் அதேவேளையில், உள்நாட்டு GPU முயற்சிகள் வேகமெடுக்கும் சூழலில் இந்த முடிவுகள் வெளியாகியுள்ளன.