சர்வர் நினைவகத்தைத் திறம்படப் பயன்படுத்தி, AI டோக்கன் செலவைக் குறைக்க சாம்சங் முயற்சி

GPUகளைச் சேர்க்காமல் அதிக AI கோரிக்கைகளைக் கையாளுதல்

செயற்கை நுண்ணறிவு சேவையகங்களுக்கு ஒரே நேரத்தில் வரும் அதிக கோரிக்கைகளைக் கையாளும் முறையை சாம்சங் எலக்ட்ரானிக்ஸ் உருவாக்கியுள்ளது. இதற்காக, நினைவகத்தை ஒதுக்கும் முறையையும் செயலிகளுக்கு இடையே தரவை நகர்த்தும் முறையையும் மாற்றியுள்ளது. வெளியிடப்பட்ட காப்புரிமை விண்ணப்பத்தில், எந்தக் கோரிக்கைகளை பெரிய மொழி மாதிரி முதலில் செயலாக்க வேண்டும் என்பதைத் தீர்மானிக்க, காத்திருப்பு நேரம், தரவு பரிமாற்றச் செலவு, எதிர்கால நினைவகத் தேவை ஆகியவற்றை மதிப்பிடும் மென்பொருள் விவரிக்கப்பட்டுள்ளது.

கிராபிக்ஸ் செயலாக்க அலகு (GPU) நினைவகம் நிரம்பும்போது ஏற்படும் தாமதங்களைக் குறைத்து, ஏற்கெனவே உள்ள சேவையகங்கள் அதிகப் பயனர்களுக்குச் சேவை வழங்குவதே இதன் நோக்கம். குறிப்பிட்ட நுகர்வோர் தயாரிப்புக்கான அம்சமாக அல்லாமல், பயிற்சியளிக்கப்பட்ட மாதிரி கேள்விகளுக்குப் பதிலளிக்க இயங்கும் செயல்முறையான AI அனுமானத்துக்கான உள்கட்டமைப்புத் தொழில்நுட்பமாக இந்தக் கண்டுபிடிப்பை சாம்சங் விவரிக்கிறது.

நினைவகத்தைச் சிறப்பாக நிர்வகிப்பதால் கிடைக்கக்கூடிய சேமிப்பை, சாம்சங்கின் தொடர்புடைய ஆய்வு தெளிவாகக் காட்டுகிறது. எட்டு NVIDIA H100 NVL GPUகளையும் பத்து சாம்சங் திடநிலை இயக்கிகளையும் பயன்படுத்திய தனி சேமிப்புச் சோதனையில், ஒரே நேரத்தில் 240 பயனர்கள் வரை இருந்தபோதும், முதல் வெளியீட்டு டோக்கன் வருவதற்கான காத்திருப்பு நேரத்தை ஒரு வினாடிக்கும் குறைவாக சாம்சங் வைத்திருந்தது. சேமிப்பகத்துக்கு தரவை மாற்றி வைக்கும் வசதி இல்லாதபோது, 140 பயனர்களைத் தாண்டியதும் அந்தக் காத்திருப்பு நேரம் அதிகரிக்கத் தொடங்கியது.

காப்புரிமை, சேமிப்புச் சோதனை, சாம்சங் SDS-இன் மற்றொரு திட்டம் ஆகியவை ஒரே பிரச்சினையின் வெவ்வேறு பகுதிகளைக் கையாள்கின்றன: விலையுயர்ந்த AI செயலிகள் தகவல்களை நகர்த்துவதிலோ மீண்டும் உருவாக்குவதிலோ அதிக நேரம் செலவிடக்கூடும். இந்தப் பணியைக் குறைப்பதால், ஏற்கெனவே உள்ள உபகரணங்களைக் கொண்டு அதிகப் பதில்களை வழங்கவும், மொழி மாதிரிகள் செயலாக்கி உருவாக்கும் உரையின் சிறு பகுதிகளான ஒவ்வொரு டோக்கனுக்குமான செலவைக் குறைக்கவும் இயக்குநர்களால் முடியும்.

நினைவகத்தால் ஏன் பதில் தாமதமாகலாம்

GPU ஒரே நேரத்தில் பல கணக்கீடுகளைச் செய்வதால், AI பதில்களை உருவாக்குவதற்கு அது பயனுள்ளதாக உள்ளது. ஆனால் அதன் வேகமான உள்ளூர் நினைவகத்தின் கொள்ளளவு குறைவு. பல உரையாடல்கள் அந்த இடத்துக்குப் போட்டியிடுகின்றன. குறிப்பாக, பயனர்கள் நீண்ட ஆவணங்களைச் சமர்ப்பிக்கும்போதோ, நீண்ட பதில்கள் தேவைப்படும் கேள்விகளைக் கேட்கும்போதோ இந்தப் போட்டி அதிகரிக்கிறது.

மொழி மாதிரிகள், முந்தைய கணக்கீடுகளின் தற்காலிகப் பதிவுகளை key value cache எனப்படும் கட்டமைப்பில் வைத்திருக்கும்; இதைச் சுருக்கமாக KV cache என்பர். இதைச் செயல்பாட்டுக் குறிப்புகளாகக் கருதலாம்: அவற்றை வைத்திருப்பதால், ஏற்கெனவே செயலாக்கிய அனைத்தையும் மீண்டும் மீண்டும் கணக்கிடாமல் மாதிரியால் பதிலைத் தொடர முடியும்.

சாம்சங்கின் சேமிப்புச் சோதனையில், ஒவ்வொரு அமர்வுக்கும் சுமார் 3 GB KV cache தேவைப்பட்டது. 240 அமர்வுகளுக்கு, பணிச்சுமை முழுவதும் சுமார் 720 GB cache தரவு தேவைப்படுகிறது. கணிசமான கணினித் திறன் நிறுவப்பட்டிருந்தாலும், பலருக்குச் சேவை வழங்குவது ஏன் நினைவகப் பிரச்சினையாக மாறலாம் என்பதை இந்த அளவு விளக்குகிறது.

வேகமான GPU நினைவகம் போதாமல் போனால், சேவையகம் சில தரவுகளை மையச் செயலி (CPU) சார்ந்த நினைவகத்துக்கு நகர்த்தி, தேவைப்படும்போது மீண்டும் கொண்டுவரலாம். இந்தப் பரிமாற்றங்களுக்கு நேரம் ஆகும். நீக்கப்பட்ட கணக்கீடுகளை மீண்டும் உருவாக்குவதும் வளங்களைச் செலவழிக்கும். இந்தப் போட்டியை இன்னும் கவனமாக நிர்வகிப்பதில்தான் சாம்சங்கின் காப்புரிமை கவனம் செலுத்துகிறது.

காப்புரிமை பெற்ற திட்டமிடல் முறை எவ்வாறு செயல்படுகிறது

Method and Server for Processing Multiple User Requests of a Large Language Model எனத் தலைப்பிடப்பட்டுள்ள சாம்சங்கின் விண்ணப்பம், ஒவ்வொரு கோரிக்கையையும் கையாள்வதற்கான செலவைக் கணக்கில் கொள்ளும் திட்டமிடியை விவரிக்கிறது. பயனர் எவ்வளவு நேரம் காத்திருக்கிறார், தரவுப் பரிமாற்றத்துக்கு எவ்வளவு நேரமாகும், கோரிக்கைக்கு எவ்வளவு நினைவகம் தேவைப்படும் ஆகியவை அதன் உள்ளீடுகளில் அடங்கும்.

இந்தக் கணக்கீடுகளின் அடிப்படையில் சேவையகம் செயலாக்க வரிசையைத் தேர்ந்தெடுக்கிறது. இயங்கத் தயாராக இருப்பதாகத் தோன்றும் ஒரு கோரிக்கைக்குப் பெரிய அளவிலான தரவுப் பரிமாற்றம் முதலில் தேவைப்படலாம்; அதேவேளையில் மற்றொரு கோரிக்கைக்கு அருகிலேயே உள்ள தரவைப் பயன்படுத்த முடியும். இந்தத் தேர்வுகளை ஒருங்கிணைப்பதால், நினைவகத்தை மறுசீரமைப்பதில் செலவாகும் நேரத்தைக் குறைக்கலாம்.

முன்பு CPU நினைவகத்துக்கு நகர்த்தப்பட்ட தகவல் அங்கே இன்னும் உள்ளதா என்பதையும் இந்த முறை சரிபார்க்கிறது. பயன்படுத்தக்கூடிய நகல் இருந்தால், அனைத்தையும் மீண்டும் நகலெடுக்காமல் தேவையான பகுதிகளை மட்டும் சேவையகம் நகர்த்தலாம். GPU ஒரு பயனருக்குப் பதிலை உருவாக்கிக்கொண்டிருக்கும்போது, மற்றொரு பயனருக்கான தரவையும் அது மாற்றலாம். இதனால் பயனுள்ள வேலைகளும் தயாரிப்புப் பணிகளும் ஒரே நேரத்தில் நடைபெறலாம்.

ஓரளவு கிடைக்கும் நினைவகத்தையும் பயன்படுத்துவது குறித்து சாம்சங் விவரிக்கிறது. புதிய கோரிக்கைக்கு ஐந்து அலகு இடம் தேவைப்பட்டாலும், மூன்று மட்டுமே காலியாக இருந்தால், ஐந்தும் கிடைக்கும் வரை காத்திருக்காமல் பொருந்தும் பகுதியைத் தொடங்கலாம். நெரிசலான நேரங்களில் குறைந்த வளங்களைப் பயனுள்ள வகையில் தொடர்ந்து பயன்படுத்துவதே இதன் நடைமுறை நோக்கம். இந்தக் காப்புரிமை பெற்ற முறைக்கான வணிகப் பயன்பாட்டு விவரங்களும், பதில் நேரம் மற்றும் செயல்திறனில் அளவிடப்பட்ட மேம்பாடுகளும் வெளியிடப்படவில்லை.

சேமிப்பகத்துக்கு தரவை மாற்றிவைத்ததில் சாம்சங் அளவிட்டது என்ன

சாம்சங் எலக்ட்ரானிக்ஸின் KV cache வெள்ளை அறிக்கை வேறொரு அணுகுமுறையை ஆராய்கிறது: மீண்டும் பயன்படுத்தக்கூடிய cache தரவை NVMe திடநிலை இயக்கிகளில் சேமித்து வைத்தல். PCIe இணைப்புகள் வழியாகக் கணினியுடன் சேமிப்புச் சாதனங்கள் வேகமாகத் தொடர்புகொள்ள உதவும் தொழில்நுட்பம் NVMe ஆகும்.

இந்தச் சோதனையில் எட்டு NVIDIA H100 NVL GPUகள், இணையாக இயங்கும் எட்டு LLaMA-3.1 8B அனுமானச் சேவைகள், vLLM சேவை மென்பொருள், மீண்டும் பயன்படுத்தக்கூடிய KV cache தரவை நிர்வகிக்கும் திறந்த மூல அடுக்கான LMCache ஆகியவை பயன்படுத்தப்பட்டன. பத்து சாம்சங் PM1753 இயக்கிகள் RAID-0 வரிசையாக இணைக்கப்பட்டன. பரிமாற்றச் செயல்திறனை அதிகரிக்க, இந்த அமைப்பு தரவைப் பல இயக்கிகளில் பரவச் செய்கிறது.

சாம்சங் பயனர் சுமையை 20 பயனர்கள் என்ற படிகளில் உயர்த்தி, ஒரே நேரத்தில் 280 பயனர்கள் வரை சோதித்தது. ஒவ்வொரு பயனரும் 20 வினாடிகளுக்கு ஒருமுறை வினவலைச் சமர்ப்பித்தனர். இதனால், ஒரு வினாடிக்கு ஒன்று முதல் 14 வினவல்கள் வரையிலான பணிச்சுமை உருவானது. எனவே, மீண்டும் மீண்டும் வரும் கோரிக்கைகளும் cache நகர்வும் கொண்ட வரையறுக்கப்பட்ட ஒரு முறையை இந்தச் சோதனை மதிப்பிட்டது.

ஒரு அமர்வு GPUகளுக்கு இடையே மாறும்போது இந்தச் சேமிப்பக அணுகுமுறை பயனுள்ளதாகிறது. நீண்ட உள்ளீட்டுத் தூண்டுதலை முதலில் செயலாக்குவதை மீண்டும் செய்வதற்குப் பதிலாக, இலக்கு GPU சேமித்த கணக்கீடுகளை மீண்டும் ஏற்றிக்கொள்ளலாம். ஒரே கணினிக்குள், வெளிப்புற cache-ஐ CPU நினைவகத்திலோ சேமிப்பகத்திலோ வைக்கலாம். பல கணினிகளுக்கு இடையே பயன்படுத்தும்போது, தொடர்புடைய சேவையகங்கள் அணுகக்கூடிய பகிரப்பட்ட வளம் cache-க்குத் தேவைப்படுகிறது என்று சாம்சங் விளக்குகிறது.

விரைவான தொடக்கமும் அதிக உரை உருவாக்கமும்

சேவைச் செயல்திறனின் இரண்டு அம்சங்களை சாம்சங் அளவிட்டது: முதல் டோக்கன் வருவதற்கான நேரம் மற்றும் வினாடிக்கு உருவாகும் டோக்கன்கள். பதில் தோன்றத் தொடங்குவதற்கு முன்பு ஒருவர் எவ்வளவு நேரம் காத்திருக்கிறார் என்பதை முதலாவது அளவிடுகிறது. காலப்போக்கில் அமைப்பு எவ்வளவு உரையை உருவாக்குகிறது என்பதை இரண்டாவது அளவிடுகிறது.

சேமிப்பகத்துக்கு தரவை மாற்றிவைக்கும் வசதி இயக்கப்பட்டபோது, ஒரே நேரத்தில் 240 பயனர்கள் வரை முதல் டோக்கன் வருவதற்கான நேரத்தை ஒரு வினாடிக்கும் குறைவாகச் சோதனையில் வைத்திருக்க முடிந்தது. அந்த வசதி இல்லாதபோது, 140 பயனர்களைத் தாண்டியதும் தாமதம் அதிகரித்தது. ஒப்பிடத்தக்க தாமதத்தில் 1.7 மடங்கு அதிகமான பயனர்களை ஆதரிக்க முடிந்ததாக சாம்சங் தெரிவிக்கிறது. 20 முதல் 140 பயனர்கள் வரையிலான அளவில், இந்த வசதியுடன் கூடிய அமைப்பில் தொடக்கக் காத்திருப்பு சுமார் அரை வினாடியாக இருந்தது.

240 பயனர்கள் இருந்தபோது, தரவை மாற்றிவைக்கும் வசதி கொண்ட அமைப்பு சுமார் 1.5 மடங்கு அதிக வெளியீட்டு டோக்கன்களை உருவாக்கியது. இந்த வசதி இல்லாத அமைப்பு சுமார் 160 பயனர்களில் நிறைவுநிலையை எட்டத் தொடங்கியது. சேமித்த cache-ஐ மீண்டும் பயன்படுத்திய அமைப்போ, தேவை அதிகரித்தபோதும் வெளியீட்டைத் தொடர்ந்து உயர்த்தியது.

உள்ளீட்டுத் தூண்டுதலை மீண்டும் மீண்டும் செயலாக்குவதைக் குறைப்பதே இந்த மேம்பாட்டுக்குக் காரணம் என சாம்சங் கூறுகிறது. மொழி மாதிரி முதலில் உள்ளீட்டைச் செயலாக்கும் கட்டம் prefill எனப்படுகிறது; அதன் பிறகு decode எனப்படும் கட்டத்தில், ஒவ்வொரு டோக்கனாகப் பதிலை உருவாக்குகிறது. சேமித்த கணக்கீடுகளை மீண்டும் பயன்படுத்துவதால், பதில்களை உருவாக்க GPU திறனில் கூடுதல் பகுதி கிடைக்கிறது.

கூடுதல் சேமிப்பகம் எப்போது செலவுக்குப் பயனளிக்கும்

அதிகத் தேவையின்போது செயல்திறனை மேம்படுத்தினாலும், கூடுதல் வன்பொருளுக்கு விலை உண்டு என்பதை சாம்சங்கின் செலவுப் பகுப்பாய்வு காட்டுகிறது. ஒரே நேரத்தில் பூஜ்ஜியத்திலிருந்து 160 பயனர்கள் வரையிலான அளவில், இரண்டு அமைப்புகளும் ஒரே அளவிலான டோக்கன் வெளியீட்டை வழங்கின. அதேவேளையில், கூடுதல் NVMe பாகங்கள் காரணமாக தரவை மாற்றிவைக்கும் வசதி கொண்ட அமைப்பின் செலவு சுமார் 4% அதிகமாக இருந்தது.

180 பயனர்களுக்கு மேல், அதிகரித்த வெளியீடு கூடுதல் சேமிப்பகச் செலவை ஈடுகட்டியது. 240 பயனர்கள் இருந்தபோது, மூன்று ஆண்டுகால இயக்கத்தை அடிப்படையாகக் கொண்டு, டாலருக்கு வினாடிக்கு உருவாகும் டோக்கன்கள் என்ற அளவீட்டில் செலவுத் திறன் சுமார் 1.5 மடங்கு மேம்பட்டதாக சாம்சங் கணக்கிட்டது.

வேறு விதமாகச் சொன்னால், ஒரு டாலருக்கான வெளியீடு 1.5 மடங்கு அதிகரிப்பது, அந்தக் கணக்கீட்டின்படி வெளியீட்டின் ஒவ்வொரு அலகுக்குமான செலவு சுமார் மூன்றில் ஒரு பங்கு குறைவதற்குச் சமம். இந்த ஒப்பீடு சாம்சங் சோதித்த உபகரணங்களுக்கும் பணிச்சுமைக்கும் மட்டுமே பொருந்தும். ஒரு சேவையின் உண்மையான பொருளாதார நிலை, அதன் மாதிரி, உரையாடல்களின் நீளம், போக்குவரத்து அளவு, உபகரணச் செலவு ஆகியவற்றையும் சார்ந்துள்ளது.

எனவே, கிளவுட் சேவை இயக்குநரின் நடைமுறைத் தேர்வு தேவையைப் பொறுத்து அமையும். ஏற்கெனவே உள்ள GPU திறன் பணிச்சுமையை எளிதாகக் கையாளும்போது, கூடுதல் சேமிப்பகம் தொடக்கச் செலவை உயர்த்தலாம். நீடித்த நெரிசலின்போது, cache-ஐ மீண்டும் பயன்படுத்துவதால் மற்றொரு சேவையகம் தேவைப்படுவதற்கு முன்பு, அதே GPU அமைப்பைக் கொண்டு அதிகச் செயல்பாடுகளை ஆதரிக்கலாம்.

மின்சாரச் சேமிப்பு குளிர்விப்பான் விசிறிகளுக்கும் நீள்கிறது

சேமிப்புச் சோதனையில் குறைந்த மின்சாரப் பயன்பாட்டையும் சாம்சங் அளவிட்டது. 240 பயனர்கள் இருந்தபோது, ஒரு வாட் மின்சாரத்துக்கான செயல்திறன் சுமார் 2.9 மடங்கு மேம்பட்டது. தரவை மாற்றிவைக்கும் வசதி இல்லாத அமைப்புடன் ஒப்பிடும்போது, மொத்த அமைப்பின் மின்சாரப் பயன்பாடு சுமார் 53% ஆகக் குறைந்தது; அதாவது சுமார் 47% குறைவு.

கூடுதல் NVMe இயக்கிகள் மின்சாரப் பயன்பாட்டை சுமார் 6% அதிகரித்ததாக வெள்ளை அறிக்கை தெரிவிக்கிறது. ஆனால் GPU மற்றும் குளிர்விப்புக்கான தேவை குறைந்ததால், அந்த அதிகரிப்பை விடப் பெரிய அளவில் சேமிப்பு கிடைத்தது. அதிகத் திறன் தேவைப்படும் prefill கணக்கீடுகளை மீண்டும் செய்வதிலிருந்து பணிச்சுமை விலகியபோது, GPU பயன்பாடு சுமார் 49% என சாம்சங் பதிவு செய்தது.

குளிர்விப்பான் விசிறிகளிலும் இந்த மாற்றம் தெரிந்தது. தரவை மாற்றிவைக்கும் வசதி இல்லாதபோது, அமைப்பின் அனைத்து விசிறிகளும் எதிர்பார்க்கப்பட்ட அதிகபட்ச வேகமான நிமிடத்துக்கு 15,000 சுழற்சியில் இயங்கின. இந்த வசதி இருந்தபோது, CPU, நினைவகம், சேமிப்பகத்துக்கான விசிறிகள் நிமிடத்துக்கு சுமார் 7,800 சுழற்சியிலும், GPU பக்கத்து விசிறிகள் சுமார் 9,800 சுழற்சியிலும் இயங்கின.

ஒரு பாகம் உள்ளூரில் மின்சாரத் தேவையை அதிகரித்தாலும், சேவையகம் முழுவதிலும் பயன்பாட்டைக் குறைக்க முடியும் என்பதை இந்த முடிவு காட்டுகிறது. இந்தச் சோதனையில், சேமித்த கணக்கீடுகளை மீட்டெடுக்கச் செலவழித்த மின்சாரம், கணக்கீடுகளை மீண்டும் செய்வதற்கும் அதனால் உருவாகும் வெப்பத்தை வெளியேற்றுவதற்கும் தேவைப்படும் அதிக மின்சாரச் செலவைக் குறைத்தது.

திடீர் அதிகரிப்புகளையும் சேமிப்பகம் கையாள வேண்டும்

இந்த அணுகுமுறைக்கு இயக்கிகளில் கூடுதல் கொள்ளளவு இருப்பது மட்டுமே போதாது என்பதையும் சாம்சங்கின் அளவீடுகள் காட்டுகின்றன. சேமிப்பகத்தின் மொத்தச் சராசரி தரவுப் பரிமாற்ற வேகம் வினாடிக்கு 37 GB வரை எட்டியது. ஒரே நேரத்தில் GPUகள் கோரிக்கைகளை அனுப்பும்போது, உச்சத் தேவை சராசரியைப் போல இரு மடங்குக்கு அருகில் உயரக்கூடும்.

ஒரே நேரத்தில் செயல்பாட்டில் உள்ள சேமிப்பகச் செயல்பாடுகளின் எண்ணிக்கை பொதுவாக 160 ஆக இருந்தது; ஆனால் அது 800 வரை திடீரென உயரக்கூடும். இத்தகைய திடீர் அதிகரிப்புகளைக் கையாளவும் பதிலளிக்கும் வேகத்தைப் பேணவும், சராசரித் தேவையைவிட குறைந்தது இரு மடங்கு சேமிப்பக அலைவரிசையைப் பயன்படுத்த சாம்சங் பரிந்துரைக்கிறது.

PM1753 இயக்கி, தொடர்ச்சியான தரவுப் பரிமாற்றத்தில் வினாடிக்கு 14.5 GB வரையும், சீரற்ற வாசிப்புச் செயல்பாடுகளில் வினாடிக்கு 3.3 மில்லியன் செயல்பாடுகள் வரையும் வழங்கும் எனக் குறிப்பிடப்பட்டுள்ளது. சோதிக்கப்பட்ட பணிச்சுமையில், சேமிப்பகச் செயல்பாடுகளில் வாசிப்புகள் சுமார் 92% ஆகவும் எழுதுதல்கள் 8% ஆகவும் இருந்தன. LMCache சுமார் 33 MB அளவுள்ள பெரிய cache தொகுதிகளை நகர்த்தியது.

ஒரே நேரத்தில் பல சேவைகள் பெரிய தொகுதிகளை வாசிக்கும்போது, ஒன்றோடொன்று கலந்த கோரிக்கைகளின் தொடரை உருவாக்கலாம். எனவே, பல பயனர்கள் ஒரே நேரத்தில் செயல்படத் தொடங்கும்போது, சேமிப்பகத் துணை அமைப்பு தரவுப் பரிமாற்ற வேகத்தைப் பராமரிக்க வேண்டும். சேமித்த தகவல் பயனுள்ளதாக இருக்கும் அளவுக்கு விரைவாக GPUவைச் சென்றடைவதை, cache கொள்ளளவு, பரிமாற்ற வேகம், திட்டமிடல் ஆகியவை தீர்மானிக்கின்றன.

சாம்சங் SDS கணக்கீட்டை நினைவகத்துக்குள் கொண்டுசெல்கிறது

தரவு நகர்வை வேறொரு வழியில் கையாள்கிறது சாம்சங் SDS. IEEE HPCA 2025 மாநாட்டில் அறிமுகப்படுத்தப்பட்ட PIM-Accelerated Inference Scheduling Engine (PAISE) பற்றிச் சாம்சங் SDS-இன் ஆய்வுக் கட்டுரை விவரிக்கிறது. செயலாக்க அலகுகளை நினைவகச் சில்லுகளுக்குள் அமைப்பதே processing in memory (PIM) முறையாகும். இதனால், சில கணக்கீடுகளைத் தரவு சேமிக்கப்பட்டுள்ள இடத்திலேயே செய்ய முடியும்.

சாம்சங்கின் Aquabolt-XL PIM வன்பொருளில் இந்த அமைப்பைச் செயல்படுத்தி சரிபார்த்த சாம்சங் SDS, GPT-2, OPT, Llama2 மாதிரிகளை மதிப்பீடு செய்தது. அனுமான வேகம் அதிகபட்சமாக 48.3% மேம்பட்டதாகவும், மின்சாரப் பயன்பாடு சுமார் 11.5% குறைந்ததாகவும் அது தெரிவிக்கிறது.

எந்தச் செயல்பாடுகளை நினைவகத்துக்குள் இயக்க வேண்டும் என்பதை PAISE தீர்மானித்து, வன்பொருளுக்கு ஏற்ற வகையில் தரவை ஒழுங்குபடுத்துகிறது. சிறிய attention கணக்கீடுகளை ஒன்றாகத் தொகுத்து, இணையாக இன்னும் திறமையாக இயக்கவும் இது உதவுகிறது. KV cache புதுப்பிப்புகள் வேகமாக நடந்ததாகவும், ஒன்றாகச் செயலாக்கப்படும் கோரிக்கைகளின் தொகுதிகளான batch அளவு பெரிதாகும்போது மேம்பாடு அதிகரித்ததாகவும் சாம்சங் SDS தெரிவிக்கிறது.

இந்த மூன்று திட்டங்களும் சேவையகத்தின் வெவ்வேறு பகுதிகளில் செயல்படுகின்றன. GPU மற்றும் CPU நினைவகங்களுக்கு இடையிலான கோரிக்கைகளையும் பரிமாற்றங்களையும் காப்புரிமை திட்டமிடுகிறது. சேமிப்புச் சோதனை, பின்னர் மீண்டும் பயன்படுத்துவதற்காக cache-ஐ இயக்கிகளில் வைத்திருக்கிறது. PAISE தேர்ந்தெடுக்கப்பட்ட கணக்கீடுகளை நினைவக வன்பொருளுக்குள் நகர்த்துகிறது. AI பதில்களுக்குப் பின்னால் உள்ள தகவல்களை நகர்த்துவதற்கோ மீண்டும் உருவாக்குவதற்கோ செலவாகும் நேரத்தையும் மின்சாரத்தையும் குறைக்க சாம்சங் பல வழிகளில் முயன்று வருவதை இவை ஒன்றாகக் காட்டுகின்றன.

முக்கிய அம்சங்கள்

• காத்திருப்பு நேரம், தரவுப் பரிமாற்றச் செலவு, எதிர்பார்க்கப்படும் நினைவகத் தேவை ஆகியவற்றைப் பயன்படுத்தி AI கோரிக்கைகளைத் திட்டமிடும் காப்புரிமை விண்ணப்பத்தை சாம்சங் வெளியிட்டுள்ளது.
• ஏற்கெனவே உள்ள GPUகளைக் கொண்டு அதிகப் பயனர்களுக்குச் சேவை வழங்குவதே காப்புரிமை பெற்ற முறையின் நோக்கம்; வணிகச் செயல்திறன் குறித்த புள்ளிவிவரங்கள் வெளியிடப்படவில்லை.
• சாம்சங்கின் தனி சேமிப்புச் சோதனையில், தரவை மாற்றிவைக்கும் வசதி இல்லாதபோது 140 பயனர்களுக்கு மேல் தாமதம் அதிகரித்த நிலையில், இந்த வசதியுடன் ஒரே நேரத்தில் 240 பயனர்களுக்கு முதல் பதில் வருவதற்கான காத்திருப்பு நேரம் ஒரு வினாடிக்கும் குறைவாக இருந்தது.
• 240 பயனர்கள் இருந்தபோது, சேமிப்பகத்துக்கு தரவை மாற்றிவைக்கும் வசதி சுமார் 1.5 மடங்கு அதிக டோக்கன் வெளியீட்டையும் செலவுத் திறனையும் அளித்ததுடன், ஒரு வாட்டுக்கான செயல்திறனையும் 2.9 மடங்கு உயர்த்தியது.
• குறைந்த பணிச்சுமையின்போது கூடுதல் சேமிப்பகம் செலவை சுமார் 4% உயர்த்தியது. எனவே, பொருளாதாரக் கணக்கீட்டில் தேவையின் அளவு முக்கியப் பங்கு வகிக்கிறது.
• நினைவகத்துக்குள் கணக்கீடு செய்யும் தனது தனி PAISE அமைப்பு அனுமான வேகத்தை அதிகபட்சமாக 48.3% மேம்படுத்தியதாக சாம்சங் SDS தெரிவிக்கிறது.