திறமையான LLM-களுக்கான திறந்த மூல குவாண்டைசேஷன் முறையான SINQ-ஐ அறிமுகப்படுத்திய Huawei

அன்றாட LLM பயன்பாட்டில் SINQ ஏன் முக்கியம்

பெரிய மொழி மாதிரிகளுக்கு அதிக நினைவகம் தேவை. மேம்பட்ட மாதிரிகளை இயக்கப் பெரும்பாலும் உயர்தர தரவு மைய GPU-களும் விலையுயர்ந்த கிளவுட் கணினி முனைகளும் தேவைப்படுவதற்கு இதுவும் ஒரு காரணம். Huawei-யின் சூரிச் கணினி அமைப்புகள் ஆய்வகம், இந்த நிலையை மாற்றும் நோக்கில் SINQ என்ற புதிய குவாண்டைசேஷன் முறையை அறிமுகப்படுத்தியுள்ளது. Sinkhorn Normalized Quantization எனப்படும் இந்த அணுகுமுறை, வெளியீட்டுத் தரத்தில் மிகக் குறைந்த இழப்புடன் நினைவகப் பயன்பாட்டைக் குறிவைக்கிறது. இது Apache 2.0 உரிமத்தின் கீழ் திறந்த மூலமாக வெளியிடப்பட்டுள்ளது. வேகமானது, அளவுத்திருத்தம் தேவையற்றது, ஏற்கெனவே உள்ள மாதிரி செயல்முறைகளுடன் எளிதாக ஒருங்கிணைக்கக்கூடியது என SINQ-ஐக் குழு முன்வைக்கிறது.

மாதிரியின் எடைகளைக் குறிக்கப் பயன்படுத்தப்படும் பிட்களின் எண்ணிக்கையைக் குறைப்பதே குவாண்டைசேஷன். 16 பிட் அல்லது 8 பிட் மிதவை எண்களிலிருந்து 4 பிட் முழு எண்களுக்கு மாறுவது நினைவகப் பயன்பாட்டை பாதிக்கும் அளவுக்குக் குறைக்கலாம். ஆனால் துல்லியத்தில் பாதிப்பு ஏற்படாமல் இத்தகைய சேமிப்பை அடைவது கடினம்; குறிப்பாக 8 பிட்டுக்குக் கீழே செல்லும்போது. குறைந்த துல்லியத்திலும், 4 பிட்டிலும் சில நேரங்களில் 3 பிட்டிலும், உயர்தரத்தைத் தக்கவைத்துக்கொள்வதோடு பல அறியப்பட்ட முறைகளைவிட விரைவாகச் செயல்படுத்த முடியும் என்பதே SINQ-இன் முக்கிய வாதம்.

ஆசிரியர்கள் சோதித்த பல்வேறு மாதிரிகள் மற்றும் கட்டமைப்புகளில், SINQ நினைவகப் பயன்பாட்டை ஏறத்தாழ 60 முதல் 70 சதவீதம் வரை குறைக்கிறது. இதனால் பல மாதிரிகளை 24 GB நினைவகமுள்ள Nvidia GeForce RTX 4090 போன்ற ஒரே நுகர்வோர் GPU-வில் இயக்க முடிகிறது; A100 அல்லது H100 போன்ற நிறுவனத் தர GPU-கள் தேவையில்லை. கிளவுட் பணிச்சுமைகளில், குறைந்த விலையுள்ள கணினி வளங்களைக் கொண்டு நீண்ட நேர அனுமானப் பணிகளைச் செய்யலாம்; காலப்போக்கில் இது ஆயிரக்கணக்கான டாலர் சேமிப்பாக மாறக்கூடும். ஆய்வகங்கள், தொடக்க நிறுவனங்கள், உள்ளூரில் மாதிரிகளை இயக்கும் ஆர்வலர்கள் ஆகியோருக்கு, திறன் வாய்ந்த மாதிரிகளை பணிநிலையத்தில் இயக்குவதற்கான தடையும் குறைகிறது.

முந்தைய குவாண்டைசேஷன் முறைகளிலிருந்து SINQ எவ்வாறு வேறுபடுகிறது

பயன்பாட்டில் உள்ள பெரும்பாலான LLM குவாண்டைசேஷன் முறைகள் எடைகளை மட்டுமே கையாள்கின்றன. ஒவ்வொரு அடுக்கிலும் கற்றறியப்பட்ட அளவுருக்களே எடைகள்; அவைதான் மாதிரியின் அளவில் பெரும்பகுதியை வகிக்கின்றன. செயல்படுத்தல் மதிப்புகளையும் குவாண்டைஸ் செய்யலாம்; ஆனால் அது பெரும்பாலும் சிக்கலை அதிகரித்து இயக்க நேரத்தையும் பாதிக்கக்கூடும். பரவலாகப் பயன்படுத்தப்படும் பல முறைகள், அளவுத்திருத்தம் எனப்படும் அமைப்புக் கட்டத்தில் கணக்கீட்டு நேரத்தைச் செலவிட்டு, குவாண்டைசேஷனால் ஏற்படும் பிழையைக் குறைக்கும் அளவுக் காரணிகளைத் தேடுகின்றன. இதற்குத் தரவின் ஒரு மாதிரித் தொகுப்பும், மாதிரியில் கூடுதல் சுற்றுகளும் தேவை. இது தரத்தை மேம்படுத்த உதவலாம்; ஆனால் நேரம் எடுப்பதுடன், தூண்டுதல்களை கவனமாகத் தேர்ந்தெடுக்க வேண்டியதாக்கி, செயல்முறைகளையும் சிக்கலாக்குகிறது.

SINQ வேறொரு வழியைப் பின்பற்றுகிறது. எடைகளை குறைந்த துல்லியத்துக்கு வட்டமிடுவதற்கு முன் அவற்றின் பரவலைச் சீராக வைத்திருக்க உதவும் தொடர்புடைய இரண்டு யோசனைகளை இது அறிமுகப்படுத்துகிறது. முதலாவதாக, இரு அச்சு அளவாக்கம், எடை அணியின் வரிசைகள் மற்றும் நெடுவரிசைகளில் தனித்தனி அளவாக்கு திசையன்களைப் பயன்படுத்துகிறது. இதனால் ஒவ்வொரு டென்சருக்கும் அல்லது சேனலுக்கும் ஒரே அளவுக் காரணியைப் பயன்படுத்துவதைவிட நுட்பமான கட்டுப்பாடு கிடைக்கிறது. இது பிழையைப் பரப்பி, மிகை மதிப்புகள் மற்றும் உள்ளூர் சமநிலையின்மைகளின் தாக்கத்தைக் குறைக்கிறது.

இரண்டாவதாக, SINQ, Sinkhorn Knopp இயல்பாக்கத்தால் ஊக்கமளிக்கப்பட்ட ஒரு செயல்முறையைப் பயன்படுத்துகிறது. வரிசை மற்றும் நெடுவரிசைப் புள்ளிவிவரங்களைச் சமநிலைப்படுத்த, இந்த வழிமுறை எளிய இயல்பாக்கங்களை மாறிமாறிச் செய்கிறது. SINQ-இல், எடை அணியின் எந்தப் பகுதியும் ஆதிக்கம் செலுத்தாதபடி வரிசைகள் மற்றும் நெடுவரிசைகளின் திட்ட விலகலை இயல்பாக்குவதே இதன் நோக்கம். இந்தச் சமநிலைப்படுத்தும் படி, குவாண்டைசேஷனுக்கு எடைகள் எவ்வாறு பதிலளிக்கின்றன என்பதை மேம்படுத்தி, ஒவ்வொரு அடுக்குக்கும் செலவுமிக்க அளவுத்திருத்தத் தரவு இல்லாமலேயே ஒட்டுமொத்தப் பிழையைக் குறைக்கிறது.

சோதனைகளில் நினைவகச் சேமிப்பு, வேகம், தரம்

முழுத் துல்லிய எடைகளுடன் ஒப்பிடுகையில், நினைவகப் பயன்பாட்டில் 60 முதல் 70 சதவீதம் வரை சீரான சேமிப்பு கிடைப்பதாகவும், பல்வேறு கட்டமைப்புகளில் அசல் மாதிரிக்கு நெருக்கமான துல்லியம் இருப்பதாகவும் ஆசிரியர்கள் தெரிவிக்கின்றனர். நடைமுறையில், முன்பு 60 GB-க்கும் அதிகமான நினைவகம் தேவைப்பட்ட மாதிரியை ஏறத்தாழ 20 GB-க்குள் இயக்க முடியும். சாதாரண GPU-களில், இந்த மாற்றம் ஒரு மாதிரி நினைவகத்தில் முழுமையாகப் பொருந்துமா அல்லது மெதுவான ஹோஸ்ட் RAM-க்கு மாறுமா என்பதைத் தீர்மானிக்கக்கூடும்.

ஆராய்ச்சியிலும் உற்பத்திப் பயன்பாட்டிலும் குவாண்டைசேஷன் வேகம் முக்கியம். தெரிவிக்கப்பட்ட சோதனைகளில், HQQ-ஐவிட ஏறத்தாழ இரண்டு மடங்கும், AWQ-ஐவிட 30 மடங்குக்கும் அதிகமாகவும் SINQ மாதிரிகளைக் குவாண்டைஸ் செய்கிறது. மாதிரிகளில் தொடர்ந்து மாற்றங்கள் செய்யும் குழுக்களுக்கு, பல மணி நேரம் எடுக்கும் முன்செயலாக்கப் பணியை, மேம்பாட்டுச் சுழற்சிக்குள் அடங்கும் விரைவான படியாக இந்த நேர வேறுபாடு மாற்றக்கூடும்.

தரம், குழப்பநிலை (perplexity) மற்றும் மாற்று விகிதம் (flip rate) போன்ற அளவுகோல்களைக் கொண்டு மதிப்பிடப்படுகிறது. ஒரு மொழி மாதிரி உரையை எவ்வளவு நன்றாகக் கணிக்கிறது என்பதை குழப்பநிலை அளவிடுகிறது. குவாண்டைசேஷனுக்குப் பிறகு அதிக வாய்ப்புள்ள டோக்கன்கள் எத்தனை முறை மாறுகின்றன என்பதை மாற்று விகிதம் கணக்கிடுகிறது. பல்வேறு அளவுகோல் சோதனைகளில், அளவுத்திருத்தமில்லா பிற அடிப்படை முறைகளுடன் ஒப்பிடுகையில் SINQ குழப்பநிலையைக் குறைத்து, மாற்று விகிதத்தையும் குறைக்கிறது; இது வெளியீடுகள் அதிக நிலைத்தன்மை கொண்டவை என்பதைக் காட்டுகிறது. சீரற்ற இடைவெளி கொண்ட குவாண்டைசேஷன் முறைகளுடனும் இது செயல்படுகிறது. துல்லியத்தை மேலும் உயர்த்தத் திட்டமிட்டால், அளவுத்திருத்தத்துடனும் இதை இணைக்கலாம்.

வன்பொருள் மற்றும் கிளவுட் செலவுகளில் ஏற்படும் தாக்கம்

அனுமானப் பணியின் விலை நினைவகத் தேவைக்கு ஏற்ப அதிகரிக்கிறது. ஒரே GPU-வில் பொருந்தும் மாதிரிக்கு, விலையுயர்ந்த மாதிரி இணைச் செயலாக்க அமைப்புகளும் பிணைய மேல்செலவும் தேவையில்லை. SINQ-இன் நினைவகக் குறைப்பு, நடுத்தர முதல் பெரிய அளவிலான பல மாதிரிகளை அதிக நினைவகமுள்ள ஒரே நுகர்வோர் GPU-வில் இயக்கக்கூடியதாக்குகிறது. முன்பு A100 அல்லது H100 கணினி முனைகளைச் சார்ந்திருந்த இயக்குநர்களுக்கு, மலிவான GPU-களில் சேவை வழங்கும் திறன் மாதாந்திரச் செலவைக் குறைத்து, பயிற்சிப் பணிகளுக்காக உயர்தர வன்பொருளை விடுவிக்கலாம்.

கிளவுட் பயனர்கள் சிறிய GPU கணினி வளங்களைத் தேர்ந்தெடுக்கலாம் அல்லது ஒரு முனையில் ஒரே நேரத்தில் அதிக மாதிரிகளை இயக்கலாம். உரையாடல் உதவியாளர்கள் அல்லது மீட்டெடுப்பு-மேம்படுத்தப்பட்ட உருவாக்கச் சேவைகள் போன்ற நீண்ட நேரம் இயங்கும் பணிகளுக்கு, குறைந்த விலையுள்ள GPU-களைப் பயன்படுத்துவது வாரங்கள் மற்றும் மாதங்கள் செல்லச் செல்ல ஆயிரக்கணக்கான டாலர்களைச் சேமிக்கலாம். தரவை நிறுவனத்துக்குள்ளேயே வைத்திருக்க விரும்பும் குழுக்களுக்கு, சிறிய சொந்தக் கணினித் தொகுப்புகளும் சாத்தியமாகின்றன.

தாமதம் மற்றும் ஆற்றல் பயன்பாட்டிலும் கூடுதல் பயன் உண்டு. குறைவான சாதனங்கள், கணினி முனைகளுக்கு இடையிலான குறைவான அழைப்புகள், ஹோஸ்ட் மற்றும் சாதன நினைவகங்களுக்கு இடையிலான குறைவான போக்குவரத்து ஆகியவை பதில் நேரத்தையும் மின்சாரப் பயன்பாட்டையும் குறைக்கக்கூடும். இதன் ஒட்டுமொத்த விளைவாக, குறைவான நகரும் பகுதிகளைக் கொண்ட மெலிந்த சேவை வழங்கல் கட்டமைப்பு உருவாகிறது.

உருவாக்குநர்கள் இப்போதே பயன்படுத்தக்கூடியவை

Apache 2.0 உரிமத்தின் கீழ் SINQ திறந்த மூலமாகக் கிடைக்கிறது. இந்த வெளியீட்டில் செயலாக்கக் குறியீடு, பிரபலமான மாதிரி மையங்களிலிருந்து மாதிரிகளைக் குவாண்டைஸ் செய்வதற்கான வழிமுறைகள், குவாண்டைஸ் செய்யப்பட்ட எடைகளைச் சேமித்து மீண்டும் ஏற்றுவதற்கான கருவிகள் ஆகியவை இடம்பெற்றுள்ளன. பயன்பாட்டுக்கு முன் குழப்பநிலை மற்றும் மாற்று விகிதத்தை அளவிடுவதற்கான மதிப்பீட்டு வசதிகளையும் இந்தத் தொகுப்பு வழங்குகிறது. வெவ்வேறு வன்பொருள் மற்றும் துல்லிய இலக்குகளுக்கு ஏற்ப பயனர்கள் மாற்றியமைக்கக்கூடிய அளவுருக்களும் இதில் உள்ளன.

முன்கூட்டியே குவாண்டைஸ் செய்யப்பட்ட மாதிரிகளை வெளியிடவும், Hugging Face Transformers சூழலுடன் ஒருங்கிணைக்கவும் திட்டமிட்டுள்ளதாக ஆசிரியர்கள் கூறுகின்றனர். இதனால், உருவாக்குநர்கள் தங்களுக்குப் பழக்கமான API-களைப் பயன்படுத்தி குவாண்டைஸ் செய்யப்பட்ட சோதனைச் சாவடியை ஏற்றிக்கொள்ள முடியும்; பயன்பாடும் எளிதாகும். சொந்த அனுமானக் கட்டமைப்புகளைப் பராமரிக்கும் குழுக்கள், எடைகளைக் குவாண்டைஸ் செய்து தொடங்கலாம். பின்னர், தாங்கள் தேர்ந்தெடுத்த இயக்கச் சூழலில் 4 பிட் அல்லது 3 பிட் சேமிப்பு வடிவங்களை ஆதரிக்கும் கர்னல்களுடன் அவற்றை இணைக்கலாம்.

தொழில்நுட்ப அம்சங்கள் விளக்கம்

மாதிரி தயாரிப்பு செயல்முறையில் நேரடியாகச் சேர்த்துப் பயன்படுத்தக்கூடிய படியாக SINQ வடிவமைக்கப்பட்டுள்ளது. அனுமானத்துக்குத் தேவையான கட்டமைப்பைப் பாதுகாக்கும் வகையில் எடை அணிகளை வடிவமைத்து, பின்னர் அவற்றைச் சுருக்கமான முழு எண் வடிவங்களுக்கு மாற்றுவதே இதன் நோக்கம்.

இரு அச்சு அளவாக்கம்

பாரம்பரியமாக, ஒவ்வொரு டென்சருக்கும் அல்லது சேனலுக்கும் ஒரு திசையில் ஒரே அளவுக் காரணி பயன்படுத்தப்படுகிறது. இரு அச்சு அளவாக்கம், ஒவ்வொரு எடை அணியின் வரிசைகளிலும் ஒரு திசையனையும் நெடுவரிசைகளிலும் மற்றொரு திசையனையும் பயன்படுத்துகிறது. சில வரிசைகளில் மிகை மதிப்புகள் இருக்கும்போது அல்லது குறிப்பிட்ட நெடுவரிசைகளில் மாறுபாடு அதிகமாக இருக்கும்போது இந்தப் பிரிப்பு உதவுகிறது. இரு திசைகளையும் இயல்பாக்குவதன் மூலம், குவாண்டைசேஷன் பிழையை அணி முழுவதும் சமமாகப் பரப்ப இந்த முறை உதவுகிறது. இதன் விளைவாக, பிழையில் கூர்மையான ஏற்றங்கள் குறைந்து, எடைகளின் ஒப்பீட்டு அளவுகள் சிறப்பாகப் பாதுகாக்கப்படுகின்றன.

Sinkhorn Knopp இயல்பாக்கம்

Sinkhorn Knopp என்பது சமநிலையான நிலையை அடைய எளிய இயல்பாக்கங்களை மாறிமாறிச் செய்யும் பாரம்பரிய மீள்செயல் வழிமுறை. SINQ-இல், இருபுறமும் சீரான நிகழ்தகவு அணி உருவாக்குவது நோக்கமல்ல; மாறாக, வரிசைகள் மற்றும் நெடுவரிசைகளின் திட்ட விலகல்களைச் சமநிலைப்படுத்துவதே நோக்கம். அவற்றின் திட்ட விலகல்களை இலக்கு மதிப்புகளுடன் பொருந்தச் செய்ய, இந்த வழிமுறை வரிசைகளையும் நெடுவரிசைகளையும் மீண்டும் மீண்டும் அளவுமாற்றம் செய்கிறது. இந்த வகையில் அணி சமநிலைப்படுத்தப்பட்டதும், மிகை மதிப்புகள் குறைந்த எடைப் பரவலின் மீது குவாண்டைசேஷன் செயல்படுவதால், வட்டமிடும் பிழை குறைகிறது. இந்தச் செயல்முறை வேகமானது; நீண்ட அளவுத்திருத்தச் சுற்றுகளுடன் ஒப்பிடும்போது சிறிதளவே மேல்செலவைச் சேர்க்கிறது; அளவுத்திருத்தத் தரவுத் தொகுப்பின் தேவையையும் தவிர்க்கிறது.

அளவுத்திருத்தமில்லா வடிவமைப்பு

அளவுத்திருத்தக் கட்டங்களில் தூண்டுதல்களின் தொகுப்பைத் தேர்ந்தெடுத்து, புள்ளிவிவரங்களைச் சேகரிக்க மாதிரியை இயக்கி, பின்னர் அளவுக் காரணிகளைக் கணக்கிட வேண்டும். இது செயல்முறையில் கூடுதல் சுமையை ஏற்படுத்துவதுடன், அளவுத்திருத்தத் தொகுப்பு உற்பத்திப் பயன்பாட்டைப் பிரதிபலிக்காவிட்டால் முடிவுகளையும் ஒருதலைப்பட்சமாக்கலாம். எடைகளின் புள்ளிவிவரங்களை நேரடியாகக் கையாள்வதன் மூலம் SINQ இந்தப் படியைத் தவிர்க்கிறது. பல குழுக்களுக்கு, அளவுத்திருத்தத்தை நீக்குவது தானியக்கத்தையும் மீண்டும் செய்யக்கூடிய தன்மையையும் எளிதாக்குகிறது. ஒரு திட்டத்துக்கு அளவுத்திருத்தம் இன்னும் தேவைப்பட்டால், SINQ-இன் வடிவமைப்பை அதன் மேலாகச் செய்யப்படும் அளவுத்திருத்தத் தேடலுடன் இணைக்கலாம்; இதன் மூலம் அதிகபட்சத் துல்லியத்தை அடைய இன்னொரு வழி கிடைக்கிறது.

வரம்புகளும் நடைமுறைப் பரிசீலனைகளும்

தெரிவிக்கப்பட்ட பெரும்பாலான மேம்பாடுகள் எடைகளை மட்டும் குவாண்டைஸ் செய்வதால் கிடைக்கின்றன. உருவாக்கத்தின் போது செயல்படுத்தல் மதிப்புகளும் கீ-வேல்யூ கேச்சும் தொடர்ந்து நினைவகத்தைப் பயன்படுத்துகின்றன; நீண்ட தூண்டுதல்களும் நீண்ட வெளியீடுகளும் இருக்கும்போது இது அதிகரிக்கிறது. சில இயக்கச் சூழல்கள் செயல்படுத்தல் மதிப்புகளைக் குவாண்டைஸ் செய்வதையும் KV கேச்சைச் சுருக்குவதையும் வழங்குகின்றன; ஆனால் அவற்றுக்கும் தனித்தனி சமரசங்கள் உண்டு. வட்டில் உள்ள மாதிரி அளவை மட்டும் அல்லாமல், தொடக்கம் முதல் முடிவு வரையிலான நினைவகப் பயன்பாட்டையும் தாமதத்தையும் குழுக்கள் அளவிட வேண்டும்.

இயக்கச் சூழலின் ஆதரவும் முக்கியம். அனுமான நேரத்தில் வேக உயர்வைக் காண, 4 பிட் அல்லது 3 பிட் எடைகளைப் பொதியப்பட்ட வடிவில் திறமையாக வாசிக்கும் கர்னல்கள் தேவை. llama.cpp, TensorRT LLM, vLLM போன்ற பிரபல இயந்திரங்களும் பிற கருவிகளும் விரைவாக மேம்பட்டு வருகின்றன; இருப்பினும் துல்லியம், கவனக் கர்னல், GPU கட்டமைப்பு ஆகியவற்றின் எல்லா சேர்க்கைகளும் ஒரே அளவுக்கு முதிர்ச்சியடைந்தவை அல்ல. சேவையை உற்பத்திப் பயன்பாட்டுக்கு மாற்றுவதற்கு முன், தொகுதி அளவு மற்றும் சூழல் நீளம் உட்படத் துல்லியமான அமைப்பில் செயல்திறன் விகிதம், தாமதம், நிலைத்தன்மை ஆகியவற்றைச் சோதிக்கவும்.

மிகக் குறைந்த துல்லியம் சில பணிகளுக்கு அழுத்தத்தை ஏற்படுத்தலாம். குறியீடு உருவாக்கம், கருவிப் பயன்பாடு, கட்டமைக்கப்பட்ட வெளியீடுகள் ஆகியவை சாதாரண உரையாடலைவிட அதிக உணர்திறன் கொண்டிருக்கலாம். குழப்பநிலை போன்ற அளவுகோல்கள் பயனுள்ளவைதான்; ஆனால் உற்பத்திப் பயன்பாட்டுக்கான சோதனைகளில் பணித் துல்லியம், பதிலின் பாணி, பாதுகாப்புச் சரிபார்ப்புகள் ஆகியவையும் இடம்பெற வேண்டும். ஒரு பயன்பாடு இந்த வரம்புகளை நெருங்கினால், கலப்புத் துல்லியத்தையோ முக்கியமான அடுக்குகளுக்கு மட்டும் அதிக துல்லியத்தையோ பயன்படுத்துவதன் மூலம், பெரும்பாலான நினைவகச் சேமிப்பைத் தக்கவைத்துக்கொண்டே தரத்தைப் பாதுகாக்கலாம்.

ஒரு நிறுவனத்தைத் தாண்டியும் இது ஏன் முக்கியம்

நடைமுறையில் LLM-களைப் பயன்படுத்துவதற்கான அடித்தளமாகக் குவாண்டைசேஷன் மாறியுள்ளது. வேகமானதும், அளவுத்திருத்தமில்லாததும், குறைந்த துல்லியத்திலும் பயனளிப்பதுமான திறந்த மூல முறை, ஒட்டுமொத்தச் சூழலமைப்புக்கும் உதவுகிறது. நினைவகத் தேவைகள் குறைவதால் கல்வி, குடிமைத் திட்டங்கள், சிறு வணிகங்கள் ஆகியவற்றுக்கு திறன் வாய்ந்த மாதிரிகள் அதிகம் கிடைக்கின்றன. உயர்தர GPU-களின் பற்றாக்குறையால் ஏற்படும் அழுத்தத்தையும் இந்த அணுகுமுறை குறைத்து, பயிற்சி மற்றும் ஆராய்ச்சிக்கான கணினித் திறனை விடுவிக்கிறது.

அனுமானக் கருவிகளுக்கிடையிலான போட்டி வேகமடைந்து வருகிறது. SINQ போன்ற முறைகளைத் திறமையான கவனக் கர்னல்கள், பக்கங்களாகப் பிரிக்கப்பட்ட KV கேச்சுகள், மேம்படுத்தப்பட்ட அட்டவணையிடிகள் ஆகியவற்றுடன் இணைத்து, ஒவ்வொரு டாலருக்கும் அதிக டோக்கன்களை விநியோகிக்கலாம். இதன் விளைவு மலிவான சேவை வழங்கல் மட்டுமல்ல. தனியுரிமை, உள்ளூர்த் தரவுக் கட்டுப்பாடு, தங்கள் தொழில்நுட்பக் கட்டமைப்பின் மீதான கட்டுப்பாடு ஆகியவற்றுக்கு முக்கியத்துவம் கொடுக்கும் குழுக்களுக்கும் இது கூடுதல் தெரிவுகளை வழங்குகிறது.

முக்கிய அம்சங்கள்

• Huawei-யின் SINQ என்பது Apache 2.0 உரிமத்தின் கீழ் வெளியிடப்பட்ட, LLM எடைகளுக்கான திறந்த மூல குவாண்டைசேஷன் முறையாகும்
• 4 பிட்டிலும் சில நேரங்களில் 3 பிட்டிலும் தரத்தைத் தக்கவைத்துக்கொண்டு, நினைவகப் பயன்பாட்டை 60 முதல் 70 சதவீதம் வரை குறைப்பதாக SINQ தெரிவிக்கிறது
• இந்த முறைக்கு அளவுத்திருத்தம் தேவையில்லை; ஏற்கெனவே உள்ள செயல்முறைகளுடன் எளிதாக ஒருங்கிணைப்பதை நோக்கமாகக் கொண்டுள்ளது
• எடை அணிகளைச் சமநிலைப்படுத்த SINQ இரு அச்சு அளவாக்கத்தையும் Sinkhorn Knopp பாணி இயல்பாக்கத்தையும் பயன்படுத்துகிறது
• தெரிவிக்கப்பட்ட சோதனைகளில், குவாண்டைசேஷன் வேகம் HQQ-ஐவிட ஏறத்தாழ 2 மடங்கும், AWQ-ஐவிட 30 மடங்குக்கும் அதிகமாகவும் உள்ளது
• அடிப்படை அளவுத்திருத்தமில்லா முறைகளுடன் ஒப்பிடுகையில், குறைந்த குழப்பநிலை மற்றும் மாற்று விகிதத்துடன் தர அளவுகோல்களும் மேம்படுகின்றன
• முன்பு 60 GB-க்கும் அதிகமான நினைவகம் தேவைப்பட்ட மாதிரிகளைச் சுமார் 20 GB-இல் இயக்கலாம்; இதனால் RTX 4090 போன்ற நுகர்வோர் வன்பொருளில் ஒரே GPU மூலம் மாதிரிகளைப் பயன்படுத்த முடிகிறது
• திட்டமிடப்பட்ட புதுப்பிப்புகளில் Hugging Face Transformers ஒருங்கிணைப்பும் முன்கூட்டியே குவாண்டைஸ் செய்யப்பட்ட மாதிரிகளின் வெளியீடுகளும் அடங்கும்