எடைகளில் நேரடியாகத் திருத்தம் செய்து Qwen கணித மதிப்பெண்களை GPT-6 Astra உயர்த்தியதாக MIT ஆய்வாளர்கள் தெரிவிப்பு

சிறிய எண்ணியல் திருத்தம் மதிப்பெண்ணை பெரிதும் உயர்த்தியது

MIT-யின் கணினி அறிவியல் மற்றும் செயற்கை நுண்ணறிவு ஆய்வகத்தைச் சேர்ந்த ஆய்வாளர்கள் கூறுகையில், OpenAI-யின் GPT-6 Astra, சுமார் 800 மில்லியன் எண்ணியல் அளவுருக்களில் 131,072-ஐ மட்டும் மாற்றி, சிறிய Qwen மாதிரியின் கணித மதிப்பெண்ணை 7.9%-லிருந்து 48.1%-ஆக உயர்த்தியது. பதிலளிக்க இடமில்லாமல் போகும் வரை மாதிரி மீண்டும் மீண்டும் உரையை உருவாக்கிய குறிப்பிட்ட குறைபாட்டை இந்தத் தலையீடு இலக்காகக் கொண்டது.

Rikiya Takehi, Jayden Teoh, Alex Zhang மற்றும் Omar Khattab ஆகியோர் நவம்பர் 2 அன்று வெளியிட்ட “Sparks of Weight-Space Programming” என்ற தலைப்பிலான ஆய்வுக் குறிப்பில் இந்தச் சோதனைகளை விவரித்தனர். அதைத் தொடர்ந்து, 2026 நவம்பர் 3 தேதியிட்ட செய்தியும் வெளியானது. மற்றொரு நரம்பியல் வலையமைப்பின் எடைகள் எனப்படும், அது தகவலைச் செயலாக்கும் முறையைத் தீர்மானிக்கும் எண்களை ஆய்வு செய்து, பொருள் புரிந்து, நேரடியாக மாற்றி எழுதுமாறு மொழி மாதிரியிடம் கேட்பதே இவர்களின் அணுகுமுறை.

மிகச் சிறந்த முடிவு Qwen3.5-0.8B மாதிரியில் கிடைத்தது. Astra அதன் எடைகளில் சுமார் 0.016%-ஐ மாற்றிய பிறகு, MATH-500 துல்லியம் 40.2 சதவீதப் புள்ளிகள் உயர்ந்தது; இது தொடக்க மதிப்பை விட சுமார் ஆறு மடங்கு அதிகம். GSM8K கணிதக் கேள்விகளில் துல்லியம் 13.8%-லிருந்து 67.1%-ஆக உயர்ந்தது. IFEval வழிமுறைப் பின்பற்றல் மதிப்பெண் 21.0%-லிருந்து 62.3%-ஆக உயர்ந்தது; இது தொடக்க மதிப்பை விட கிட்டத்தட்ட மூன்று மடங்கு.

கணிதத்தைத் தாண்டியும் இந்தச் சோதனைகள் நடந்தன. சிறிய வலையமைப்புகளின் நோக்கங்களை Astra கண்டறிந்தது, உருவகப்படுத்தப்பட்ட வாகனக் கட்டுப்படுத்தியைச் சரிசெய்தது, மேலும் விதிகளையும் மூலக் குறியீட்டையும் கொண்டு விளையாட்டு விளையாடும் வலையமைப்புகளை உருவாக்கியது. பிற சோதனைகள் அதன் வரம்புகளை வெளிப்படுத்தின: எடைகளை மட்டும் கொண்டு பயனர்களிடம் அளவுக்கு மீறி ஒத்துப்போகும் போக்கைக் கண்டறிவதில் அது சிரமப்பட்டது; மற்றொரு மொழி மாதிரியில் அதன் திருத்தங்கள் கணிதத்தில் மிகக் குறைந்த முன்னேற்றத்தையே அளித்தன.

உருவாக்குநர்களுக்கு, மாதிரிகளைச் சரிசெய்வதற்கான புதிய வழிமுறையே உடனடியாகத் தெரியும் சாத்தியம். வழக்கமான பயிற்சியின் மற்றொரு சுற்று மூலம் வலையமைப்புக்குக் கற்பிப்பதற்குப் பதிலாக, ஒரு AI உதவியாளர் குறைபாட்டை ஆராய்ந்து அதற்குக் காரணமான எண்ணியல் அமைப்பை மாற்றலாம். மதிப்பெண் எவ்வளவு உயர்ந்தது என்பதற்கு இணையாக, குறைபாட்டின் தன்மையும் ஏன் முக்கியம் என்பதை Qwen முடிவு காட்டுகிறது.

எடைகளை நிரலாக்குவது என்றால் என்ன?

நரம்பியல் வலையமைப்பு, கணக்கீடுகளின் அடுக்குகள் வழியாக உள்ளீடுகளை வெளியீடுகளாக மாற்றுகிறது. கூறுகளுக்கிடையே சமிக்ஞைகள் எந்த அளவு வலிமையுடன் கடத்தப்படுகின்றன என்பதை அதன் எடைகள் கட்டுப்படுத்துகின்றன. பயிற்சியின்போது, எடுத்துக்காட்டுகளையும் பிழைக்கான கணித அளவீட்டையும் பயன்படுத்தி, எந்த மாற்றங்கள் பயனுள்ளவை என்பதைத் தீர்மானித்தபடி அந்த எண்கள் மீண்டும் மீண்டும் சரிசெய்யப்படுகின்றன.

அந்தச் சரிசெய்தல்களைக் கணக்கிடுவதற்கான பொதுவான வழி சாய்வு இறக்கம் (gradient descent) ஆகும். பிழைகளைக் குறைக்க எடைகளை எந்தத் திசையில் நகர்த்த வேண்டும் என்பதை மதிப்பிடுவதன் மூலம் இது செயல்படுகிறது. இந்தச் சோதனைகளில், திருத்தங்களைக் கணக்கிடும் பயிற்சிச் சுழற்சி இல்லாமல், Astra இலக்கு வலையமைப்பைப் பற்றி பகுத்தறிந்து மாற்றங்களைத் தானே எழுதியது.

MIT CSAIL-இல் முனைவர் பட்டம் பயிலும் Takehi, முன்மொழியப்பட்ட செயல்முறையை சமூக ஊடகப் பதிவில் இவ்வாறு விவரித்தார்:

பயிற்சி அளிப்பதற்குப் பதிலாக, மாதிரிகள் மூல எடைகளை வாசிக்கவும் திருத்தவும் கூடிய குறியீடாகக் கருதி, குறைபாடுகளைக் கண்டறிந்து அவற்றை நேரடியாகச் சரிசெய்யலாம்.

மென்பொருள் பழுதுபார்ப்புடனான ஒப்பீடு இங்கு பயனுள்ளதாக இருக்கிறது. செயலி ஒன்றில் கோளாறு ஏற்பட்டால், நிரலாளர் தவறான செயல்பாட்டைக் கண்டுபிடித்து அதை மறுஎழுதலாம். இங்கு, விரும்பத்தகாத நடத்தையுடன் தொடர்புடைய வடிவத்தைக் கண்டறிய Astra எண்ணியல் கட்டமைப்புகளைத் தேடியது. நரம்பியல் வலையமைப்பின் எடைகளைப் புரிந்துகொள்வது சாதாரண மென்பொருளைவிடக் கடினம்; ஏனெனில் அவற்றின் பணி என்ன என்பதை விளக்கும், மனிதர் புரிந்துகொள்ளக்கூடிய பெயர்கள் பொதுவாக அவற்றுக்கு இருப்பதில்லை.

இந்தச் சோதனைகளில் உதவியின் அளவு மாறுபட்டது. சில சோதனைகளில் Astra-வுக்கு எடைகளும் கட்டமைப்பின் விளக்கமும் மட்டுமே வழங்கப்பட்டன. மற்றவற்றில் Python சூழல், எடுத்துக்காட்டுகள் அல்லது இலக்கு மாதிரியை இயக்குவதற்கான அனுமதி வழங்கப்பட்டது. Qwen சோதனையில் வழக்கமான பயிற்சி இல்லாவிட்டாலும், கணிசமான கணக்கீடு, பயிற்சிக் கேள்விகள் மற்றும் சோதனைகள் இடம்பெற்றன.

Qwen மீண்டும் மீண்டும் பதிலளிப்பதை Astra எவ்வாறு நிறுத்தியது

Qwen-இன் தொடக்க நடத்தை, ஆராய்வதற்குத் தெளிவான சிக்கலை Astra-வுக்கு அளித்தது. 96 கேள்விகளைக் கொண்ட தொடக்கத் தொகுப்பில், 85 பதில்கள் அதிகபட்சமான 32,768 டோக்கன் வெளியீட்டு வரம்பை எட்டின. மொழி மாதிரி வாசித்து உருவாக்கும் உரையின் பகுதிகளே டோக்கன்கள்; அவை பெரும்பாலும் சொற்களாகவோ சொற்களின் பகுதிகளாகவோ இருக்கும். வரம்பால் துண்டிக்கப்பட்ட பதில்களில் சுமார் 95% மீண்டும் மீண்டும் எழுதப்பட்ட உரையுடன் முடிந்தன.

பரந்த MATH-500 மதிப்பீட்டிலும் இதே சிக்கல் தென்பட்டது: தொடக்க மாதிரியின் பதில்களில் 93.0% டோக்கன் வரம்பை எட்டின. 15 மற்றும் 19-ஆவது அடுக்குகளில் உள்ள முன்னோக்கிப் பரவல் கூறுகளின் வெளியீடுகளுடன் தொடர்புடைய ஓர் எண்ணியல் திசையே இந்தச் சுழற்சி நடத்தைக்குக் காரணம் என Astra கண்டறிந்தது. பல அடுக்கு பெர்செப்ட்ரான்கள் அல்லது MLP-கள் எனப்படும் இந்தக் கூறுகள், ஒவ்வொரு அடுக்குக்குள்ளும் தகவலை மாற்றுகின்றன.

எண்ணியல் திசை என்பது ஒரே ஒரு கட்டுப்பாட்டுச் சுவிட்ச் அல்ல; பல மதிப்புகளில் பரவியிருக்கும் ஒரு வடிவம். அந்த இரண்டு அடுக்குகளிலும் உள்ள 64 வெளியீட்டுத் தூண்களிலிருந்து, மீளுரைப்புடன் தொடர்புடைய திசையை Astra கழித்தது. இதனால் 131,072 எடைகள் மாறின; டோக்கன் வரம்பை எட்டிய MATH-500 பதில்களின் விகிதம் 33.1%-ஆகக் குறைந்தது.

திருத்தப்பட்ட பதில்களின் அமைப்பு இந்த முன்னேற்றத்தை விளக்குகிறது. ஒதுக்கிவைக்கப்பட்ட 1,152 கேள்விகளில், 579 பதில்கள் தவறிலிருந்து சரியாக மாறின; ஐந்து பதில்கள் சரியிலிருந்து தவறாக மாறின. மேம்பட்ட 579 பதில்களில் 576, தொடக்கத்தில் வெளியீட்டு வரம்பால் துண்டிக்கப்பட்டிருந்தன. எனவே, முந்தைய மீளுரை இடைமறித்த பதில்களைத் திருத்தப்பட்ட மாதிரி நிறைவு செய்ததே பெரும்பாலான முன்னேற்றத்துக்குக் காரணம்.

திருத்தத்துக்குப் பிறகும் MATH-500 பதில்களில் மூன்றில் ஒரு பங்கு, அனுமதிக்கப்பட்ட வெளியீட்டு அளவை முழுமையாகப் பயன்படுத்தின. சோதனைச் சூழலில் திருத்தப்பட்ட வலையமைப்பு மிகவும் பயனுள்ளதாக இருந்தாலும், மீளுரை இன்னும் கணிசமான சிக்கலாகவே இருந்தது.

திருத்தத்தைக் கண்டறியப் பல மணி நேர ஆய்வு தேவைப்பட்டது

Astra-வின் மிகச் சிறந்த Qwen முயற்சியில் 50 மதிப்பீட்டுக் கோரிக்கைகள் பயன்படுத்தப்பட்டன; ஒவ்வொரு கோரிக்கையும் நூற்றுக்கணக்கான எடுத்துக்காட்டுகளை உள்ளடக்கியிருக்கலாம். இந்த ஆய்வில் 158 உரையாடல் சுற்றுகள், 80 Python செயலாக்கங்கள் மற்றும் 20.3 மணி நேரம் இடம்பெற்றன. இதில் சேவைத் தடையால் காத்திருந்த 4.7 மணி நேரமும் அடங்கும்.

செயல்பாட்டுச் சூழலில் GSM8K மற்றும் MATH பயிற்சித் தொகுப்புகளிலிருந்து 14,000-க்கும் மேற்பட்ட பயிற்சிக் கேள்விகள், Qwen எடைகளுக்கான அணுகல், CPU-களில் இயங்கும் Python சோதனைச் சூழல் ஆகியவை இருந்தன. அந்தச் சூழலில் 300 முறை வரை குறியீட்டை இயக்க அனுமதி இருந்தது. பிற முயற்சிகளில் 10 அல்லது 25 மதிப்பீட்டுக் கோரிக்கைகள் பயன்படுத்தப்பட்டன.

அறிக்கையிடப்பட்ட துல்லிய மதிப்பெண்களும் ஒரு குறிப்பிட்ட உரை உருவாக்க அமைப்புக்குரியவை. மதிப்பீடுகளில் சிந்தனை முறை, 32,768 டோக்கன் வெளியீட்டு வரம்பு, 0.6 வெப்பநிலை ஆகியவை பயன்படுத்தப்பட்டன. அடுத்த டோக்கனைத் தேர்ந்தெடுப்பதில் எவ்வளவு சீரற்ற தன்மை இருக்கும் என்பதை வெப்பநிலை கட்டுப்படுத்துகிறது; சிந்தனை முறையில் உரைப் பணிகளுக்கு 1.0 வெப்பநிலையைப் பயன்படுத்துமாறு மாதிரி அட்டை பரிந்துரைக்கிறது. தொடக்க நடத்தையை மீண்டும் உருவாக்கும்போதும் முடிவுகளை ஒப்பிடும்போதும் இந்த வேறுபாடு முக்கியம்.

நடைமுறைச் செயல்முறை:

• இலக்கு மாதிரி, பயிற்சிக் கேள்விகள், எடைகளை ஆய்வு செய்து நடத்தையைச் சோதிப்பதற்கான கருவிகள் ஆகியவற்றை ஆய்வாளர்கள் Astra-வுக்கு வழங்கினர்.
• மீண்டும் மீண்டும் வெளியான பதில்களை Astra ஆராய்ந்து, 15 மற்றும் 19-ஆவது அடுக்குகளுக்கான இலக்குத் திருத்தத்தை உருவாக்கியது.
• கணிதம் மற்றும் வழிமுறைப் பின்பற்றலில் ஏற்பட்ட முன்னேற்றங்களையும், வெளியீட்டு வரம்பை எட்டிய பதில்களின் எண்ணிக்கை குறைந்ததையும் மதிப்பீடு அளந்தது.
• இந்தப் பணியை நவம்பர் 2 அன்று குழு விவரித்ததுடன், தரப்படுத்தலும் சோதனையும் செய்வதற்கான கட்டமைப்பை உருவாக்கி வருவதாகத் தெரிவித்தது.

இறுதித் திருத்தம் சிறியதாக இருந்தது; ஆனால் அதைக் கண்டுபிடிக்க மிகப் பெரிய செயல்முறை தேவைப்பட்டது. வழக்கமான நுண்-சீரமைப்புடன் ஒப்பிடும்போது இந்த அணுகுமுறை நேரத்தையோ கணினிக் கணக்கீட்டு வளங்களையோ மிச்சப்படுத்துமா என்பது நடைமுறையில் இன்னும் விடை காணப்படாத கேள்வியாகும்.

எண்களிலிருந்து விளையாட்டுகள், வடிவங்கள், மொழி ஆகியவற்றைக் கண்டறிதல்

Astra-வின் ஆய்வுச் சோதனைகள், proximal policy optimization (PPO) எனப்படும், வெகுமதிகள் மூலம் நடத்தையை மேம்படுத்தும் வலுவூட்டல் கற்றல் முறையில் பயிற்றுவிக்கப்பட்ட நான்கு விளையாட்டு வலையமைப்புகளுடன் தொடங்கின. அவற்றின் கட்டமைப்பு, உள்ளீடுகள், சாத்தியமான செயல்கள் ஆகியவை ஒரே மாதிரியாக இருந்தன. எந்த விளையாட்டுகள் இருக்கலாம் என்ற பட்டியல் இன்றி, அவை Breakout, Pong, Pac-Man, Freeway என Astra அடையாளம் கண்டது.

முதல் அடுக்கிலிருந்த வடிவங்களையும், வெளியீட்டு அடுக்கு செயல்களைத் தேர்ந்தெடுப்பதில் இருந்த வேறுபாடுகளையும் Astra ஆய்வு செய்ததாக ஆய்வாளர்கள் தெரிவித்தனர். Breakout-ஐ அடையாளம் கண்ட எடுத்துக்காட்டில், அதன் பதிலுக்கு 99% நம்பகத்தன்மையை அது அளித்தது. அந்த நம்பகத்தன்மை, அடையாளம் காண்பது குறித்த Astra-வின் சொந்த மதிப்பீடாகும்.

மூன்று சிறிய பரவல் மாதிரிகள் மற்றொரு சோதனையாக அமைந்தன. அவை ஒவ்வொன்றும் வட்டங்கள், முக்கோணங்கள் அல்லது சதுரங்களை உருவாக்கக் கற்றிருந்தன. அவற்றை இயக்காமலேயே, வெளியீட்டு அடுக்கு எடைகளில் உள்ள வெளிக்கோடுகளைக் கண்டறிந்து வடிவங்களை Astra அடையாளம் கண்டது. மாதிரிகள் நிரப்பப்பட்ட வடிவங்களை உருவாக்கினாலும், Astra வரைந்தவை உள்ளீடற்றவையாக இருந்தன. அது ஆய்வு செய்த எண்ணியல் கட்டமைப்புடன் அதன் விளக்கத்தை இணைத்த இந்த விசித்திரமான விவரம் குறிப்பிடத்தக்கது.

மொழி அடையாளச் சோதனையில், தலா 7.2 மில்லியன் அளவுருக்களைக் கொண்ட மூன்று மாதிரிகள் பயன்படுத்தப்பட்டன. Python குறியீடு, ரோமன் எழுத்துகளில் எழுதப்பட்ட ஜப்பானியம் அல்லது ஆங்கிலத்தில் அடுத்த எழுத்தைக் கணிக்க அவை பயிற்றுவிக்கப்பட்டிருந்தன. நடு அடுக்குகள் மட்டுமே Astra-வுக்கு வழங்கப்பட்டன; இரண்டு முயற்சிகளிலும் பயிற்றுவிக்கப்பட்ட மொழியை அது சரியாகக் கண்டறிந்தது.

முன்பு பார்த்த உரையை மீண்டும் உருவாக்க உதவும் கவனக் கூறுகளான நகலெடுக்கும் ஹெட்களையும் Astra கண்டறிந்தது. Python மாதிரியில் இத்தகைய ஹெட்கள் அதிகமாக இருந்தன; குறியீட்டில் ஒரே மாறி மற்றும் செயல்பாட்டுப் பெயர்கள் மீண்டும் மீண்டும் வருவதற்கு இது பொருந்துகிறது. ரோமன் எழுத்துகளில் எழுதப்பட்ட ஜப்பானிய மாதிரியின் இறுதிக் கூறு உருவாக்கிய திசைகள் குறைவாக இருந்தன; பொதுவாகப் பயன்படுத்தப்படும் எழுத்துகளின் தொகுப்பு சிறியதாக இருப்பதற்கு இது பொருந்துகிறது.

வாகனத்தைச் சரிசெய்து விளையாட்டு மாதிரிகளை உருவாக்குதல்

Kinetix சூழலில் உருவகப்படுத்தப்பட்ட கார், உதவாத ஒரு பழக்கத்தைக் கற்றிருந்தது: அது சரிவை நோக்கிச் சென்று அங்கே சிக்கிக்கொண்டது. முதலில் பின்னோக்கிச் சென்றால், வெற்றிகரமாக மேலேறுவதற்குப் போதிய இடம் கிடைக்கும். கட்டுப்படுத்தியின் எடைகள், காட்சியின் விளக்கம், தோல்விப் பதிவு ஒன்று ஆகியவற்றை வழங்கியபோது, கருவிகள் இன்றியே ஒரே பதிலில் Astra திருத்தத்தை உருவாக்கியது.

இந்தத் திருத்தம் 3.5% எடைகளை மாற்றி, 1,024 சோதனைகளிலும் வெற்றி பெற்றது. வலையமைப்புக்குள் நிலை மற்றும் வேகத்தைக் கண்காணிக்க Astra ஒரு சிறிய பாதையைச் சேர்த்தது; கார் ஒரு குறியைக் கடந்ததும் கட்டுப்பாட்டை மீண்டும் அசல் வலையமைப்பிடம் ஒப்படைத்தது.

MinAtar விளையாட்டுகளான Breakout, Seaquest, Asterix ஆகியவற்றில் Astra-வுக்கு வேறொரு பணி வழங்கப்பட்டது: தொடக்கத்திலிருந்தே செயல்திட்ட வலையமைப்புகளை எழுதுவது. விளையாட்டின் நிலையைச் செயலாக மாற்றுவது செயல்திட்ட வலையமைப்பு ஆகும். விதிகள், மூலக் குறியீடு, தேவையான கட்டமைப்பு ஆகியவை Astra-வுக்கு வழங்கப்பட்டன; ஆனால் பயிற்சி எடுத்துக்காட்டுகள், சாய்வு கணக்கீடுகள், கருவிகள் அல்லது மதிப்பீட்டுக்கு முன் விளையாடும் வாய்ப்பு எதுவும் வழங்கப்படவில்லை.

மூன்று விளையாட்டுகளிலும் 100 மில்லியன் படிகள் பயிற்றுவிக்கப்பட்ட PPO அடிப்படை மாதிரிகளைவிட Astra-வின் வலையமைப்புகள் அதிக மதிப்பெண் பெற்றன. எண் வேறுபாடு Breakout-இல் மிகப் பெரியதாக இருந்தது: Astra 517.4 மதிப்பெண் பெற்றது; 100 மில்லியன் படிகள் பயிற்றுவிக்கப்பட்ட அடிப்படை மாதிரி 15.8-ம், 500 மில்லியன் படிகள் பயிற்றுவிக்கப்பட்ட மாதிரி 25.3-ம் பெற்றன. இரண்டாவது ஒப்பீட்டில் சுமார் இருபது மடங்கு முன்னிலை கிடைத்தது.

விளையாட்டுக்கு ஏற்ப முன்னிலை மாறுபட்டது. 500 மில்லியன் படிகள் பயிற்றுவிக்கப்பட்ட PPO மாதிரிகளுடன் ஒப்பிடும்போது, Asterix-இல் Astra நெருங்கிய முடிவைப் பெற்றது; Seaquest மதிப்பெண்ணில் சுமார் 60%-ஐ அடைந்தது. Breakout-க்கான அதன் வடிவமைப்பு தெளிவான உத்தியை எடைகளாக மாற்றியது: பந்து எங்கு விழும் எனக் கணித்து, மட்டையை அந்த இடத்தை நோக்கி நகர்த்துவது.

பெரிய Go வலையமைப்புக்கு வேறொரு செயல்முறை தேவைப்பட்டது

Go சோதனையில் சுமார் 1.5 மில்லியன் அளவுருக்களைக் கொண்ட வலையமைப்பு பயன்படுத்தப்பட்டது. ஒரே நேரத்தில் கையாளக்கூடிய தகவலின் அளவான Astra-வின் சூழல் சாளரத்தில் அதை நேரடியாக வைக்க முடியாத அளவுக்கு அது பெரியதாக இருந்தது. அதற்குப் பதிலாக, எடைகளை ஆய்வு செய்து திருத்துவதற்கான Python சோதனைச் சூழலை ஆய்வாளர்கள் வழங்கினர்.

இந்தக் கட்டமைப்பில் 243 உள்ளீடுகள், தலா 512 அலகுகள் கொண்ட ஆறு மறை அடுக்குகள், 82 வெளியீடுகள் இருந்தன. Astra இதைச் சுருக்கமான Go நிரலாக ஒழுங்கமைத்தது: தொடக்க அடுக்குகள் கற்களையும் உயிர்வாழ உதவும் குழுவைச் சுற்றிய காலிப் புள்ளிகளான விடுதலைப் புள்ளிகளையும் பிரதிநிதித்துவப்படுத்தின. ஆபத்தைக் கண்டறிய, நடு அடுக்குகள் இணைக்கப்பட்ட குழுக்களுக்கிடையே தகவலைக் கடத்தின.

இறுதி அடுக்கு, எதிரியின் கற்களைப் பிடிப்பது, அச்சுறுத்தப்பட்ட குழுக்களைக் காப்பது, கண்களைக் காப்பது, மேலும் ஒரு குழுவுக்கு ஒரே ஒரு விடுதலைப் புள்ளி மட்டுமே எஞ்சியிருக்கும் நிலையான ‘அடாரி’யைத் தவிர்ப்பது ஆகியவற்றுக்கான நகர்வுகளுக்கு மதிப்பெண் அளித்தது. மீண்டும் மீண்டும் விளையாடிக் கற்பதற்குப் பதிலாக, எண்ணியல் எடைகள் மூலம் அமைக்கப்பட்ட உத்தி இது.

செயல்திறன் மதிப்பீடுகள் எதுவும் இல்லாமல், சிறிய PPO வலையமைப்புகள் இரண்டுக்கு எதிரான ஆட்டங்களில் பாதிக்கும் மேற்பட்டவற்றை Astra-வின் வலையமைப்பு வென்றது. 50 மதிப்பீடுகளுக்கான வரம்புடன், 20 மில்லியன் ஆட்டங்களில் பயிற்றுவிக்கப்பட்ட அதே அளவிலான வலையமைப்பைவிட இது சிறப்பாகச் செயல்பட்டது. தோல்விகளை ஆராய்ந்து, ஆட்டத்தை மேம்படுத்திய மாற்றங்களைத் தக்கவைக்க பின்னூட்டம் Astra-வுக்கு உதவியது.

இரண்டு கடினமான சோதனைகள் வரம்புகளை வெளிப்படுத்தின

Qwen-உடனான ஒப்பீட்டில் Gemma 3 270M பயனுள்ள வேறுபாட்டைக் காட்டியது. அது மீளுரைப் சுழற்சிகளில் அரிதாகவே சிக்கியது. அதற்குப் பதிலாக, கணக்குப் பிழைகள் மற்றும் தவறான இயற்கணிதப் படிகள் உள்ளிட்ட வழக்கமான பகுத்தறிவுப் பிழைகளை Astra கண்டறிந்தது. எண்களுக்கு எதிர்வினையாற்றும் நியூரானின் வலிமையை இரட்டிப்பாக்குவது உள்ளிட்ட சிறிய திருத்தங்கள், MATH-500 துல்லியத்தை சுமார் ஒரு சதவீதப் புள்ளிக்கு மேல் உயர்த்தவில்லை.

இந்த ஒப்பீடு நடைமுறை வேறுபாட்டைச் சுட்டிக்காட்டுகிறது. மீண்டும் நிகழும் நடத்தையை நீக்குவது, மாதிரியிடம் ஏற்கெனவே உள்ள திறன்களைப் பயன்படுத்த வழிவகுக்கும். பல்வேறு கணிதப் பிழைகளைச் சரிசெய்வதற்கு, ஒரே பொதுவான எண்ணியல் வடிவத்தை நீக்குவதைவிட விரிவான தீர்வு தேவை.

பயனர் தவறாக இருக்கும்போதும் அவருடன் ஒத்துப்போகும் போக்கான முகஸ்துதி, நேரடியாக ஆய்வு செய்வதற்குச் சிரமமாக இருந்தது. ஒரே கேள்வி மற்றும் பதில் தரவின் அடிப்படையில், Gemma 3 270M மாதிரிகளின் ஜோடிகளை ஆய்வாளர்கள் நுண்-சீரமைத்தனர். ஒரு மாதிரி சரியாகப் பதிலளிக்கப் பயிற்றுவிக்கப்பட்டது; மற்றொன்று பயனர் பரிந்துரைகளுடன் ஒத்துப்போகப் பயிற்றுவிக்கப்பட்டது.

எடைகளை மட்டும் கொண்டு அவற்றை Astra நம்பகமாக வேறுபடுத்த முடியவில்லை. மாதிரிகளின் பதில்களைப் பார்க்காமல், தான் எழுதிய உரையில் கவனப் பாங்குகளை ஆய்வு செய்ய அனுமதிக்கப்பட்டபோது, மூன்று ஜோடிகளிலும் முகஸ்துதி மாதிரியை அது சரியாகக் கண்டறிந்தது. அந்த மாதிரிகள், பயனர் பரிந்துரைத்த உள்ளடக்கத்துக்கு நடு அடுக்குகளில் அதிக கவனத்தைச் செலுத்தின.

உரையைக் கையாளும்போது மாதிரி தனது செயலாக்கத்தின் ஒரு பகுதியை எங்கு செலுத்துகிறது என்பதை கவன அளவீடுகள் காட்டுகின்றன. இங்கு அவை பயனுள்ளதாக இருந்ததால், வெற்றிகரமான குறைபாட்டறிதலில் மாதிரியை இயக்கி ஆய்வு செய்வது முக்கியப் பங்காற்றியது. அளவுக்கு மீறிய ஒத்துப்போகும் போக்கைக் கண்டறிவதே அந்தப் பணி; அந்த நடத்தையை மாற்றுவது தனியான முன்மொழியப்பட்ட பயன்பாடாகும்.

அடுத்து ஆய்வாளர்கள் சோதிக்க விரும்புவது

மாதிரி ஆய்வு, இலக்கிட்ட திருத்தங்கள், வழக்கமான பயிற்சித் தரவு இன்றி திறன்களை மாற்றுதல், வெவ்வேறு கட்டமைப்புகளுக்கு இடையே பயனுள்ள கூறுகளைப் பரிமாறுதல் ஆகியவற்றில் சாத்தியமான பயன்பாடுகள் இருப்பதாக MIT குழு கருதுகிறது. நேரடி மாதிரித் திருத்தத்துக்கு ஏற்கெனவே ஆய்வு வரலாறு உள்ளது; 2022-இல் NeurIPS மாநாட்டில் முன்வைக்கப்பட்ட ROME, 2023-இல் ICLR மாநாட்டில் முன்வைக்கப்பட்ட MEMIT ஆகியவை அதில் அடங்கும். இந்தப் பணி, திருத்தங்களைப் பற்றி ஒரு பொதுப் பயன்பாட்டு மொழி மாதிரியே பகுத்தறியும் அணுகுமுறையை ஆராய்கிறது.

மீள்நிகழ் தற்சார் மேம்பாடும் மற்றொரு முன்மொழியப்பட்ட திசையாகும்: ஒரு மாதிரியை மேம்படுத்த AI அமைப்பு உதவலாம்; பின்னர் மேம்பட்ட அந்த மாதிரி மேலும் மேம்பாடுகளைச் செய்வதில் சிறந்து விளங்கலாம். இந்தச் சோதனைகளில், மனிதர்கள் பணிகள், கருவிகள், மதிப்பீட்டு வரம்புகள் ஆகியவற்றை நிர்ணயித்தனர்; Astra மற்ற வலையமைப்புகளில் பணியாற்றியது. நம்பகமான தொடர்ச்சிச் சுழற்சியை உருவாக்க மேலும் சோதனைகள் தேவை.

1,125 மாதிரி அழைப்புகளின் பதிவுகள் இருப்பதாக விவரிக்கப்பட்ட பொதுக் களஞ்சியத்துடன், சோதனைப் பதிவுகளையும் திருத்தக் கோப்புகளையும் குழு வெளியிட்டது. ஒரே சீரான மதிப்பீட்டுக்கான தரப்படுத்தலும் சோதனைக் கட்டமைப்பும் அடுத்த படி எனக் குழு தெரிவித்தது. வெளியீட்டுத் தேதி எதுவும் அறிவிக்கப்படவில்லை.

AI செயலிகளை உருவாக்குபவர்களுக்கு, மிகத் தெளிவான கண்டுபிடிப்பு இதைவிடக் குறுகியதும் உடனடியாகப் புரிந்துகொள்ளக்கூடியதுமாகும்: தொடர்ந்து நிகழும் ஒரு குறைபாடு மாதிரியைப் பயனுள்ள வேலையை முடிக்க விடாமல் தடுக்கும்போது, சிறிய எண்ணியல் திருத்தம் பெரிய முன்னேற்றத்தை ஏற்படுத்தலாம். ஒவ்வொரு திருத்தத்துக்கும் தனித்தனியான குறைபாட்டறிதலும் சோதனையும் ஏன் தேவை என்பதை Gemma மற்றும் முகஸ்துதி தொடர்பான மாறுபட்ட முடிவுகள் காட்டுகின்றன.

முக்கிய அம்சங்கள்

• Astra, Qwen-இன் 131,072 எடைகளை மாற்றியது; இது மாதிரியின் சுமார் 0.016% ஆகும். இதனால் MATH-500 துல்லியம் 7.9%-லிருந்து 48.1%-ஆக உயர்ந்தது.
• GSM8K துல்லியம் 13.8%-லிருந்து 67.1%-ஆகவும், IFEval துல்லியம் 21.0%-லிருந்து 62.3%-ஆகவும் உயர்ந்தன.
• முக்கியத் திருத்தம் மீளுரையை குறைத்தது; டோக்கன் வரம்பை எட்டிய MATH-500 பதில்களின் விகிதம் 93.0%-லிருந்து 33.1%-ஆகக் குறைந்தது.
• மிகச் சிறந்த Qwen முயற்சியில் 50 மதிப்பீட்டுக் கோரிக்கைகள் பயன்படுத்தப்பட்டன; சேவைத் தடை உட்பட 20.3 மணி நேரம் எடுத்தது.
• உருவகப்படுத்தப்பட்ட கார் கட்டுப்படுத்தியையும் Astra சரிசெய்தது; எளிமைப்படுத்தப்பட்ட விளையாட்டுகள் மற்றும் Go-வுக்கான வலையமைப்புகளையும் உருவாக்கியது.
• Gemma-வில் கணித முன்னேற்றம் மிகக் குறைவாக இருந்தது; முகஸ்துதியைக் கண்டறிய கவன அளவீடுகள் தேவைப்பட்டன.
• எடை-வெளி நிரலாக்கத்துக்கான தரப்படுத்தலையும் சோதனைக் கட்டமைப்பையும் ஆய்வாளர்கள் உருவாக்கி வருகின்றனர்.