AI செலவைக் குறைத்து, சூழல் சாளரத்தை விரிவாக்க உரையைப் படங்களாகச் சுருக்கும் DeepSeek OCR

நீண்ட ஆவணங்களை AI சூழல் சாளரத்துக்குள் அடக்குவதற்கான புதிய வழி

DeepSeek, DeepSeek-OCR என்ற பார்வை-மொழி அமைப்பை வெளியிட்டுள்ளது. இது நீண்ட உரைப் பகுதிகளைப் படங்களாக மாற்றிச் சுருக்கி, மாதிரிக்குத் தேவைப்படும்போது அவற்றின் உள்ளடக்கத்தை மீட்டெடுக்கிறது. அமைப்புகளையும் ஆவண வகையையும் பொறுத்து, பெரிய மொழி மாதிரி கையாள வேண்டிய டோக்கன்களின் எண்ணிக்கையை ஏழு முதல் இருபது மடங்கு வரை இந்த அணுகுமுறை குறைக்கிறது. மிதமான சுருக்க விகிதத்தில் உயர் துல்லியத்தையும் தக்கவைக்கிறது. சுமார் பத்து மடங்கு சுருக்கத்தில், குறியாக்க நீக்கத் துல்லியம் சுமார் 97 சதவீதத்தை எட்டுவதாகவும், அதிக சுருக்க விகிதங்களிலும் பயனுள்ள முடிவுகளைத் தருவதாகவும் DeepSeek கூறுகிறது. குறியீடும் மாதிரி எடைகளும் அடங்கிய இந்தத் திட்டம் உருவாக்குநர்களுக்குக் கிடைக்கிறது. நவீன AI-யில் அதிகச் செலவை ஏற்படுத்தும் முக்கியச் சவால்களில் ஒன்றான, நீண்ட சூழலை நியாயமான செலவில் கையாள்வதை இது இலக்காகக் கொண்டுள்ளது.

இந்த அமைப்பு இரண்டு கட்டங்களில் செயல்படுகிறது. DeepEncoder எனப்படும் பார்வைக் குறியாக்கி, உரைப் பக்கங்கள், அட்டவணைகள், வரைபடங்கள் மற்றும் பிற வடிவமைப்புகளைச் சுருக்கமான பார்வை டோக்கன்களாக மாற்றுகிறது. பின்னர், DeepSeek3B MoE A570M என்ற இலகுரக மொழி மாதிரி அந்த டோக்கன்களை மீண்டும் கட்டமைக்கப்பட்ட உரையாக மாற்றுகிறது. தேவைப்படும்போது இந்த அமைப்பு பக்க அமைப்பையும் வடிவமைப்பையும் பாதுகாக்கிறது; பல மொழிகளை ஆதரிக்கிறது; சாதாரண உரையாகவோ Markdown அட்டவணைகள் போன்ற கட்டமைக்கப்பட்ட முடிவுகளாகவோ வெளியிட முடியும்.

டோக்கன்களைப் புரிந்துகொண்டால் இதன் முக்கியத்துவம் தெளிவாகும். மொழி மாதிரிகள் படித்து எழுதும் அடிப்படை அலகுகளே டோக்கன்கள். டோக்கன்கள் அதிகரித்தால் நினைவகப் பயன்பாடும் தாமதமும் அதிகரித்து, செலவும் உயர்கிறது. ஒரே நேரத்தில் எவ்வளவு சூழலைப் பார்க்க முடியும் என்பதற்கும் மாதிரிகளுக்கு வரம்புகள் உள்ளன. சூழலைப் படங்களாகச் சேமித்து, பார்வை டோக்கன்கள் மூலம் மீண்டும் அணுகுவதால், நீண்ட உரையாடல்களுக்கும் பெரிய ஆவணங்களுக்கும் குறைந்த செலவிலான நினைவக அடுக்கை DeepSeek-OCR வழங்குகிறது. உரை மட்டும் அனுமதிப்பதைவிடப் பயனுள்ள சூழல் சாளரத்தைப் பெரிதும் விரிவாக்கும் வாய்ப்பும் இதில் உள்ளது.

அளவுதான் இதன் முக்கியக் கூற்றுகளில் ஒன்று. கிட்டத்தட்ட 100 மொழிகளில் உள்ள சுமார் 3 கோடி PDF பக்கங்களைப் பயன்படுத்திப் பயிற்சி அளிக்கப்பட்டது. வரைபடங்கள், சூத்திரங்கள், உருவங்கள் ஆகியவற்றுக்குக் கூடுதல் செயற்கைத் தரவும் பயன்படுத்தப்பட்டது. செயல்பாட்டைப் பொறுத்தவரை, ஒரு Nvidia A100 GPU மூலம் நாளொன்றுக்கு 2 லட்சத்துக்கும் அதிகமான பக்கங்களைச் செயலாக்க முடியும் எனக் குழு தெரிவிக்கிறது. இதுபோன்ற 20 சேவையகங்களைக் கொண்ட தொகுப்பு, நாளொன்றுக்கு சுமார் 3.3 கோடி பக்கங்களைச் செயலாக்கும். ஆவணங்களை விரைவாக இலக்கமயமாக்கவும், பெரிய அளவில் பயிற்சித் தரவை உருவாக்கவும் இவை உதவக்கூடும்.

உரையைப் படங்களாக மாற்றுவது டோக்கன்களைக் குறைப்பது எப்படி

மொழி மாதிரிகள் உள்ளீட்டைச் சொற்களாகவோ எழுத்துகளாகவோ அல்ல, டோக்கன்களாகவே படிக்கின்றன. ஒரு வழக்கமான கட்டுரை அல்லது அறிக்கை ஆயிரக்கணக்கான டோக்கன்களாக மாறலாம். பெரும்பாலான டிரான்ஸ்ஃபார்மர் மாதிரிகளின் கவனக் கட்டமைப்புகள் பல டோக்கன் ஜோடிகளை ஒப்பிடுகின்றன; தொடர் நீளமாகும்போது இந்தச் செயல்பாட்டுக்கான கணக்கீடு வேகமாக அதிகரிக்கிறது. நீண்ட சூழல் நினைவகத்தையும் செயலாக்க நேரத்தையும் உயர்த்துகிறது. பெரிய அளவில் இது செலவுத் திட்டச் சிக்கலாகிறது.

டோக்கன்கள், சூழல் சாளரங்கள் என்றால் என்ன?

மாதிரிகள் புரிந்துகொள்ளும் மொழித் துண்டுகளே டோக்கன்கள். ஒரு குறுகிய சொல் ஒற்றை டோக்கனாக இருக்கலாம்; நீண்ட சொல் பல டோக்கன்களாகப் பிரியலாம்; நிறுத்தக்குறிகளும் கணக்கில் வரும். ஒரே நேரத்தில் மாதிரி பரிசீலிக்கக்கூடிய அதிகபட்ச டோக்கன் எண்ணிக்கையே சூழல் சாளரம். பல நிஜ உலகக் கோப்புகள் இந்த வரம்பை மீறுகின்றன. எனவே, பயனர்கள் ஆவணத்தின் சில பகுதிகளை நீக்க வேண்டியிருக்கிறது அல்லது நீண்ட சூழலுக்கான சிறப்பு மாதிரிகளைப் பயன்படுத்த அதிகச் செலவு செய்ய வேண்டியிருக்கிறது.

சேமிப்புக்கு உரையைவிடப் பிக்சல்கள் ஏன் மலிவாக இருக்கலாம்?

பார்வைக் குறியாக்கிகள் ஒரு படத்தைச் சிறிய பகுதிகளின் கட்டமாக மாற்றி, பின்னர் அந்தக் கட்டத்தைப் பார்வை டோக்கன்களின் தொகுப்பாகச் சுருக்குகின்றன. DeepSeek-இன் குறியாக்கி, அம்சங்களை மறைவிக்கு அனுப்புவதற்கு முன் டோக்கன் எண்ணிக்கையைக் குறைக்க ஒரு சுருக்கத் தொகுதியைப் பயன்படுத்துகிறது. 1,024 x 1,024 பிக்சல் படத்தில் தொடக்கத்தில் 4,096 பகுதி டோக்கன்கள் இருக்கும்; அவை பார்வை-மொழி அமைப்புக்குச் செல்வதற்கு முன் 256 சுருக்கப்பட்ட டோக்கன்களாகக் குறையும் எனத் தொழில்நுட்பக் குறிப்பில் எடுத்துக்காட்டு தரப்பட்டுள்ளது. அடர்த்தியான ஒரு பக்கத்தைச் சாராம்சமாகக் காட்டும் இந்த 256 டோக்கன்கள், இல்லையெனில் தேவைப்படும் 1,500 அல்லது அதற்கு மேற்பட்ட உரை டோக்கன்களுக்குப் பதிலாக அமையுமானால், கிடைக்கும் சேமிப்பு உடனடியாகத் தெரியும்.

இதில் உள்ள பரிமாற்றம் எளிமையானது. நீண்ட சூழலை உரை டோக்கன்களாகச் சேமிப்பதற்குப் பதிலாக, அமைப்பு சுருக்கமான பார்வை டோக்கன்களாகப் படவடிவங்களைச் சேமித்து, தேவைப்படும்போது பொருளை மீண்டும் உருவாக்குகிறது. இதனால் நினைவக வரம்புக்குள் இருக்கவும், பக்க அமைப்பையும் வரைபடங்களையும் பாதுகாக்கவும், உரை டோக்கனைசர்களின் சில குறைபாடுகளைத் தவிர்க்கவும் முடிகிறது. கூடுதலாகக் குறியாக்கம் மற்றும் குறியாக்க நீக்கம் செய்ய வேண்டியிருப்பதும், மிக அதிக சுருக்க விகிதங்களில் துல்லியம் படிப்படியாகக் குறைவதும் இதற்கான செலவுகள்.

DeepEncoder மற்றும் குறியாக்க நீக்கி: மாதிரியின் உள் அமைப்பு

DeepEncoder, உள்ளூர் பகுப்பாய்வு மற்றும் ஒட்டுமொத்தப் புரிதல் ஆகிய நன்கு அறியப்பட்ட இரண்டு அணுகுமுறைகளை இணைக்கிறது. நுணுக்கமான பகுதிகளையும் விளிம்புகளையும் கண்டறிய Segment Anything Model அடிப்படைக் கட்டமைப்பையும், பரந்த பொருள் சார்ந்த அமைப்பைப் புரிந்துகொள்ள CLIP பாணித் தொகுதியையும் இது பயன்படுத்துகிறது. இவற்றுக்கு இடையில் உள்ள சுருக்கி, மொழி அமைப்புக்கு அனுப்புவதற்கு முன் பார்வை டோக்கன்களின் எண்ணிக்கையை வெகுவாகக் குறைக்கிறது. பல தெளிவுத்திறன் முறைகளை இந்தக் குறியாக்கி ஆதரிப்பதால், ஒவ்வொரு பக்கத்தின் சிக்கலுக்கும் ஏற்ற டோக்கன் வரம்பை பயனர்கள் அமைக்கலாம். எளிய விளக்கப் படங்களுக்கு சில டோக்கன்கள் போதும். பல பத்திகளும் படங்களும் கொண்ட செய்திப் பக்கங்கள் அல்லது அடர்த்தியான அறிவியல் உருவங்களுக்கு அதிக டோக்கன்கள் தேவைப்படலாம்.

குறியாக்க நீக்கி, மூன்று பில்லியன் அளவுருக்களைக் கொண்ட வடிவமைப்பை அடிப்படையாகக் கொண்ட Mixture of Experts மொழி மாதிரி. ஒவ்வொரு டோக்கனுக்கும் சுமார் 57 கோடி அளவுருக்கள் செயல்படுகின்றன. ஒவ்வொரு டோக்கனுக்கும் மூன்று பில்லியன் அளவுருக்களையும் முழுமையாகப் பயன்படுத்தாமல், வெவ்வேறு உள்ளடக்க வகைகளில் கவனம் செலுத்த நிபுணர் வழிமாற்று உதவுகிறது. தரத்தை உயர்வாக வைத்துக்கொண்டே கணக்கீட்டைக் குறைக்க இது வழிவகுக்கிறது. இந்த அமைப்பு சாதாரண உரையை வெளியிடலாம், Markdown ஆகக் கட்டமைப்பைப் பாதுகாக்கலாம்; அட்டவணைகள் மற்றும் வரைபடங்களிலிருந்து தரவை இயந்திரங்கள் எளிதில் கையாளக்கூடிய வடிவங்களிலும் எடுக்கலாம். பலமொழி OCR-ஐ ஆதரிப்பதுடன், விளக்கப்படங்கள், வேதியியல் கட்டமைப்புகள், வடிவியல் உருவங்கள் ஆகியவற்றையும் புரிந்துகொள்ள முடியும்.

முன்னமைக்கப்பட்ட அமைப்புகளில் Tiny, Small, Base, Large ஆகியவற்றுடன் மிகச் சிக்கலான பக்கங்களுக்கான டைனமிக் முறையும் அடங்கும். இந்த முன்னமைப்புகள் பட அளவுக்கும் டோக்கன் எண்ணிக்கைக்கும் இடையில் சமநிலையை ஏற்படுத்துகின்றன. வழக்கமான பக்கங்களுக்கு Small-இல் தொடங்கி, உள்ளடக்கம் அடர்த்தியாகவோ பக்க அமைப்பு சவாலாகவோ இருக்கும்போது மட்டுமே அடுத்த பெரிய அமைப்புக்கு மாறுமாறு DeepSeek பரிந்துரைக்கிறது.

தரநிலைச் சோதனைகளும் துல்லிய எண்களும் காட்டுவது என்ன?

குறியாக்க நீக்கி உரையை அதிகத் துல்லியத்துடன் மீட்டெடுக்க முடிந்தால்தான் சுருக்கம் பயனுள்ளதாக இருக்கும். பத்து மடங்குக்குக் குறைவான சுருக்க விகிதங்களில், குறியாக்க நீக்கச் சோதனைகளில் சுமார் 97 சதவீதத் துல்லியம் கிடைப்பதாக DeepSeek தெரிவிக்கிறது. சுமார் இருபது மடங்கு சுருக்கத்தில் இது 60 சதவீதமாகக் குறைகிறது. 100 பார்வை டோக்கன்கள், இல்லையெனில் 700 முதல் 800 உரை டோக்கன்கள் தேவைப்படும் ஆவணங்களைக் குறிக்கும் எடுத்துக்காட்டுகளையும் குழு வழங்குகிறது; குறிப்பிட்ட தரநிலைச் சோதனையில் துல்லியம் சுமார் 97 சதவீதமாகவே உள்ளது. மிதமான சுருக்கம் சேமிப்புக்கும் துல்லியத்துக்கும் இடையில் சிறந்த சமநிலையைத் தருகிறது என்ற கூற்றுடன் இந்த எண்கள் பொருந்துகின்றன.

ஆவணப் புரிதலுக்கான பொதுவான சோதனையான OmniDocBench-இல், குறைவான டோக்கன்களைப் பயன்படுத்தியும் நன்கு அறியப்பட்ட OCR அமைப்புகளைவிட இந்த மாதிரி சிறப்பாகச் செயல்படுகிறது. ஆவண வகையைப் பொறுத்து டோக்கன் தேவை மாறுபடும். விளக்கப் படங்களுக்கும் எளிய சிறு விளம்பரத் தாள்களுக்கும் ஒரு பக்கத்துக்கு சுமார் 64 பார்வை டோக்கன்கள் தேவைப்படலாம். பல பத்திகளும் படங்களும் கொண்ட இதழ்கள் அல்லது செய்தித்தாள்களுக்கு பல நூறு டோக்கன்கள் தேவைப்படலாம். பயனர் அமைப்பைப் பொறுத்து வடிவமைப்பைப் பாதுகாக்கவோ நீக்கவோ இந்த அமைப்பு முடியும்.

செயல்பாட்டுத் திறன் தொடர்பான அளவீடுகள் மிக உயர்ந்த இலக்குகளைக் கொண்டுள்ளன. ஒரு Nvidia A100 அட்டையில் நாளொன்றுக்கு 2 லட்சத்துக்கும் அதிகமான பக்கங்களும், 20 சேவையகத் தொகுப்பில் நாளொன்றுக்கு சுமார் 3.3 கோடி பக்கங்களும் செயலாக்கப்படுவதாகக் குழு தெரிவிக்கிறது. பயிற்சி மற்றும் ஊகக் குறியீடுகளும் மாதிரி எடைகளும் அனுமதிகள் தாராளமான உரிமத்தின் கீழ் கிடைக்கின்றன. இந்தக் கூட்டணி ஆராய்ச்சி மற்றும் உற்பத்திச் சூழல்களில் விரைவான பரிசோதனைகளை ஊக்குவிக்கும்.

AI செலவு, நினைவகம், தயாரிப்பு வடிவமைப்பு ஆகியவற்றில் ஏற்படக்கூடிய மாற்றங்கள்

உரையாடல்கள் அல்லது ஆவணத் தொடர்கள் நீளமானால் பல AI தயாரிப்புகள் ஒரு வரம்பை எட்டுகின்றன. முந்தைய சூழலைப் பார்வை டோக்கன்களாகச் சேமிப்பது மாதிரிகளுக்கு மலிவான நினைவக அடுக்கை வழங்குகிறது. பழைய உரையாடல்களைப் படங்களாகச் சுருக்கி, தேவைப்படும் நேரத்தில் மட்டுமே விவரங்களை மீட்டெடுக்க முடியும். இதனால் செயலில் உள்ள உரைச் சூழல் சுருக்கமாக இருக்கும்; அதேவேளை, முந்தைய கட்டங்களில் இடம்பெற்ற தகவல்கள், மேற்கோள்கள், பக்க அமைப்புகள் ஆகியவற்றை மீண்டும் நினைவுகூர முடியும். வழக்கமான டோக்கனைசர்கள் சரியாகக் கையாளாத சிக்கலான அட்டவணைகள் அல்லது கணிதம் உள்ள பக்கங்களையும் மாதிரிகள் கையாள இது உதவும்.

பயனர்களுக்கு இது நடைமுறைப் பணிகளைச் சாத்தியமாக்குகிறது. முழு நீள PDF-கள், ஒப்பந்தங்கள், விரிதாள்கள் ஆகியவற்றை ஓர் உதவியாளர் உள்ளீடாகப் பெற்று, சுருக்கமான நினைவகத்தில் வைத்திருக்கலாம்; பின்னர் கேட்டால், குறிப்பிட்ட பகுதிகளை அவற்றின் கட்டமைப்புடன் மீட்டெடுக்கலாம். அட்டவணையிலிருந்து வரிசைகளை நகலெடுப்பது அல்லது ஒரு உருவத்தின் தலைப்பை எடுப்பது எளிதாகிறது; ஏனெனில் குறியாக்க நீக்கி, மூல எழுத்துகளை மட்டும் அல்ல, கட்டமைப்பையும் மீண்டும் உருவாக்குகிறது. சுருக்கப்பட்ட பக்கப் படவடிவங்களைப் பட்டியலிட்டு, தேவைப்படும்போது குறிப்பிட்ட பகுதிகளை மீட்டெடுக்கும் திறமையான நிறுவனத் தேடல் அமைப்புகளுக்கும் இது வழிகாட்டுகிறது.

உருவாக்குநர்களுக்கும் ஆராய்ச்சியாளர்களுக்கும் செயலாக்க அளவு முக்கியம். GPU ஒன்றுக்கு நாளொன்றுக்கு பல லட்சம் பக்கங்களை உருவாக்கி, மொழி மற்றும் பார்வை மாதிரிகளுக்கான பெரிய பயிற்சித் தரவுத் தொகுப்புகளை இந்த அமைப்பு உருவாக்க முடியும். குறைந்த செலவில் மேற்பார்வையுடன் கூடிய தரவை உருவாக்க இந்த வேகம் உதவும். நிதி, சுகாதாரம், அறிவியல் போன்ற வரைபடங்கள் மற்றும் படிவங்களைச் சார்ந்த துறைகளில், கட்டமைப்பைச் சிறப்பாகப் பாதுகாக்கும் விரைவான இலக்கமயமாக்கச் செயல்முறைகள் உருவாகலாம். சுருக்கப்பட்ட வெளியீடுகள் எதிர்காலப் பயிற்சிக்குப் பயன்படுத்தப்படும்போது கவனம் தேவை; சிறிய குறியாக்க நீக்கப் பிழைகள்கூட பெரிய அளவில் தவறான குறிச்சொற்களாக மாறக்கூடும்.

வரம்புகள், அபாயங்கள், திறந்திருக்கும் கேள்விகள்

அதிகச் சுருக்கம் டோக்கன் தேவையைக் குறைத்தாலும் துல்லியத்தைக் குறைக்கிறது. சுமார் இருபது மடங்கு சுருக்கத்தில் தெரிவிக்கப்பட்ட துல்லியம் 60 சதவீதமாகச் சரிகிறது. பல பணிகளில் சிறிய பிழைகளைப் பொறுத்துக்கொள்ளலாம். ஆனால் பெயர்கள், எண்கள், சட்டப் பிரிவுகள் போன்றவற்றை மீட்டெடுக்கும்போது கிட்டத்தட்ட முழுத் துல்லியம் தேவை. முக்கியமான பக்கங்களுக்கு குறைந்த சுருக்க முறைகளைப் பயன்படுத்தவும், துல்லியமான மறுஉருவாக்கம் தேவையில்லாத சூழலுக்கு மட்டும் அதிகச் சுருக்கத்தை ஒதுக்கவும் பயனர்கள் கொள்கைகளை வகுக்க வேண்டும்.

பகுத்தறிவு தொடர்பான கேள்வியும் உள்ளது. மொழி டோக்கன்களில் பயிற்சி பெற்றதால், அவற்றின் மீது மாதிரிகள் சிறப்பாகப் பகுத்தறிகின்றன. பார்வை டோக்கன்கள் வேறுபட்ட உள்ளார்ந்த சார்புகளைக் கொண்டுள்ளன. முதலில் குறியாக்க நீக்கி உரையை மீட்டமைக்க வேண்டும்; அதன் பிறகே பகுத்தறிய முடியும். இந்தக் கூடுதல் கட்டம், நீண்ட சிந்தனைத் தொடர்களைச் சார்ந்த பணிகளைப் பாதிக்கலாம். முக்கியமான சூழல் பட அடுக்குக்குப் பின்னால் இருக்கும்போது, பலகட்டப் பகுத்தறிவை அணிகள் சோதித்துப் பார்க்க வேண்டும்; துல்லியம் மிக அவசியமான பணிகளுக்குப் மாற்று வழிகளையும் பரிசீலிக்க வேண்டும்.

தாமதமும் உள்கட்டமைப்புத் திட்டமிடலும் தொடர்ந்து முக்கியமானவையாக இருக்கும். கூடுதல் குறியாக்கம் மற்றும் குறியாக்க நீக்கக் கட்டங்கள் வேலைப்பளுவை அதிகரிக்கின்றன. ஆவணங்கள் பெரிதாகும்போது அல்லது உரையாடல்கள் நீளும்போதுதான் சேமிப்பு கிடைக்கிறது. எப்போது சுருக்குவது, எப்போது அசல் உரையை அனுப்புவது என்பதற்கான வரம்புகளை அமைக்க, பல்வேறு ஆவண வகைகளில் நிஜ செயலாக்க நேரம், நினைவகம், செலவு ஆகியவற்றை வெளியீட்டுச் செயலாக்கங்கள் அளவிட வேண்டும். சேமிப்பு வடிவங்களும் மாறுகின்றன. அசல் உரைக் கோப்புகளுக்குப் பதிலாகப் படங்கள் அல்லது படங்களை ஒத்த டென்சர்கள் வருவதால், தகவல் மீட்பு அமைப்புகளும் இணக்க நடைமுறைகளும் பாதிக்கப்படலாம்.

தனியுரிமையும் பாதுகாப்பும் கவனிக்கப்பட வேண்டியவை. ரகசியக் கோப்புகளைப் படங்களாகவோ பார்வை டோக்கன்களாகவோ சுருக்குவது அபாயத்தை நீக்காது. சுருக்கப்பட்ட சேமிப்புக்கும் அணுகல் கட்டுப்பாடுகள், குறியாக்கம், தணிக்கைப் பதிவுகள் ஆகியவை பொருந்த வேண்டும். குறைந்த தெளிவுத்திறன் கொண்ட ஸ்கேன்கள் அல்லது தெளிவற்ற கையெழுத்துகள் போன்ற ஆவணங்கள் இன்னும் மாதிரிக்குச் சவாலாக இருக்கும். முக்கியப் பணிகளுக்கு டைனமிக் முறைத் தேர்வும் மனிதச் சரிபார்ப்பும் தொடர்ந்தும் அவசியம்.

DeepSeek OCR-ஐ இன்றே முயற்சிப்பது எப்படி

Hugging Face-இல் உள்ள திட்டப் பக்கத்தில் மாதிரி விவர அட்டைகள், விரைவுத் தொடக்கக் குறிப்புகள், பதிவிறக்கங்கள் ஆகியவை உள்ளன. கல்வி மற்றும் வணிகப் பயன்பாடு இரண்டையும் அனுமதிக்கும் தாராளமான உரிமத்தின் கீழ், குறியீடும் மாதிரி எடைகளும் GitHub-இலும் கிடைக்கின்றன. உருவாக்குநர்கள் இங்கு தொடங்கலாம்: Hugging Face மாதிரிப் பக்கம்; இங்கும்: GitHub களஞ்சியம்.

குறிப்புக்கான அமைப்பில் Python 3.12.9 மற்றும் CUDA 11.8 இடம்பெறுகின்றன. PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict, Flash Attention உள்ளிட்ட சார்பு மென்பொருட்களும் அதில் உள்ளன. வேகத்துக்கு Nvidia GPU பரிந்துரைக்கப்படுகிறது. முன்னமைக்கப்பட்ட முறைகள், விவரத்துக்கும் செலவுக்கும் இடையில் சமநிலையைத் தேர்வுசெய்ய உதவுகின்றன. வழக்கமான வணிக ஆவணங்களுக்கு Small முறை பொருத்தமான தொடக்கமாகும். அடர்த்தியான அறிவியல் அல்லது சட்டப் பக்கங்களுக்கு அதிகத் தெளிவுத்திறன் அல்லது டைனமிக் முறை பயனளிக்கலாம்.

வழக்கமான பணிச்செயல்முறையில், முதலில் PDF-ஐப் பக்கப் படங்களாக மாற்றி, தேர்ந்தெடுத்த தெளிவுத்திறனில் ஒவ்வொரு பக்கத்தையும் DeepEncoder-க்கு உள்ளீடாக அளித்து, பின்னர் உருவான பார்வை டோக்கன்களை மொழி மாதிரி மூலம் குறியாக்க நீக்கம் செய்வர். தேடலுக்கான சாதாரண உரையாகவோ, அட்டவணைகளையும் பிரிவுத் தலைப்புகளையும் பாதுகாக்கும் Markdown ஆகவோ முடிவுகளைப் பெறலாம். தொகுதியாகச் செயலாக்குவதற்கான நிரல்களும் செயலாக்கத் திறனை மேம்படுத்தும் குறிப்புகளும் GitHub களஞ்சியத்தில் உள்ளன. சுருக்க விகிதத்தை அதிகரிக்கும்போது துல்லியத்தைக் கண்காணிக்கவும், முக்கியமான பக்கங்களுக்கு எச்சரிக்கையான அமைப்புகளைப் பயன்படுத்தவும் அணிகள் வேண்டும்.

முக்கிய அம்சங்கள்

• DeepSeek-OCR நீண்ட உரையைப் படங்களாகச் சேமித்துச் சுருக்கி, பின்னர் குறியாக்க நீக்கி மூலம் தேவைப்படும்போது உள்ளடக்கத்தை மீட்டெடுக்கிறது.
• அமைப்புகளையும் ஆவணச் சிக்கலையும் பொறுத்து டோக்கன் பயன்பாடு சுமார் ஏழு முதல் இருபது மடங்கு வரை குறைகிறது.
• சுமார் பத்து மடங்கு சுருக்கத்தில் குறியாக்க நீக்கத் துல்லியம் சுமார் 97 சதவீதம் என்றும், சுமார் இருபது மடங்கு சுருக்கத்தில் 60 சதவீதம் என்றும் தெரிவிக்கப்பட்டுள்ளது.
• இந்தக் கட்டமைப்பில் DeepEncoder மற்றும் ஒவ்வொரு டோக்கனுக்கும் சுமார் 57 கோடி அளவுருக்களைச் செயல்படுத்தும் Mixture of Experts குறியாக்க நீக்கி இணைக்கப்பட்டுள்ளன.
• மிகச் சிக்கலான பக்கங்களுக்கான டைனமிக் தேர்வுடன், Tiny முதல் Large வரையிலான முறைகள் உள்ளன; இதன் மூலம் பயனர்கள் டோக்கன் வரம்புகளைத் துல்லியமாக அமைக்கலாம்.
• பிரபலமான OCR அடிப்படை அமைப்புகளைவிடக் குறைவான டோக்கன்களைப் பயன்படுத்தியும் OmniDocBench-இல் வலுவான முடிவுகள் கிடைத்துள்ளன.
• ஒரு Nvidia A100 GPU-வில் நாளொன்றுக்கு 2 லட்சத்துக்கும் அதிகமான பக்கங்களும், 20 சேவையகத் தொகுப்பில் நாளொன்றுக்கு சுமார் 3.3 கோடி பக்கங்களும் செயலாக்கப்படுவதாகக் கூறப்படுகிறது.
• Markdown அட்டவணைகள், வரைபடத் தரவு உள்ளிட்ட கட்டமைக்கப்பட்ட வெளியீடுகளுடன், விளக்கப்படங்கள், சூத்திரங்கள், பல மொழிகளுக்கான ஆதரவும் உள்ளது.
• தாராளமான உரிமத்தின் கீழ் திறந்த மூலக் குறியீடும் மாதிரி எடைகளும் Hugging Face மற்றும் GitHub-இல் கிடைக்கின்றன.
• நீண்ட சூழலுக்கான மலிவான நினைவகம், பெரிய அளவிலான ஆவண இலக்கமயமாக்கல், பயிற்சித் தரவு உருவாக்கம் ஆகியவை இதன் சிறந்த பயன்பாடுகளில் அடங்கும்; துல்லியம் முக்கியமான பணிகளுக்கு அமைப்புகளை கவனமாகத் தேர்ந்தெடுக்க வேண்டும்.