உள்ளடக்கம்
- ஸ்கெப்டிக்ஸ் கிளப்
- மாற்றத்தக்க நரம்பியல் நெட்வொர்க்குகள் (சி.என்.என்)
- பிழைகள் இல்லை, மன அழுத்தமும் இல்லை - உங்கள் வாழ்க்கையை அழிக்காமல் வாழ்க்கையை மாற்றும் மென்பொருளை உருவாக்குவதற்கான படி வழிகாட்டியின் படி
- நீண்ட குறுகிய கால நினைவகம் (எல்.எஸ்.டி.எம்) அலகுகள்
- தலைமுறை எதிர்மறையான நெட்வொர்க்குகள் (GAN)
- முடிவுரை
ஆதாரம்: Vs1489 / Dreamstime.com
எடுத்து செல்:
"ஆழ்ந்த கற்றல்" என்பது மேம்பட்ட நரம்பியல் நெட்வொர்க்குகளின் மற்றொரு பெயரா, அல்லது அதை விட அதிகமாக உள்ளதா? ஆழ்ந்த கற்றல் மற்றும் நரம்பியல் நெட்வொர்க்குகளின் சமீபத்திய முன்னேற்றங்களைப் பார்ப்போம்.
ஸ்கெப்டிக்ஸ் கிளப்
நீங்களும் என்னைப் போலவே, சந்தேகம் கொண்ட கிளப்பைச் சேர்ந்தவர்களாக இருந்தால், ஆழ்ந்த கற்றலைப் பற்றிய அனைத்து வம்புகளும் என்னவென்று நீங்கள் யோசித்திருக்கலாம். நரம்பியல் நெட்வொர்க்குகள் (என்.என்) ஒரு புதிய கருத்து அல்ல. மல்டிலேயர் பெர்செப்டிரான் 1961 இல் அறிமுகப்படுத்தப்பட்டது, இது நேற்று மட்டுமல்ல.
ஆனால் தற்போதைய நரம்பியல் நெட்வொர்க்குகள் ஒரு மல்டிலேயர் பெர்செப்டிரானை விட மிகவும் சிக்கலானவை; அவை இன்னும் பல மறைக்கப்பட்ட அடுக்குகளையும், தொடர்ச்சியான இணைப்புகளையும் கொண்டிருக்கலாம். ஆனால் இருங்கள், அவர்கள் இன்னும் பயிற்சிக்கு பேக்ரோபாகேஷன் வழிமுறையைப் பயன்படுத்தவில்லையா?
ஆம்! இப்போது, இயந்திர கணக்கீட்டு சக்தி ’60 களில் அல்லது 80 களில் கிடைத்ததை ஒப்பிடமுடியாது. இதன் பொருள் மிகவும் சிக்கலான நரம்பியல் கட்டமைப்புகள் ஒரு நியாயமான நேரத்தில் பயிற்சி பெறப்படலாம்.
எனவே, கருத்து புதியதல்ல என்றால், ஆழ்ந்த கற்றல் என்பது ஸ்டெராய்டுகளில் உள்ள நரம்பியல் நெட்வொர்க்குகளின் ஒரு கொத்து என்று அர்த்தமா? இணையான கணக்கீடு மற்றும் அதிக சக்திவாய்ந்த இயந்திரங்கள் காரணமாக எல்லா வம்புகளும் வெறுமனே உள்ளதா? பெரும்பாலும், ஆழ்ந்த கற்றல் தீர்வுகள் என்று அழைக்கப்படுவதை நான் ஆராயும்போது, இது போலவே தோன்றுகிறது. (நரம்பியல் நெட்வொர்க்குகளுக்கான சில நடைமுறை, நிஜ உலக பயன்பாடுகள் யாவை? தொழில்நுட்பத்தை சிறப்பாக புரிந்துகொள்ள உதவும் 5 நரம்பியல் நெட்வொர்க் பயன்பாட்டு வழக்குகளில் கண்டுபிடிக்கவும்.)
நான் சொன்னது போல், நான் சந்தேகம் கொண்ட கிளப்பைச் சேர்ந்தவன், பொதுவாக ஆதரிக்கப்படாத ஆதாரங்களில் நான் எச்சரிக்கையாக இருக்கிறேன். ஒருமுறை, தப்பெண்ணத்தை ஒதுக்கி வைப்போம், மேலும் நரம்பியல் நெட்வொர்க்குகள் ஏதேனும் இருந்தால், ஆழமான கற்றலில் புதிதாக வளர்ந்து வரும் நுட்பங்களைப் பற்றி முழுமையான விசாரணையை முயற்சிப்போம்.
சற்று ஆழமாக தோண்டும்போது, ஆழ்ந்த கற்றல் துறையில் சில புதிய அலகுகள், கட்டமைப்புகள் மற்றும் நுட்பங்களைக் காணலாம். இந்த கண்டுபிடிப்புகளில் சில ஒரு சிறிய எடையைக் கொண்டுள்ளன, இது ஒரு கீழ்தோன்றும் அடுக்கு அறிமுகப்படுத்திய சீரற்றமயமாக்கல் போன்றது. இருப்பினும், இன்னும் சில முக்கியமான மாற்றங்களுக்கு காரணமாகின்றன. மற்றும், நிச்சயமாக, அவர்களில் பெரும்பாலோர் கணக்கீட்டு வளங்களின் பெரிய கிடைப்பை நம்பியிருக்கிறார்கள், ஏனெனில் அவை கணக்கீட்டு ரீதியாக விலை அதிகம்.
என் கருத்துப்படி, நரம்பியல் நெட்வொர்க்குகள் துறையில் மூன்று முக்கிய கண்டுபிடிப்புகள் உள்ளன, அவை ஆழ்ந்த கற்றலுக்கு அதன் தற்போதைய பிரபலத்தைப் பெறுவதற்கு வலுவாக பங்களித்தன: கன்வெல்ஷனல் நியூரல் நெட்வொர்க்குகள் (சிஎன்என்), நீண்ட கால நினைவாற்றல் (எல்எஸ்டிஎம்) அலகுகள் மற்றும் உருவாக்கும் எதிர்மறை நெட்வொர்க்குகள் (ஜிஏஎன்) ).
மாற்றத்தக்க நரம்பியல் நெட்வொர்க்குகள் (சி.என்.என்)
ஆழ்ந்த கற்றலின் பெருவெடிப்பு - அல்லது குறைந்தபட்சம் நான் முதன்முதலில் ஏற்றம் கேட்டபோது - ஒரு பட அங்கீகாரத் திட்டமான இமேஜ்நெட் பெரிய அளவிலான விஷுவல் ரெக்னிகிஷன் சவால், 2012 இல் நடந்தது. படங்களை தானாக அடையாளம் காணும் பொருட்டு, ஒரு மாற்றக்கூடிய நரம்பியல் நெட்வொர்க் எட்டு அடுக்குகள் - அலெக்ஸ்நெட் - பயன்படுத்தப்பட்டது. முதல் ஐந்து அடுக்குகள் மாற்றத்தக்க அடுக்குகள், அவற்றில் சில மேக்ஸ்-பூலிங் லேயர்கள், மற்றும் கடைசி மூன்று அடுக்குகள் முழுமையாக இணைக்கப்பட்ட அடுக்குகளாக இருந்தன, இவை அனைத்தும் நிறைவுற்ற ரெலூ செயல்படுத்தும் செயல்பாட்டைக் கொண்டிருந்தன. அலெக்ஸ்நெட் நெட்வொர்க் 15.3% முதல் ஐந்து பிழையை அடைந்தது, இது ரன்னர் அப் செய்ததை விட 10.8 சதவீத புள்ளிகள் குறைவாகும். இது ஒரு பெரிய சாதனை!
பிழைகள் இல்லை, மன அழுத்தமும் இல்லை - உங்கள் வாழ்க்கையை அழிக்காமல் வாழ்க்கையை மாற்றும் மென்பொருளை உருவாக்குவதற்கான படி வழிகாட்டியின் படி
மென்பொருள் தரத்தைப் பற்றி யாரும் அக்கறை கொள்ளாதபோது உங்கள் நிரலாக்க திறன்களை மேம்படுத்த முடியாது.
மல்டிலேயர் கட்டமைப்பைத் தவிர, அலெக்ஸ்நெட்டின் மிகப்பெரிய கண்டுபிடிப்பு கன்வல்யூஷனல் லேயராக இருந்தது.
ஒரு மாற்றத்தக்க நெட்வொர்க்கில் முதல் அடுக்கு எப்போதும் ஒரு மாற்றக்கூடிய அடுக்கு. ஒரு மாற்றக்கூடிய அடுக்கில் உள்ள ஒவ்வொரு நியூரானும் உள்ளீட்டுப் படத்தின் ஒரு குறிப்பிட்ட பகுதியில் (வரவேற்பு புலம்) கவனம் செலுத்துகிறது மற்றும் அதன் எடையுள்ள இணைப்புகள் மூலம் வரவேற்பு புலத்திற்கான வடிகட்டியாக செயல்படுகிறது. வடிப்பானை நெகிழ் செய்த பிறகு, நியூரானுக்குப் பிறகு நியூரான், அனைத்து பட வரவேற்பு புலங்களுக்கும் மேலாக, மாற்றும் அடுக்கின் வெளியீடு ஒரு செயல்படுத்தும் வரைபடம் அல்லது அம்ச வரைபடத்தை உருவாக்குகிறது, இது அம்ச அடையாளங்காட்டியாகப் பயன்படுத்தப்படலாம்.
ஒருவருக்கொருவர் மேல் மாற்றக்கூடிய அடுக்குகளைச் சேர்ப்பதன் மூலம், செயல்படுத்தும் வரைபடம் உள்ளீட்டுப் படத்திலிருந்து மேலும் மேலும் சிக்கலான அம்சங்களைக் குறிக்கும். கூடுதலாக, பெரும்பாலும் ஒரு மாற்றக்கூடிய நரம்பியல் நெட்வொர்க் கட்டமைப்பில், மேப்பிங் செயல்பாட்டின் நேர்கோட்டுத்தன்மையை அதிகரிக்கவும், பிணையத்தின் வலுவான தன்மையை மேம்படுத்தவும், அதிகப்படியான பொருத்துதலைக் கட்டுப்படுத்தவும் இந்த மாற்றத்தக்க அடுக்குகளுக்கு இடையில் இன்னும் சில அடுக்குகள் ஒன்றிணைக்கப்படுகின்றன.
இப்போது உள்ளீட்டுப் படத்திலிருந்து உயர்-நிலை அம்சங்களைக் கண்டறிய முடியும், பாரம்பரிய வகைப்பாட்டிற்காக பிணையத்தின் முடிவில் ஒன்று அல்லது அதற்கு மேற்பட்ட முழுமையாக இணைக்கப்பட்ட அடுக்குகளைச் சேர்க்கலாம். நெட்வொர்க்கின் இந்த கடைசி பகுதி மாற்றீட்டு அடுக்குகளின் வெளியீட்டை உள்ளீடாக எடுத்து ஒரு N- பரிமாண திசையனை வெளியிடுகிறது, இங்கு N என்பது வகுப்புகளின் எண்ணிக்கை. இந்த N- பரிமாண திசையனில் உள்ள ஒவ்வொரு எண்ணும் ஒரு வகுப்பின் நிகழ்தகவைக் குறிக்கிறது.
நரம்பியல் நெட்வொர்க்குகள் அவற்றின் கட்டமைப்பின் வெளிப்படைத்தன்மை இல்லாமை மற்றும் முடிவுகளை விளக்குவதற்கும் விளக்கமளிப்பதற்கும் இயலாமை பற்றி நான் அடிக்கடி கேள்விப்பட்டேன். ஆழ்ந்த கற்றல் நெட்வொர்க்குகள் தொடர்பாக இந்த ஆட்சேபனை இப்போதெல்லாம் குறைவாகவும் குறைவாகவும் வருகிறது. வகைப்பாட்டில் அதிக துல்லியத்தன்மைக்கு கருப்பு-பெட்டி விளைவை வர்த்தகம் செய்வது இப்போது ஏற்றுக்கொள்ளத்தக்கது போல் தெரிகிறது.
நீண்ட குறுகிய கால நினைவகம் (எல்.எஸ்.டி.எம்) அலகுகள்
ஆழ்ந்த கற்றல் நரம்பியல் நெட்வொர்க்குகளால் உருவாக்கப்பட்ட மற்றொரு பெரிய முன்னேற்றம், தொடர்ச்சியான நரம்பியல் நெட்வொர்க்குகள் (ஆர்.என்.என்) வழியாக நேரத் தொடர் பகுப்பாய்வில் காணப்படுகிறது.
தொடர்ச்சியான நரம்பியல் நெட்வொர்க்குகள் ஒரு புதிய கருத்து அல்ல. அவை ஏற்கனவே 90 களில் பயன்படுத்தப்பட்டன மற்றும் நேரம் (பிபிடிடி) வழிமுறை மூலம் பின்னொளியைக் கொண்டு பயிற்சி பெற்றன. ’90 களில், தேவைப்படும் கணக்கீட்டு வளங்களின் அளவைக் கொண்டு அவர்களுக்குப் பயிற்சி அளிப்பது பெரும்பாலும் சாத்தியமில்லை. இருப்பினும், இப்போதெல்லாம், கிடைக்கக்கூடிய கணக்கீட்டு சக்தியின் அதிகரிப்பு காரணமாக, ஆர்.என்.என்-களைப் பயிற்றுவிப்பது மட்டுமல்லாமல், அவற்றின் கட்டமைப்பின் சிக்கலையும் அதிகரிக்க முடியும். அவ்வளவு தானா? சரி, நிச்சயமாக இல்லை.
1997 ஆம் ஆண்டில், ஒரு குறிப்பிட்ட தொடரில் தொடர்புடைய கடந்த காலத்தை மனப்பாடம் செய்வதை சிறப்பாகச் சமாளிக்க ஒரு சிறப்பு நரம்பியல் பிரிவு அறிமுகப்படுத்தப்பட்டது: எல்எஸ்டிஎம் அலகு. உள் வாயில்களின் கலவையின் மூலம், ஒரு எல்.எஸ்.டி.எம் அலகு தொடர்புடைய கடந்தகால தகவல்களை நினைவில் வைத்துக் கொள்ளும் அல்லது ஒரு நேரத் தொடரில் பொருத்தமற்ற கடந்தகால உள்ளடக்கத்தை மறந்துவிடும். எல்.எஸ்.டி.எம் நெட்வொர்க் என்பது எல்.எஸ்.டி.எம் அலகுகள் உட்பட ஒரு சிறப்பு வகை தொடர்ச்சியான நரம்பியல் வலையமைப்பாகும். எல்.எஸ்.டி.எம்-அடிப்படையிலான ஆர்.என்.என் இன் விரிவாக்கப்பட்ட பதிப்பு படம் 2 இல் காட்டப்பட்டுள்ளது.
வரையறுக்கப்பட்ட நீண்ட நினைவக திறனின் சிக்கலை சமாளிக்க, எல்.எஸ்.டி.எம் அலகுகள் கூடுதல் மறைக்கப்பட்ட நிலையைப் பயன்படுத்துகின்றன - செல் நிலை சி (டி) - அசல் மறைக்கப்பட்ட நிலையிலிருந்து பெறப்பட்டது மணி (t) என்பது. சி (டி) பிணைய நினைவகத்தைக் குறிக்கிறது. கேட்ஸ் என்று அழைக்கப்படும் ஒரு குறிப்பிட்ட அமைப்பு, செல் நிலைக்கு தகவல்களை நீக்க (மறக்க) அல்லது சேர்க்க (நினைவில்) சேர்க்க உங்களை அனுமதிக்கிறது சி (டி) உள்ளீட்டு மதிப்புகளின் அடிப்படையில் ஒவ்வொரு நேரத்திலும் படி எக்ஸ் (t) என்பது மற்றும் முந்தைய மறைக்கப்பட்ட நிலை மணி (டி -1). ஒவ்வொரு வாயிலும் 0 மற்றும் 1 க்கு இடையில் மதிப்புகளை வெளியிடுவதன் மூலம் எந்த தகவலைச் சேர்க்க வேண்டும் அல்லது நீக்க வேண்டும் என்பதை தீர்மானிக்கிறது. கேட் வெளியீட்டை செல் நிலையால் புள்ளியாக பெருக்கி சி (டி -1), தகவல் நீக்கப்பட்டது (வாயிலின் வெளியீடு = 0) அல்லது வைக்கப்படுகிறது (வாயிலின் வெளியீடு = 1).
படம் 2 இல், எல்எஸ்டிஎம் அலகு நெட்வொர்க் கட்டமைப்பைக் காண்கிறோம். ஒவ்வொரு எல்.எஸ்.டி.எம் அலகுக்கும் மூன்று வாயில்கள் உள்ளன. ஆரம்பத்தில் “கேட் லேயரை மறந்துவிடு” முந்தைய செல் நிலையிலிருந்து தகவல்களை வடிகட்டுகிறது சி (டி -1) தற்போதைய உள்ளீட்டின் அடிப்படையில் எக்ஸ் (t) என்பது முந்தைய கலத்தின் மறைக்கப்பட்ட நிலை மணி (டி -1). அடுத்து, “உள்ளீட்டு வாயில் அடுக்கு” மற்றும் “டான் லேயரின்” கலவையானது முந்தைய, ஏற்கனவே வடிகட்டப்பட்ட, செல் நிலைக்கு எந்த தகவலைச் சேர்க்க வேண்டும் என்பதை தீர்மானிக்கிறது. சி (டி -1). இறுதியாக, கடைசி வாயில், “வெளியீட்டு வாயில்” புதுப்பிக்கப்பட்ட செல் நிலையிலிருந்து எந்த தகவலை தீர்மானிக்கிறது சி (டி) அடுத்த மறைக்கப்பட்ட நிலையில் முடிகிறது மணி (t) என்பது.
எல்எஸ்டிஎம் அலகுகள் பற்றிய கூடுதல் விவரங்களுக்கு, கிறிஸ்டோபர் ஓலாவின் “எல்எஸ்டிஎம் நெட்வொர்க்குகளைப் புரிந்துகொள்வது” என்ற கிட்ஹப் வலைப்பதிவு இடுகையைப் பாருங்கள்.
படம் 2. ஒரு எல்.எஸ்.டி.எம் கலத்தின் கட்டமைப்பு (இயன் குட்ஃபெலோ, யோஷுவா பென்ஜியோ மற்றும் ஆரோன் கோர்வில்லே ஆகியோரால் “ஆழமான கற்றல்” இலிருந்து இனப்பெருக்கம் செய்யப்பட்டது). எல்.எஸ்.டி.எம் அலகுகளுக்குள் இருக்கும் மூன்று வாயில்களைக் கவனியுங்கள். இடமிருந்து வலமாக: மறதி வாயில், உள்ளீட்டு வாயில் மற்றும் வெளியீட்டு வாயில்.
எல்.எஸ்.டி.எம் அலகுகள் பல நேரத் தொடர் முன்கணிப்பு சிக்கல்களில் வெற்றிகரமாகப் பயன்படுத்தப்பட்டுள்ளன, ஆனால் குறிப்பாக பேச்சு அங்கீகாரம், இயற்கை மொழி செயலாக்கம் (என்.எல்.பி) மற்றும் இலவச தலைமுறை ஆகியவற்றில்.
தலைமுறை எதிர்மறையான நெட்வொர்க்குகள் (GAN)
ஒரு ஜெனரேட்டர் மற்றும் பாகுபாடு காண்பிக்கும் இரண்டு ஆழமான கற்றல் நெட்வொர்க்குகள் ஒரு ஜெனரேடிவ் விரோதி நெட்வொர்க் (GAN) ஆனது.
ஒரு ஜெனரேட்டர் ஜி உள்ளீட்டு சத்தத்தை மாற்றும் ஒரு மாற்றம் z, ஒரு டென்சரில் - பொதுவாக ஒரு படம் - எக்ஸ் (எக்ஸ்= ஜி (z,)). ஜெனரேட்டர் நெட்வொர்க்கிற்கான மிகவும் பிரபலமான வடிவமைப்புகளில் DCGAN ஒன்றாகும். சைக்கிள்ஜான் நெட்வொர்க்குகளில், ஜெனரேட்டர் பல மாற்றப்பட்ட மாற்றங்களை அதிக மாதிரியாக செய்கிறது z, இறுதியில் படத்தை உருவாக்க எக்ஸ் (படம் 3).
உருவாக்கப்பட்ட படம் எக்ஸ் பின்னர் பாகுபாடு காண்பிக்கும் பிணையத்தில் வழங்கப்படுகிறது. பாகுபாடு காண்பிப்பவர் நெட்வொர்க் பயிற்சி தொகுப்பில் உள்ள உண்மையான படங்களையும் ஜெனரேட்டர் நெட்வொர்க்கால் உருவாக்கப்பட்ட படத்தையும் சரிபார்த்து வெளியீட்டை உருவாக்குகிறது டி (எக்ஸ்), இது படத்தின் நிகழ்தகவு எக்ஸ் உண்மையானது.
ஜெனரேட்டர் மற்றும் பாகுபாடு காண்பிப்பவர் இருவரும் உற்பத்தி செய்ய பேக்ரோபாகேஷன் வழிமுறையைப் பயன்படுத்தி பயிற்சி பெறுகிறார்கள் டி (எக்ஸ்)=1 உருவாக்கப்பட்ட படங்களுக்கு. இரு நெட்வொர்க்குகளும் தங்களை மேம்படுத்துவதற்காக போட்டியிடும் மாற்று நடவடிக்கைகளில் பயிற்சியளிக்கப்படுகின்றன. GAN மாதிரி இறுதியில் ஒன்றிணைந்து உண்மையானதாகத் தோன்றும் படங்களை உருவாக்குகிறது.
அனிம், மனித புள்ளிவிவரங்கள் மற்றும் வான் கோக் போன்ற தலைசிறந்த படைப்புகளை உருவாக்க பட டென்சர்களுக்கு GAN கள் வெற்றிகரமாக பயன்படுத்தப்பட்டுள்ளன. (நரம்பியல் நெட்வொர்க்குகளின் பிற நவீன பயன்பாடுகளுக்கு, செயற்கை நரம்பியல் நெட்வொர்க்குகளுக்கு நீங்கள் கற்பிக்கக்கூடிய 6 பெரிய முன்னேற்றங்களைக் காண்க.)
முடிவுரை
எனவே, ஆழ்ந்த கற்றல் என்பது ஊக்க மருந்துகளில் உள்ள நரம்பியல் நெட்வொர்க்குகளின் ஒரு கூட்டமா? பகுதியளவு.
வேகமான வன்பொருள் செயல்திறன் மிகவும் சிக்கலான, பல அடுக்கு மற்றும் தொடர்ச்சியான நரம்பியல் கட்டமைப்புகளின் வெற்றிகரமான பயிற்சிக்கு பெருமளவில் பங்களித்தது என்பது மறுக்கமுடியாதது என்றாலும், பல புதிய புதுமையான நரம்பியல் அலகுகள் மற்றும் கட்டமைப்புகள் என்ன துறையில் முன்மொழியப்பட்டுள்ளன என்பதும் உண்மை. இப்போது ஆழமான கற்றல் என்று அழைக்கப்படுகிறது.
குறிப்பாக, சி.என்.என், எல்.எஸ்.டி.எம் அலகுகள் மற்றும் ஜிஏஎன்களில் மாற்றும் அடுக்குகளை பட செயலாக்கம், நேர வரிசை பகுப்பாய்வு மற்றும் இலவச தலைமுறை துறையில் மிகவும் அர்த்தமுள்ள புதுமைகளாக நாங்கள் அடையாளம் கண்டுள்ளோம்.
இந்த கட்டத்தில் செய்ய வேண்டிய ஒரே விஷயம், ஆழமாக டைவ் செய்வது மற்றும் ஆழ்ந்த கற்றல் நெட்வொர்க்குகள் எங்கள் சொந்த தரவு சிக்கல்களுக்கான புதிய வலுவான தீர்வுகளுக்கு எவ்வாறு உதவும் என்பதைப் பற்றி மேலும் அறிந்து கொள்வதுதான்.