அடுத்த தலைமுறை தரவு கட்டமைப்பில் செயல்பாட்டு ஹடூப்

உள்ளடக்கம்

• அடுத்த தலைமுறை தரவு கட்டமைப்பு என்றால் என்ன?
• அடுத்த தலைமுறை கட்டிடக்கலை கான் இல் ஹடூப்பிலிருந்து எதிர்பார்ப்புகள்
• அடுத்த தலைமுறை தரவு கட்டமைப்பில் ஹடூப் என்ன மதிப்புகளைச் சேர்க்க முடியும்?
• நிறுவன தரவு கட்டமைப்பாக மேம்படுத்தப்பட்ட செயல்திறன்
• ஹடூப் மற்றும் பிற தொழில்நுட்பங்களுக்கு இடையிலான வேறுபாடு
• முடிவுரை

ஆதாரம்: ரோமியோ 1232 / ட்ரீம்ஸ்டைம்.காம்

எடுத்து செல்:

பரந்த அளவிலான தரவைக் கையாளும் திறன் காரணமாக அடுத்த தலைமுறை தரவுக் கட்டமைப்பில் ஹடூப் ஒரு முக்கிய வீரராக இருப்பார்.

ஹடூப்பின் பயன்பாடு பெரிய தரவு செயலாக்கம் மற்றும் பகுப்பாய்வுகளுக்கு அப்பால் செல்லத் தொடங்குகிறது, ஏனெனில் தொழில் அதிலிருந்து அதிகமாகக் கோருகிறது. ஹடூப் அதன் அசல் பலங்களைத் தக்க வைத்துக் கொண்டு நிறுவன தரவு கட்டமைப்பு தொடர்பான பல்வேறு தேவைகளைப் பூர்த்தி செய்கிறது. ஹடூப் என்ன செய்ய முடியும் மற்றும் தற்போது என்ன செய்கிறார் என்ற பட்டியல் மிக நீளமானது. ஹடூப் இப்போது பெரிய அளவிலான பரிவர்த்தனை பணிச்சுமைகளை செயலாக்க முடிகிறது, இது முன்னர் பாரம்பரிய தொழில்நுட்பங்களிலிருந்து எதிர்பார்க்கப்பட்டது. முன்னோக்கிச் செல்லும்போது, ​​எதிர்காலத்தில் ஹடூப்பிற்கு நிறைய சாத்தியங்கள் உள்ளன. எடுத்துக்காட்டாக, SQL ஐ அடிப்படையாகக் கொண்ட பரிவர்த்தனை அமைப்புகள் ஒரு ஹடூப் SQL இயந்திரத்தைப் பயன்படுத்தலாம் மற்றும் ஹடூப் நிறைய RDBMS திறன்களையும் சேர்க்கும். நிறுவன கட்டமைப்பு திறன்களுடன் தரவு செயலாக்கம் மற்றும் பகுப்பாய்வு திறன்களின் கலப்பினமாக ஹடூப் மாறி வருவதாக நீங்கள் கூறலாம்.

அடுத்த தலைமுறை தரவு கட்டமைப்பு என்றால் என்ன?

எளிமையாகச் சொல்வதானால், அடுத்த தலைமுறை தரவு கட்டமைப்பு என்பது தரவுக் கட்டமைப்பின் வளர்ச்சியடைந்த வடிவமாகும். தரவு மாதிரிகள், தரவுக் கொள்கைகள், விதிகள் மற்றும் தரநிலைகள் உட்பட அனைத்தும் தரவு எவ்வாறு சேகரிக்கப்படுகின்றன, சேமிக்கப்படுகின்றன, ஒழுங்குபடுத்தப்படுகின்றன, பகுப்பாய்வு செய்யப்படுகின்றன அல்லது செயலாக்கப்படுகின்றன, ஒருங்கிணைக்கப்படுகின்றன, பயன்படுத்தப்படுகின்றன மற்றும் விநியோகிக்கப்படுகின்றன, அவை அடுத்த தலைமுறை தரவுக் கட்டமைப்பின் கீழ் உருவாகியுள்ளன.

முந்தைய தரவுக் கட்டமைப்பிற்கும் அடுத்த தலைமுறை தரவுக் கட்டமைப்பிற்கும் உள்ள முக்கிய வேறுபாடு, பெரிய தரவு என அழைக்கப்படும் ஏராளமான தரவுகளை உண்மையான நேரத்தில் சேகரிக்கவும், சேமிக்கவும் மற்றும் செயலாக்கவும் பிந்தைய திறனைக் கொண்டுள்ளது. தனியுரிமை, பாதுகாப்பு மற்றும் தரவு நிர்வாகத் தரங்களில் சமரசம் செய்யாமல் இந்த சிக்கலான பணிகளை கட்டிடக்கலை செய்கிறது.

அடுத்த தலைமுறை தரவு கட்டமைப்பு பல சவால்களை எதிர்கொள்கிறது. பெரிய தரவுகளின் அளவு, வேகம் மற்றும் பல்வேறு வகைகளைக் கையாள்வது எளிதல்ல. கணினி பணிச்சுமையை மேம்படுத்துதல், செயல்திறனை மேம்படுத்துதல், வேகம் மற்றும் துல்லியம் மற்றும் செலவுக் குறைப்பு ஆகியவற்றின் தேவைகளைச் சேர்க்கவும். முந்தைய தரவு கட்டமைப்பு அத்தகைய கோரிக்கைகளை நிர்வகிக்க வேண்டியதில்லை என்று சொல்ல தேவையில்லை.

எனவே, சி.ஐ.ஓக்கள் மற்றும் தகவல் கட்டடக் கலைஞர்கள் தங்கள் இலக்குகளை அடைய உதவும் ஒரு தீர்வைக் கண்டுபிடிக்க விரும்புகிறார்கள். செயல்பாட்டு ஹடூப் இந்த கான் இல் சில காலமாக கவனம் செலுத்துகிறது. செயல்பாட்டு ஹடூப் எவ்வாறு சிக்கல்களை தீர்க்க முடியும் என்பதை பின்வரும் பிரிவுகள் விவாதிக்கும்.

அடுத்த தலைமுறை கட்டிடக்கலை கான் இல் ஹடூப்பிலிருந்து எதிர்பார்ப்புகள்

நிறுவனங்கள் சிறந்த முடிவுகளை வழங்குவதற்கான அழுத்தங்களுக்கு ஆளாகின்றன, மேலும் இதன் விளைவுகள் தொழில்நுட்பங்களின் மீது வைக்கப்பட்டுள்ள எதிர்பார்ப்புகளுக்கு ஏமாற்றமளிக்கின்றன. எனவே, ஹடூப் இனி தரவை செயலாக்குவார் என்று எதிர்பார்க்கப்படுவதில்லை. சி.ஐ.ஓக்கள் மற்றும் சி.டி.ஓக்கள் ஹடூப்பிலிருந்து அதிகம் விரும்புகிறார்கள். ஹடூப்பின் எதிர்பார்ப்புகளின் பட்டியல் கீழே கொடுக்கப்பட்டுள்ளது. உண்மையில், ஹடூப் ஏற்கனவே இந்த எதிர்பார்ப்புகளில் சிலவற்றை வழங்கி வருகிறார்.

SQL ஐ அடிப்படையாகக் கொண்ட பரிவர்த்தனை அமைப்புகளுடன் ஹடூப் செயல்படும் என்று எதிர்பார்க்கப்படுகிறது, மேலும் திறன்களை உருவாக்குதல், படிக்க, புதுப்பித்தல் மற்றும் நீக்குதல். பரிவர்த்தனை அமைப்புகள் SQL இயந்திரத்தை மேம்படுத்துகின்றன. கணினிகள் முழு போர்ட்டபிள் ஆப்பரேட்டிங் சிஸ்டம் இன்டர்ஃபேஸ் (போசிக்ஸ்) இணக்கம் மற்றும் அதிக பரிவர்த்தனை தொகுதிகளை செயலாக்கும் திறனைக் கொண்டிருக்கும்.

காப்புப்பிரதி, தவறு சகிப்புத்தன்மை, மீட்பு மற்றும் பேரழிவு மீட்பு போன்ற அம்சங்களை ஹடூப் ஆதரிக்கும் என்று எதிர்பார்க்கப்படுகிறது. ஹடூப் ஆர்.டி.பி.எம்.எஸ் திறன்களைக் கொண்ட ஒரு அமைப்பாக உருவாக, அது ஏற்கனவே இருக்கும் ஐ.டி கருவிகளுடன் இணக்கமாக இருக்க வேண்டும்.

சில முன்னேற்றங்களிலிருந்து தெளிவாகத் தெரிந்தபடி, எதிர்பார்ப்புகளை நிறைவேற்றுவதில் ஹடூப் ஏற்கனவே செயல்பட்டு வருகிறார். YARN வழங்கிய வள மேலாண்மை ஆதரவின் அடிப்படையில் நிகழ்நேர பகுப்பாய்வு மற்றும் விரைவான பதில்களை ஹடூப் வழங்க முடியும். YARN என்பது ஒரு வள மேலாளராக இருப்பதோடு கூடுதலாக பெரிய தரவு பயன்பாடுகளுக்கான பெரிய அளவிலான மற்றும் விநியோகிக்கப்பட்ட இயக்க முறைமையாகும். அப்பாச்சி புயல் போன்ற பிற முன்னேற்றங்கள், அப்பாச்சி ஸ்பார்க், அப்பாச்சி ஹைவ், ட்ரில் மற்றும் மேப்ஆர்-எஃப்எஸ் (உயர் செயல்திறன் கொண்ட எச்.டி.எஃப்.எஸ் மாற்றீடு) போன்ற நினைவக கட்டமைப்புகளில் விநியோகிக்கப்படுகின்றன, அவை பல்வேறு முழு தரவுத்தள திறன்களை வழங்குவதற்காக, செயல்படுவதாக அறியப்படுகிறது. காப்புப்பிரதி, பேரழிவு மீட்பு, தவறு சகிப்புத்தன்மை போன்றவை. (YARN ஐப் பற்றி மேலும் அறிய, ஹடூப் 2.0 (YARN) கட்டமைப்பின் நன்மைகள் என்ன என்பதைப் பார்க்கவும்.)

அடுத்த தலைமுறை தரவு கட்டமைப்பில் ஹடூப் என்ன மதிப்புகளைச் சேர்க்க முடியும்?

செயல்பாட்டு ஹடூப் அடுத்த தலைமுறை தரவுக் கட்டமைப்பில் சேர்க்கக்கூடிய மதிப்புகளை இரண்டு கோணங்களில் பார்க்கலாம்: ஒன்று, மேலே விவரிக்கப்பட்ட எதிர்பார்ப்புகளை அது பூர்த்திசெய்கிறதா, இரண்டு, அது கூடுதலாக ஏதாவது செய்கிறதா என்பது. செயல்பாட்டு ஹடூப் கொண்டு வரக்கூடிய முக்கிய மதிப்புகள் கீழே கொடுக்கப்பட்டுள்ளன.

ஹடூப் இப்போது எச்.டி.எஃப்.எஸ் வழியாக அதன் தளத்திற்குள் தரவை அதிக அளவில் அளவிடக்கூடிய மற்றும் நிர்வகிக்க முடிகிறது. தரவு இயக்க முறைமை ஹடூப்பின் YARN பயன்பாடுகள் வழியாக இயக்கப்பட்டது. இந்த மூலோபாயம் ஒரு அடிப்படை மட்டத்தில் தரவு கட்டமைப்பின் மாற்றத்தை குறிக்கிறது. இப்போது, ​​ஹடூப் பரிவர்த்தனை சார்ந்த தரவுத்தளங்கள், வரைபட தரவுத்தளங்கள் மற்றும் ஆவண தரவுத்தளங்கள் போன்ற பல்வேறு வகையான தரவை சேமிக்க முடியும், மேலும் இந்த தரவை YARN பயன்பாடுகள் வழியாக அணுகலாம். தரவை நகலெடுக்கவோ அல்லது பிற இடங்களுக்கு நகர்த்தவோ தேவையில்லை.

நிறுவன தரவு கட்டமைப்பாக மேம்படுத்தப்பட்ட செயல்திறன்

செயல்பாட்டு ஹடூப் நிறுவன தரவு கட்டமைப்பின் முக்கிய அமைப்பாக மாறி வருகிறது. நிறுவன தரவு கட்டமைப்பில் ஹடூப் அதிகம் ஈடுபடுவதால், அவற்றுக்கு இடையேயான கோடுகள் அகற்றப்படுவதால் தரவு குழிகள் அகற்றப்படும். கிட்டத்தட்ட எல்லா அம்சங்களிலும் விரைவான முன்னேற்றம் இருக்கப்போகிறது. மேம்பாடுகள் மிகவும் திறமையான கோப்பு வடிவங்கள், சிறந்த SQL இயந்திர செயல்திறன், மேம்படுத்தப்பட்ட கோப்பு முறைமைகள் மற்றும் நிறுவன பயன்பாடுகளின் தேவைகளை பூர்த்தி செய்யும் வலுவான தன்மை ஆகியவற்றின் வடிவத்தில் நடைபெற உள்ளன.

ஹடூப் மற்றும் பிற தொழில்நுட்பங்களுக்கு இடையிலான வேறுபாடு

கடந்த காலத்தில், ஹடூப் மற்றும் தரவு நிறுவன தொழில்நுட்பங்களுக்கிடையேயான முக்கிய வேறுபாடு ஹடூப்பின் பெரிய தரவு செயலாக்கம், அறிக்கையிடல் மற்றும் பகுப்பாய்வு திறன்கள் ஆகும். இப்போது, ​​செயல்பாட்டு ஹடூப் நிறுவன தரவு கட்டமைப்பின் ஒரு பகுதியாக மாறும் போது, ​​நிறுவனங்களுக்கிடையிலான வேறுபாடு பெருகிய முறையில் மங்கலாகி வருகிறது. எனவே, செயல்பாட்டு ஹடூப் தற்போதுள்ள நிறுவன தரவு கட்டமைப்பிற்கு ஒரு சிறந்த மாற்றாக உருவாகி வருகிறது.

முடிவுரை

எதிர்பார்ப்புகளையும் முன்னேற்றத்தையும் கருத்தில் கொண்டு, ஹடூப் சில காலமாக தொழில்துறையில் கவனம் செலுத்தப் போகிறார். ஆனால் ஹடூப்பில் அதிக கவனம் செலுத்துவதில்லை மற்றும் பிற தொழில்நுட்பங்களை புறக்கணிப்பது அர்த்தமுள்ளதாக இருக்கிறது. ஏனென்றால் மற்ற தொழில்நுட்பங்கள் அதே அளவுருக்களில் முன்னேறும், மேலும் ஹடூப்பைக் கூட முந்தக்கூடும். சந்தையில் ஏகபோகம் வைத்திருப்பது ஒருபோதும் நல்லதல்ல. ஹடூப்பைத் தவிர பிற தொழில்நுட்பங்களை தயாரிப்பவர்கள் சிறந்த தயாரிப்புகளையும், ஹடூப்பின் செயல்திறனை மேம்படுத்த உதவும் செருகுநிரல்களையும் வழங்க உந்துதல் அளிப்பது நல்லது.