உள்ளடக்கம்
- குடு என்றால் என்ன?
- குடஸ் தற்போதைய நிலை என்ன?
- குடு எவ்வாறு HDFS / HBase ஐ நிரப்ப முடியும்?
- குடு கட்டமைப்பின் அம்சங்கள்
- குடு ஹடூப் சுற்றுச்சூழல் அமைப்பை எவ்வாறு மாற்ற முடியும்?
- பிழைகள் இல்லை, மன அழுத்தமும் இல்லை - உங்கள் வாழ்க்கையை அழிக்காமல் வாழ்க்கையை மாற்றும் மென்பொருளை உருவாக்குவதற்கான படி வழிகாட்டியின் படி
- முடிவுரை
ஆதாரம்: Agsandrew / Dreamstime.com
எடுத்து செல்:
குடு என்பது ஒரு திறந்த மூல திட்டமாகும், இது சேமிப்பகத்தை மிகவும் திறமையாக நிர்வகிக்க உதவுகிறது.
குடு என்பது ஒரு புதிய திறந்த மூல திட்டமாகும், இது புதுப்பிக்கத்தக்க சேமிப்பிடத்தை வழங்குகிறது. இது HDFS / HBase க்கு ஒரு நிரப்பியாகும், இது தொடர்ச்சியான மற்றும் படிக்க மட்டும் சேமிப்பிடத்தை வழங்குகிறது. வேகமான தரவைப் பற்றிய விரைவான பகுப்பாய்வுகளுக்கு குடு மிகவும் பொருத்தமானது, இது தற்போது வணிகத்தின் தேவையாகும். எனவே குடு என்பது மற்றொரு ஹடூப் சுற்றுச்சூழல் அமைப்பு திட்டம் மட்டுமல்ல, மாறாக சந்தையை மாற்றும் ஆற்றலையும் கொண்டுள்ளது. (ஹடூப்பைப் பற்றி மேலும் அறிய, நீங்கள் தெரிந்து கொள்ள வேண்டிய மற்றும் புரிந்து கொள்ள வேண்டிய 10 மிக முக்கியமான ஹடூப் விதிமுறைகளைப் பார்க்கவும்.)
குடு என்றால் என்ன?
குடு என்பது ஒரு சிறப்பு வகையான சேமிப்பக அமைப்பாகும், இது கட்டமைக்கப்பட்ட தரவை அட்டவணைகள் வடிவில் சேமிக்கிறது. ஒவ்வொரு அட்டவணையிலும் முன் வரையறுக்கப்பட்ட நெடுவரிசைகளின் எண்ணிக்கை உள்ளது. அவற்றில் ஒவ்வொன்றிலும் ஒரு முதன்மை விசை உள்ளது, இது உண்மையில் அந்த அட்டவணையின் ஒன்று அல்லது அதற்கு மேற்பட்ட நெடுவரிசைகளின் குழுவாகும். இந்த முதன்மை விசையானது ஒரு கட்டுப்பாட்டைச் சேர்ப்பதற்கும் நெடுவரிசைகளைப் பாதுகாப்பதற்கும் செய்யப்படுகிறது, மேலும் ஒரு குறியீடாகவும் செயல்படுகிறது, இது எளிதாக புதுப்பிக்கவும் நீக்கவும் அனுமதிக்கிறது. இந்த அட்டவணைகள் டேப்லெட்டுகள் எனப்படும் தரவு துணைக்குழுக்களின் தொடர்.
குடஸ் தற்போதைய நிலை என்ன?
குடு மிகவும் நன்றாக வளர்ந்திருக்கிறது மற்றும் ஏற்கனவே பல அம்சங்களுடன் இணைக்கப்பட்டுள்ளது. இருப்பினும், இதற்கு இன்னும் சில மெருகூட்டல் தேவைப்படும், பயனர்கள் பரிந்துரைத்து சில மாற்றங்களைச் செய்தால் அதை எளிதாகச் செய்யலாம்.
குடு முற்றிலும் திறந்த மூலமாகும், அப்பாச்சி மென்பொருள் உரிமம் 2.0 உள்ளது. இது அப்பாச்சிக்கு சமர்ப்பிக்கப்பட வேண்டும், இதனால் இது அப்பாச்சி இன்குபேட்டர் திட்டமாக உருவாக்கப்படலாம். இது அதன் வளர்ச்சி இன்னும் வேகமாக முன்னேறவும் பார்வையாளர்களை மேலும் வளர்க்கவும் அனுமதிக்கும். ஒரு குறிப்பிட்ட நேரத்திற்குப் பிறகு, குடுவின் வளர்ச்சி பகிரங்கமாகவும் வெளிப்படையாகவும் செய்யப்படும். அட்ஸ்கேல், சியோமி, இன்டெல் மற்றும் ஸ்பைஸ் மெஷின் போன்ற பல நிறுவனங்கள் இணைந்து குடுவின் வளர்ச்சியில் பங்களிப்பு செய்துள்ளன. குடு ஒரு பெரிய சமூகத்தையும் கொண்டுள்ளது, அங்கு ஏராளமான பார்வையாளர்கள் ஏற்கனவே தங்கள் பரிந்துரைகளையும் பங்களிப்புகளையும் வழங்குகிறார்கள். எனவே, தான் குடுவின் வளர்ச்சியை முன்னோக்கி செலுத்துகிறது.
குடு எவ்வாறு HDFS / HBase ஐ நிரப்ப முடியும்?
குடு என்பது HDFS / HBase க்கு மாற்றாக இருக்க வேண்டும். இது உண்மையில் HBase மற்றும் HFDS இரண்டையும் ஆதரிக்கும் வகையில் வடிவமைக்கப்பட்டுள்ளது மற்றும் அவற்றின் அம்சங்களை அதிகரிக்க அவற்றுடன் இயங்குகிறது. ஏனென்றால், HBase மற்றும் HDFS இன்னும் பல அம்சங்களைக் கொண்டுள்ளன, அவை சில கணினிகளில் குடுவை விட சக்திவாய்ந்தவை. மொத்தத்தில், இதுபோன்ற இயந்திரங்கள் இந்த அமைப்புகளிலிருந்து அதிக நன்மைகளைப் பெறும்.
குடு கட்டமைப்பின் அம்சங்கள்
குடு கட்டமைப்பின் முக்கிய அம்சங்கள் பின்வருமாறு:
- அட்டவணையின் நெடுவரிசைகளின் மிக விரைவான ஸ்கேன் - பார்க்வெட் மற்றும் ORCFile போன்ற சிறந்த தரவு வடிவங்களுக்கு சிறந்த ஸ்கேனிங் நடைமுறைகள் தேவை, இது குடுவால் சரியாகக் குறிப்பிடப்படுகிறது. இத்தகைய வடிவங்களுக்கு விரைவான ஸ்கேன் தேவைப்படுகிறது, இது நெடுவரிசை தரவு சரியாக குறியாக்கம் செய்யப்படும்போது மட்டுமே நிகழும்.
- செயல்திறனின் நம்பகத்தன்மை - குடு கட்டமைப்பானது ஹடூப்பில் உள்ள பல ஓட்டைகள் மற்றும் இடைவெளிகளை மூடுவதன் மூலம் ஹடூப்பின் ஒட்டுமொத்த நம்பகத்தன்மையை அதிகரிக்கிறது.
- ஹடூப்புடன் எளிதான ஒருங்கிணைப்பு - குடுவை ஹடூப் மற்றும் அதன் வெவ்வேறு கூறுகளுடன் எளிதாக ஒருங்கிணைக்க முடியும்.
- முற்றிலும் திறந்த மூல - குடு என்பது அப்பாச்சி 2.0 உரிமத்துடன் திறந்த மூல அமைப்பு. இது பல்வேறு நிறுவனங்கள் மற்றும் பின்னணிகளைச் சேர்ந்த டெவலப்பர்களின் பெரிய சமூகத்தைக் கொண்டுள்ளது, அவர்கள் அதைத் தொடர்ந்து புதுப்பித்து மாற்றங்களுக்கான பரிந்துரைகளை வழங்குகிறார்கள்.
குடு ஹடூப் சுற்றுச்சூழல் அமைப்பை எவ்வாறு மாற்ற முடியும்?
குடு ஹடூப்பின் சுற்றுச்சூழல் அமைப்புடன் பொருந்துவதற்கும் அதன் அம்சங்களை மேம்படுத்துவதற்கும் கட்டப்பட்டது. இது ஹடூப்பின் சில முக்கிய கூறுகளான MapReduce, HBase மற்றும் HDFS உடன் ஒருங்கிணைக்க முடியும். MapReduce வேலைகள் தரவை வழங்கலாம் அல்லது குடு அட்டவணைகளிலிருந்து தரவை எடுக்கலாம். இந்த அம்சங்களை ஸ்பார்க்கிலும் பயன்படுத்தலாம். ஒரு சிறப்பு அடுக்கு ஸ்பார்க் SQL மற்றும் டேட்டாஃப்ரேம் போன்ற சில தீப்பொறி கூறுகளை குடுவுக்கு அணுக வைக்கிறது. இந்த அம்சங்களை மாற்றும் அளவுக்கு குடு உருவாக்கப்படவில்லை என்றாலும், சில ஆண்டுகளுக்குப் பிறகு, அவ்வாறு செய்ய போதுமான அளவு அபிவிருத்தி செய்யப்படும் என்று மதிப்பிடப்பட்டுள்ளது. அதுவரை, ஹடூப் மற்றும் குடு இடையேயான ஒருங்கிணைப்பு மிகவும் பயனுள்ளதாக இருக்கிறது, மேலும் ஹடூப்பின் சுற்றுச்சூழல் அமைப்பின் முக்கிய இடைவெளிகளை நிரப்ப முடியும். (அப்பாச்சி தீப்பொறியைப் பற்றி மேலும் அறிய, அப்பாச்சி தீப்பொறி விரைவான பயன்பாட்டு மேம்பாட்டுக்கு எவ்வாறு உதவுகிறது என்பதைப் பார்க்கவும்.)
குடுவை பல்வேறு இடங்களில் செயல்படுத்தலாம். அத்தகைய இடங்களின் சில எடுத்துக்காட்டுகள் கீழே கொடுக்கப்பட்டுள்ளன:
பிழைகள் இல்லை, மன அழுத்தமும் இல்லை - உங்கள் வாழ்க்கையை அழிக்காமல் வாழ்க்கையை மாற்றும் மென்பொருளை உருவாக்குவதற்கான படி வழிகாட்டியின் படி
மென்பொருள் தரத்தைப் பற்றி யாரும் கவலைப்படாதபோது உங்கள் நிரலாக்க திறன்களை மேம்படுத்த முடியாது.
- நிகழ்நேரத்தில் உள்ளீடுகளை ஸ்ட்ரீமிங் செய்தல் - உள்ளீடுகளை விரைவில் பெற வேண்டிய இடங்களில், குடு ஒரு குறிப்பிடத்தக்க வேலையைச் செய்யலாம். அத்தகைய இடத்திற்கு ஒரு எடுத்துக்காட்டு வணிகங்களில் உள்ளது, அங்கு வெவ்வேறு மூலங்களிலிருந்து அதிக அளவு டைனமிக் தரவு வெள்ளம் ஏற்படுகிறது, மேலும் அவை உண்மையான நேரத்தில் விரைவாக கிடைக்க வேண்டும்.
- மாறுபட்ட அணுகல் வடிவங்களைக் கொண்ட நேர-தொடர் பயன்பாடுகள் - நேர-தொடர் அடிப்படையிலான பயன்பாடுகளுக்கு குடு சரியானது, ஏனெனில் அட்டவணைகளை அமைத்து அவற்றைப் பயன்படுத்தி ஸ்கேன் செய்வது எளிது. இத்தகைய பயன்பாட்டிற்கான எடுத்துக்காட்டு டிபார்ட்மென்ட் ஸ்டோர்களில் உள்ளது, அங்கு பழைய தரவை விரைவாகக் கண்டுபிடித்து எதிர்கால தயாரிப்புகளின் பிரபலத்தை கணிக்க செயலாக்க வேண்டும்.
- மரபு அமைப்புகள் - பல்வேறு மூலங்களிலிருந்து தரவைப் பெற்று வெவ்வேறு பணிநிலையங்களில் சேமித்து வைக்கும் பல நிறுவனங்கள் குடுவுடன் வீட்டிலேயே உணரும். குடு மிகவும் வேகமானது மற்றும் அனைத்து கணினிகளிலும் தரவை செயலாக்க இம்பலாவுடன் திறம்பட ஒருங்கிணைக்க முடியும்.
- முன்கணிப்பு மாடலிங் - மாடலிங் செய்வதற்கு ஒரு நல்ல தளத்தை விரும்பும் தரவு விஞ்ஞானிகள் குடுவைப் பயன்படுத்தலாம். குடு அதில் கொடுக்கப்பட்ட ஒவ்வொரு தரவுகளிலிருந்தும் கற்றுக்கொள்ளலாம். என்ன நடக்கிறது என்பதைப் பார்க்க விஞ்ஞானி மாதிரியை மீண்டும் மீண்டும் இயக்கலாம்.
முடிவுரை
குடு இன்னும் வளர்ச்சிக் கட்டத்தில் இருந்தாலும், HDFS மற்றும் HBase போன்ற நிலையான ஹடூப் கூறுகளுக்கு இது ஒரு நல்ல சேர்க்கையாக இருக்க போதுமான ஆற்றலைக் கொண்டுள்ளது. அனைத்து இடைவெளிகளையும் நிரப்புவதன் மூலமும் மேலும் சில அம்சங்களைச் சேர்ப்பதன் மூலமும் ஹடூப் சுற்றுச்சூழல் அமைப்பை முழுவதுமாக மாற்றுவதற்கு இது போதுமான ஆற்றலைக் கொண்டுள்ளது. இது மிக வேகமாகவும் சக்திவாய்ந்ததாகவும் உள்ளது மற்றும் பெரிய தரவுகளை விரைவாக பகுப்பாய்வு செய்து சேமிக்க உதவும். இருப்பினும், அதை இன்னும் திறமையாகப் பயன்படுத்த இன்னும் சில வேலைகள் உள்ளன.