உள்ளடக்கம்
கே:
பெரிய தரவுக்கும் ஹடூப்புக்கும் என்ன வித்தியாசம்?
ப:
பெரிய தரவுக்கும் திறந்த மூல மென்பொருள் நிரல் ஹடூப்பிற்கும் உள்ள வேறுபாடு ஒரு தனித்துவமான மற்றும் அடிப்படை ஒன்றாகும். முந்தையது ஒரு சொத்து, பெரும்பாலும் சிக்கலான மற்றும் தெளிவற்ற ஒன்றாகும், அதே சமயம் அந்த சொத்தை கையாள்வதற்கான குறிக்கோள்கள் மற்றும் குறிக்கோள்களின் தொகுப்பை நிறைவேற்றும் ஒரு திட்டமாகும்.
பெரிய தரவு என்பது வணிகங்கள் மற்றும் பிற கட்சிகள் குறிப்பிட்ட குறிக்கோள்களுக்கும் செயல்பாடுகளுக்கும் ஒன்றிணைக்கும் பெரிய தரவுகளின் தொகுப்பாகும். பெரிய தரவு பல வகையான வடிவங்களில் பல வகையான தரவுகளை சேர்க்கலாம். எடுத்துக்காட்டாக, நாணய வடிவங்களில் வாங்குதல், பெயர் அல்லது சமூக பாதுகாப்பு எண் போன்ற வாடிக்கையாளர் அடையாளங்காட்டிகள் அல்லது மாதிரி எண்கள், விற்பனை எண்கள் அல்லது சரக்கு எண்களின் வடிவத்தில் தயாரிப்புத் தகவல்களில் ஆயிரக்கணக்கான தரவுகளை சேகரிப்பதில் வணிகங்கள் நிறைய வேலைகளைச் செய்யலாம். இவை அனைத்தும், அல்லது வேறு ஏதேனும் பெரிய தகவல்களை பெரிய தரவு என்று அழைக்கலாம். ஒரு விதியாக, இது பல்வேறு வகையான கருவிகள் மற்றும் கையாளுபவர்கள் மூலம் வழங்கப்படும் வரை இது மூல மற்றும் வரிசைப்படுத்தப்படாதது.
பெரிய தரவைக் கையாள வடிவமைக்கப்பட்ட கருவிகளில் ஒன்று ஹடூப். ஹடூப் மற்றும் பிற மென்பொருள் தயாரிப்புகள் பெரிய தனியுரிம வழிமுறைகள் மற்றும் முறைகள் மூலம் பெரிய தரவுத் தேடல்களின் முடிவுகளை விளக்குவதற்கு அல்லது அலசுவதற்கு வேலை செய்கின்றன. ஹடூப் என்பது அப்பாச்சி உரிமத்தின் கீழ் ஒரு திறந்த மூல நிரலாகும், இது உலகளாவிய பயனர்களால் பராமரிக்கப்படுகிறது. இது MapReduce செயல்பாடுகளின் தொகுப்பு மற்றும் ஒரு ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமை (HDFS) உள்ளிட்ட பல்வேறு முக்கிய கூறுகளை உள்ளடக்கியது.
MapReduce க்குப் பின்னால் உள்ள யோசனை என்னவென்றால், முதலில் ஒரு பெரிய தரவு தொகுப்பை ஹடூப் வரைபடமாக்கலாம், பின்னர் குறிப்பிட்ட முடிவுகளுக்கு அந்த உள்ளடக்கத்தை குறைக்க முடியும். குறைப்பு செயல்பாடு மூல தரவுகளுக்கான ஒரு வகையான வடிகட்டியாக கருதப்படுகிறது. எச்டிஎஃப்எஸ் அமைப்பு பின்னர் ஒரு பிணையத்தில் தரவை விநியோகிக்க அல்லது தேவைக்கேற்ப இடம்பெயர செயல்படுகிறது.
தரவுத்தள நிர்வாகிகள், டெவலப்பர்கள் மற்றும் பிறர் ஹடூப்பின் பல்வேறு அம்சங்களைப் பயன்படுத்தி பெரிய தரவை எந்த வகையிலும் கையாளலாம். எடுத்துக்காட்டாக, க்ளஸ்டரிங் மற்றும் ஒரே மாதிரியான தரவைக் குறிவைப்பது போன்ற தரவு உத்திகளைத் தொடர ஹடூப் பயன்படுத்தப்படலாம் அல்லது ஒரு பாரம்பரிய அட்டவணையில் அழகாக பொருந்தாத அல்லது எளிய கேள்விகளுக்கு நன்கு பதிலளிக்காத தரவு.