ஏன் தீப்பொறி எதிர்கால பெரிய தரவு தளம்

உள்ளடக்கம்

• அப்பாச்சி தீப்பொறி என்றால் என்ன?
• ஹடூப்பிற்கு மேல் ஏன் தீப்பொறி மிகவும் முக்கியமானது
• ஸ்பார்க்ஸ் தனித்துவமான அம்சங்கள் என்ன?
• ஏன் தீப்பொறி ஹடூப்பிற்கு மாற்றாக இல்லை
• நிறுவனங்கள் ஸ்பார்க் மற்றும் ஹடூப் பற்றி என்ன நினைக்கின்றன
• நடைமுறை நடைமுறைகள்
• முடிவுரை

ஆதாரம்: ஸ்னேக் 3 டி / ட்ரீம்ஸ்டைம்.காம்

எடுத்து செல்:

அப்பாச்சி தீப்பொறி என்பது பெரிய தரவை செயலாக்குவதற்கான ஒரு திறந்த மூல கருவியாகும், இது ஹடூப்பில் (மற்றும் சில வழிகளில், மிஞ்சும்) ஊர்ந்து செல்கிறது.

அப்பாச்சி ஹடூப் நீண்ட காலமாக பெரிய தரவு பயன்பாடுகளுக்கான அடித்தளமாக இருந்து வருகிறது, மேலும் இது பெரிய தரவு தொடர்பான அனைத்து பிரசாதங்களுக்கான அடிப்படை தரவு தளமாக கருதப்படுகிறது. இருப்பினும், வேகமான செயல்திறன் மற்றும் விரைவான முடிவுகளின் காரணமாக இன்-மெமரி தரவுத்தளம் மற்றும் கணக்கீடு பிரபலமடைகிறது. அப்பாச்சி ஸ்பார்க் என்பது ஒரு புதிய கட்டமைப்பாகும், இது வேகமான செயலாக்கத்தை வழங்க நினைவக திறன்களைப் பயன்படுத்துகிறது (ஹடூப்பை விட கிட்டத்தட்ட 100 மடங்கு வேகமாக). எனவே, ஸ்பார்க் தயாரிப்பு பெரிய தரவுகளின் உலகில் பெருகிய முறையில் பயன்படுத்தப்படுகிறது, முக்கியமாக வேகமாக செயலாக்கத்திற்கு.

அப்பாச்சி தீப்பொறி என்றால் என்ன?

அப்பாச்சி ஸ்பார்க் என்பது வேகமான மற்றும் எளிமையுடன் பெரிய அளவிலான தரவை (பெரிய தரவு) செயலாக்குவதற்கான ஒரு திறந்த மூல கட்டமைப்பாகும். பெரிய தரவுகளின் அடிப்படையில் பகுப்பாய்வு பயன்பாடுகளுக்கு இது பொருத்தமானது. தீப்பொறி ஒரு ஹடூப் சூழலுடன், தனித்தனியாக அல்லது மேகத்தில் பயன்படுத்தப்படலாம். இது கலிபோர்னியா பல்கலைக்கழகத்தில் உருவாக்கப்பட்டது, பின்னர் அப்பாச்சி மென்பொருள் அறக்கட்டளைக்கு வழங்கப்பட்டது. எனவே, இது திறந்த-மூல சமூகத்தைச் சேர்ந்தது மற்றும் மிகவும் செலவு குறைந்ததாக இருக்கும், இது அமெச்சூர் டெவலப்பர்களை எளிதாக வேலை செய்ய அனுமதிக்கிறது. (ஹடூப்ஸ் திறந்த மூலத்தைப் பற்றி மேலும் அறிய, அப்பாச்சி ஹடூப் சுற்றுச்சூழல் அமைப்பில் திறந்த மூலத்தின் தாக்கம் என்ன என்பதைப் பார்க்கவும்?)

ஸ்பார்க்கின் முக்கிய நோக்கம் என்னவென்றால், இது ஒரு மையப்படுத்தப்பட்ட தரவு கட்டமைப்பைச் சுற்றி செயல்படும் பயன்பாட்டு கட்டமைப்பைக் கொண்ட டெவலப்பர்களை வழங்குகிறது. தீப்பொறி மிகவும் சக்தி வாய்ந்தது மற்றும் குறுகிய காலத்தில் பாரிய அளவிலான தரவை விரைவாக செயலாக்கும் உள்ளார்ந்த திறனைக் கொண்டுள்ளது, இதனால் மிகச் சிறந்த செயல்திறனை வழங்குகிறது.இது அதன் நெருங்கிய போட்டியாளரான ஹடூப் என்று கூறப்படுவதை விட மிக வேகமாக செய்கிறது.

ஹடூப்பிற்கு மேல் ஏன் தீப்பொறி மிகவும் முக்கியமானது

அப்பாச்சி ஸ்பார்க் எப்போதுமே பல அம்சங்களில் ஹடூப்பை நசுக்குவதாக அறியப்படுகிறது, இது ஏன் மிகவும் முக்கியமானது என்பதை விளக்குகிறது. இதற்கு ஒரு முக்கிய காரணம் அதன் செயலாக்க வேகத்தைக் கருத்தில் கொள்வதுதான். உண்மையில், ஏற்கனவே மேலே கூறியது போல, அதே அளவு தரவுகளுக்கு ஹடூப்பின் மேப்ரூட்ஸை விட 100 மடங்கு வேகமான செயலாக்கத்தை ஸ்பார்க் வழங்குகிறது. இது ஹடூப்புடன் ஒப்பிடும்போது கணிசமாக குறைவான வளங்களைப் பயன்படுத்துகிறது, இதனால் இது செலவு குறைந்ததாகிறது.

ஸ்பார்க்கின் மேலதிக கையை வைத்திருக்கும் மற்றொரு முக்கிய அம்சம் ஒரு வள மேலாளருடன் பொருந்தக்கூடிய தன்மையைக் கொண்டுள்ளது. மேப்ப்ரெடூஸைப் போலவே அப்பாச்சி ஸ்பார்க் ஹடூப்புடன் இயங்குவதாக அறியப்படுகிறது, இருப்பினும், பிந்தையது தற்போது ஹடூப்புடன் மட்டுமே பொருந்தக்கூடியது. அப்பாச்சி ஸ்பார்க்கைப் பொறுத்தவரை, இது YARN அல்லது Mesos போன்ற பிற வள மேலாளர்களுடன் இணைந்து செயல்பட முடியும். தரவு விஞ்ஞானிகள் பெரும்பாலும் ஸ்பார்க் உண்மையில் ஹடூப்பை விஞ்சும் மிகப்பெரிய பகுதிகளில் ஒன்றாகக் குறிப்பிடுகின்றனர்.

பயன்பாட்டை எளிதாக்கும்போது, ​​ஸ்பார்க் மீண்டும் ஹடூப்பை விட மிகச் சிறந்ததாக இருக்கும். ஸ்பார்க் SQL போன்றவற்றைக் கொண்டிருப்பதைத் தவிர, ஸ்கலா, ஜாவா மற்றும் பைதான் போன்ற பல மொழிகளுக்கான API களை ஸ்பார்க் கொண்டுள்ளது. பயனர் வரையறுக்கப்பட்ட செயல்பாடுகளை எழுதுவது ஒப்பீட்டளவில் எளிது. கட்டளைகளை இயக்குவதற்கான ஊடாடும் பயன்முறையைப் பெருமைப்படுத்துவதும் இது நிகழ்கிறது. மறுபுறம், ஹடூப் ஜாவாவில் எழுதப்பட்டுள்ளது மற்றும் நிரலுக்கு மிகவும் கடினம் என்ற நற்பெயரைப் பெற்றுள்ளது, இருப்பினும் இந்த செயல்முறைக்கு உதவும் கருவிகள் உள்ளன. (தீப்பொறியைப் பற்றி மேலும் அறிய, அப்பாச்சி தீப்பொறி விரைவான பயன்பாட்டு மேம்பாட்டுக்கு எவ்வாறு உதவுகிறது என்பதைப் பார்க்கவும்.)

ஸ்பார்க்ஸ் தனித்துவமான அம்சங்கள் என்ன?

அப்பாச்சி ஸ்பார்க் சில தனித்துவமான அம்சங்களைக் கொண்டுள்ளது, இது தரவு செயலாக்க வணிகத்தில் அதன் பல போட்டியாளர்களிடமிருந்து உண்மையிலேயே வேறுபடுகிறது. இவற்றில் சில சுருக்கமாக கீழே கோடிட்டுக் காட்டப்பட்டுள்ளன.

மென்பொருள் தரத்தைப் பற்றி யாரும் அக்கறை கொள்ளாதபோது உங்கள் நிரலாக்க திறன்களை மேம்படுத்த முடியாது.

அதன் இயந்திர கற்றல் வழிமுறைகளின் உதவியுடன் தேவையான தகவல்களை அதன் மையத்தில் ஏற்றுவதற்கான இயல்பான திறனையும் ஸ்பார்க் கொண்டுள்ளது. இது மிக வேகமாக இருக்க அனுமதிக்கிறது.

அப்பாச்சி ஸ்பார்க் வரைபடங்களை செயலாக்கும் திறன் அல்லது இயற்கையில் வரைகலை சார்ந்த தகவல்களைக் கொண்டு வருகிறது, இதனால் எளிதான பகுப்பாய்வை நிறைய துல்லியத்துடன் செயல்படுத்துகிறது.

அப்பாச்சி ஸ்பார்க்கில் MLib உள்ளது, இது கட்டமைக்கப்பட்ட இயந்திர கற்றலுக்கான ஒரு கட்டமைப்பாகும். இது ஹடூப்பை விட முக்கியமாக செயல்படுத்துவதில் வேகமாக உள்ளது. புள்ளிவிவர வாசிப்பு, தரவு மாதிரி மற்றும் முன்கூட்டியே சோதனை போன்ற பல சிக்கல்களைத் தீர்க்க எம்.எல்.பியும் வல்லது.

ஏன் தீப்பொறி ஹடூப்பிற்கு மாற்றாக இல்லை

ஹடூப்பின் கைகளைத் துடைக்கும் இடத்தில் ஸ்பார்க்கிற்கு பல அம்சங்கள் இருந்தபோதிலும், அது இன்னும் ஹடூப்பை மாற்ற முடியாது என்பதற்கு இன்னும் பல காரணங்கள் உள்ளன.

முதலில், ஸ்பார்க்குடன் ஒப்பிடும்போது ஹடூப் ஒரு பெரிய கருவிகளை வழங்குகிறது. இது தொழில்துறையில் அங்கீகரிக்கப்பட்ட பல நடைமுறைகளையும் கொண்டுள்ளது. அப்பாச்சி ஸ்பார்க் இருப்பினும், டொமைனில் இன்னும் இளமையாக இருக்கிறார், மேலும் ஹடூப்புடன் இணையாக இருக்க சிறிது நேரம் தேவைப்படும்.

முழு அளவிலான செயல்பாடுகளை இயக்கும் போது ஹடூப்பின் மேப்ரூட் சில தொழில் தரங்களையும் நிர்ணயித்துள்ளது. மறுபுறம், ஸ்பார்க் முழுமையான நம்பகத்தன்மையுடன் செயல்பட முற்றிலும் தயாராக இல்லை என்று இன்னும் நம்பப்படுகிறது. பெரும்பாலும், தீப்பொறியைப் பயன்படுத்தும் நிறுவனங்கள், அவற்றின் தேவைகளுக்குத் தயாராக இருப்பதற்கு, அதை நன்றாக மாற்ற வேண்டும்.

ஹடூப்பின் மேப் ரெட்யூஸ், ஸ்பார்க்கை விட நீண்ட நேரம் இருந்ததால், கட்டமைக்கவும் எளிதானது. கரடுமுரடான திட்டுக்களை உண்மையில் சோதிக்காத ஒரு புதிய தளத்தை இது வழங்குகிறது என்பதைக் கருத்தில் கொண்டு, ஸ்பார்க்குக்கு இது பொருந்தாது.

நிறுவனங்கள் ஸ்பார்க் மற்றும் ஹடூப் பற்றி என்ன நினைக்கின்றன

பல நிறுவனங்கள் ஏற்கனவே தங்கள் தரவு செயலாக்க தேவைகளுக்கு ஸ்பார்க்கைப் பயன்படுத்தத் தொடங்கியுள்ளன, ஆனால் கதை அங்கு முடிவடையவில்லை. இது ஒரு அற்புதமான தரவு செயலாக்க தளமாக மாற்றும் பல வலுவான அம்சங்களைக் கொண்டுள்ளது. இருப்பினும், இது சரிசெய்ய வேண்டிய குறைபாடுகளின் நியாயமான பங்கையும் கொண்டுள்ளது.

அப்பாச்சி ஸ்பார்க் தங்குவதற்கு இங்கே உள்ளது என்பது ஒரு தொழில் கருத்து, இது தரவு செயலாக்க தேவைகளுக்கான எதிர்காலம் கூட. இருப்பினும், இது இன்னும் நிறைய மேம்பாட்டுப் பணிகளையும் மெருகூட்டலையும் மேற்கொள்ள வேண்டும், அது அதன் திறனை உண்மையாகப் பயன்படுத்த அனுமதிக்கும்.

நடைமுறை நடைமுறைகள்

அப்பாச்சி ஸ்பார்க் அவர்களின் தரவு செயலாக்க தேவைகளுக்கு ஏற்ற பல நிறுவனங்களால் பயன்படுத்தப்படுகிறது. வணிக ஒத்துழைப்புகளுக்கு தகுதியான கடைகளைத் தேர்ந்தெடுக்க விரும்பும் ஷாப்பிஃபி என்பவரால் மிகவும் வெற்றிகரமான செயலாக்கங்களில் ஒன்று மேற்கொள்ளப்பட்டது. இருப்பினும், அதன் வாடிக்கையாளர்கள் விற்கும் தயாரிப்புகளைப் புரிந்து கொள்ள விரும்பும் போது அதன் தரவுக் கிடங்கு நேரத்தை ஒதுக்கி வைத்தது. ஸ்பார்க்கின் உதவியுடன், நிறுவனம் பல மில்லியன் தரவு பதிவுகளை செயலாக்க முடிந்தது, பின்னர் ஒரு சில நிமிடங்களில் 67 மில்லியன் பதிவுகளை செயலாக்க முடிந்தது. எந்தக் கடைகள் தகுதி வாய்ந்தவை என்பதையும் இது தீர்மானித்தது.

ஸ்பார்க்கைப் பயன்படுத்துவதன் மூலம், Pinterest வளரும் போக்குகளை அடையாளம் காண முடியும், பின்னர் பயனர்களின் நடத்தைகளைப் புரிந்துகொள்ள அதைப் பயன்படுத்துகிறது. இது மேலும் Pinterest சமூகத்தில் சிறந்த மதிப்பைப் பெற அனுமதிக்கிறது. பார்வையாளர்களுக்கு அதன் பரிந்துரைகளை விரைவுபடுத்த உலகின் மிகப்பெரிய பயண தகவல் தளங்களில் ஒன்றான டிரிப் அட்வைசரால் ஸ்பார்க் பயன்படுத்தப்படுகிறது.

முடிவுரை

அப்பாச்சி ஸ்பார்க்கின் வலிமையையும், தற்போது கூட, அது அட்டவணையில் கொண்டுவரும் தனித்துவமான அம்சங்களையும் ஒருவர் சந்தேகிக்க முடியாது. அதன் செயலாக்க சக்தி மற்றும் வேகம், அதன் பொருந்தக்கூடிய தன்மை ஆகியவற்றுடன் எதிர்காலத்தில் வரவிருக்கும் பல விஷயங்களுக்கான தொனியை அமைக்கிறது. இருப்பினும், அதன் முழு திறனை உண்மையிலேயே உணர வேண்டுமானால், அதை மேம்படுத்த வேண்டிய பல பகுதிகளையும் இது கொண்டுள்ளது. ஹடூப் தற்போது சேவையை நிர்வகிக்கும்போது, ​​அப்பாச்சி ஸ்பார்க்கிற்கு ஒரு பிரகாசமான எதிர்காலம் உள்ளது, மேலும் இது தரவு செயலாக்க தேவைகளுக்கான எதிர்கால தளமாக பலரால் கருதப்படுகிறது.