உள்ளடக்கம்
ஆதாரம்: ஜாகுப் ஜிர்சக் / ட்ரீம்ஸ்டைம்.காம்
எடுத்து செல்:
புரவலன் எரிக் கவனாக் தொழில் வல்லுநர்களுடன் பெரிய தரவு பகுப்பாய்வுகளைப் பற்றி விவாதித்தார்.
எரிக்: பெண்கள் மற்றும் தாய்மார்களே, இது 2014 ஆம் ஆண்டின் முடிவு - குறைந்தது, கிட்டத்தட்ட. இது ஆண்டின் கடைசி வெப்காஸ்ட், எல்லோரும்! டெக்வைஸுக்கு வருக! ஆம் உண்மையாக! என் பெயர் எரிக் கவனாக். ஒரு அற்புதமான வெப்காஸ்டுக்கு நான் உங்கள் மதிப்பீட்டாளராக இருப்பேன், எல்லோரும். நான் மிகவும் உற்சாகமாக இருக்கிறேன். எங்களிடம் இரண்டு அற்புதமான ஆய்வாளர்கள் உள்ளனர், மேலும் இரண்டு பெரிய நிறுவனங்கள் - இந்த முழு பெரிய தரவு சுற்றுச்சூழல் அமைப்பில் உண்மையான கண்டுபிடிப்பாளர்கள். பெரிய தரவு பகுப்பாய்வுகளின் திறனைப் பற்றி நாம் பேசப் போகிறோம். எனவே, எல்லோரும் முன்னேறிச் செல்லலாம்.
எங்களிடம் பல வழங்குநர்கள் உள்ளனர். நீங்கள் பார்க்கிறபடி, உங்களுடையது உண்மையிலேயே மேலே உள்ளது. மைக் பெர்குசன் இங்கிலாந்தில் இருந்து எல்லா வழிகளிலும் அழைக்கிறார், அங்கு அவர் தாமதமாக தனது அலுவலக கட்டிடத்தில் தங்குவதற்கு சிறப்பு சலுகைகளைப் பெற வேண்டியிருந்தது. அது அவருக்கு எவ்வளவு தாமதமானது. எங்கள் சொந்த தலைமை ஆய்வாளர் டாக்டர் ராபின் ப்ளூரை ப்ளூர் குழுவில் பெற்றுள்ளோம். எங்களிடம் ரெட் பாயிண்ட் குளோபலின் தலைமை நிர்வாக அதிகாரியும் இணை நிறுவனருமான ஜார்ஜ் கொருகெடோ மற்றும் எஸ்ஏஎஸ் இன்ஸ்டிடியூட்டின் மூத்த தீர்வுகள் கட்டிடக் கலைஞர் கீத் ரெனிசன் ஆகியோர் உள்ளனர். இவை அருமையான நிறுவனங்கள், எல்லோரும். இவை உண்மையில் புதுமையான நிறுவனங்கள். பெரிய தரவுகளின் முழு உலகிலும் இப்போது என்ன நடக்கிறது என்பதற்கான சில நல்ல விஷயங்களை நாங்கள் ஆராயப்போகிறோம். அதை எதிர்கொள்வோம், சிறிய தரவு நீங்கவில்லை. அதற்கு, எனது நிர்வாக சுருக்கத்தை இங்கே தருகிறேன்.
எனவே, ஒரு பழைய பிரெஞ்சு வெளிப்பாடு உள்ளது: "அதிகமான விஷயங்கள் மாறும்போது, அவை அப்படியே இருக்கும்." இங்கே சில உண்மைகளை எதிர்கொள்வோம் - பெரிய தரவு சிறிய தரவின் சிக்கல்களை தீர்க்கப்போவதில்லை. கார்ப்பரேட் சிறிய தரவு இன்னும் இல்லை. இது இன்னும் எல்லா இடங்களிலும் உள்ளது. இது இன்றைய தகவல் பொருளாதாரத்திற்கான செயல்பாடுகளின் எரிபொருளாகும். சிறிய தரவு என்று அழைக்கப்படுபவர்களுக்கு பெரிய தரவு ஒரு பாராட்டு அளிக்கிறது, ஆனால் அது சிறிய தரவை மாற்றாது. இது இன்னும் இருக்கும். பெரிய தரவைப் பற்றி நிறைய விஷயங்களை நான் விரும்புகிறேன், குறிப்பாக இயந்திரத்தால் உருவாக்கப்பட்ட தரவு போன்ற விஷயங்கள்.
இன்று, சமூக ஊடகத் தரவைப் பற்றி நாம் கொஞ்சம் பேசுவோம், இது மிகவும் சக்திவாய்ந்த விஷயமாகும். எடுத்துக்காட்டாக, சமூகமானது வணிகத்தை எவ்வாறு மாற்றியது என்பதைப் பற்றி நீங்கள் நினைத்தால், இங்கே மூன்று விரைவான வலைத்தளங்களைப் பற்றி சிந்தியுங்கள் :, சென்டர் மற்றும். ஐந்து ஆண்டுகளுக்கு முன்பு, யாரும் அந்த மாதிரியான விஷயங்களைச் செய்யவில்லை என்ற உண்மையைப் பற்றி சிந்தியுங்கள். இந்த நாட்களில் ஒரு முழுமையான ஜாகர்நாட் ஆகும். , நிச்சயமாக, மிகப்பெரியது. இது அழகானது. பின்னர், கார்ப்பரேட் நெட்வொர்க்கிங் மற்றும் தகவல்தொடர்புக்கான நடைமுறை தரநிலை லிங்க்ட்இன் ஆகும். இந்த தளங்கள் மிகப்பெரியவை, மேலும் அவற்றில் உள்ள தரவைப் பயன்படுத்திக்கொள்ள, இது விளையாட்டு மாற்றும் சில செயல்பாடுகளை புதுப்பிக்கப் போகிறது. இது உண்மையில் பல நிறுவனங்களுக்கு நிறைய நன்மைகளைச் செய்யப்போகிறது - குறைந்தபட்சம் அதைப் பயன்படுத்திக் கொள்ளும் நிறுவனங்கள்.
பிழைகள் இல்லை, மன அழுத்தமும் இல்லை - உங்கள் வாழ்க்கையை அழிக்காமல் வாழ்க்கையை மாற்றும் மென்பொருளை உருவாக்குவதற்கான படி வழிகாட்டியின் படி
மென்பொருள் தரத்தைப் பற்றி யாரும் அக்கறை கொள்ளாதபோது உங்கள் நிரலாக்க திறன்களை மேம்படுத்த முடியாது.
எனவே, ஆளுகை - ஆளுகை இன்னும் முக்கியமானது. மீண்டும், பெரிய தரவு நிர்வாகத்தின் தேவையை அழிக்காது. மிகவும் வெளிப்படையாக, பெரிய தரவுகளின் உலகை எவ்வாறு நிர்வகிப்பது என்பதில் கவனம் செலுத்த வேண்டிய புதிய தேவை உள்ளது. உங்கள் நடைமுறைகள் மற்றும் கொள்கைகள் உங்களிடம் உள்ளன என்பதை எவ்வாறு உறுதிப்படுத்துவது; சரியான நபர்கள் சரியான தரவை அணுகுவதாக; உங்களுக்கு தொடர்புகள் கிடைத்துள்ளன, இங்கு பரம்பரை சம்பந்தப்பட்டிருக்கிறீர்களா? தரவு எங்கிருந்து வருகிறது, அதற்கு என்ன நேர்ந்தது என்பது உங்களுக்குத் தெரியும். அதெல்லாம் மாறிக்கொண்டே இருக்கிறது.
இந்த முழு புதிய உலகிலும் ஹடூப் சுற்றுச்சூழல் அமைப்பை மேம்படுத்துவதில் நான் கண்ட சிலவற்றால் நான் மிகவும் ஈர்க்கப்பட்டேன், இது செயல்பாட்டின் அடிப்படையில் சேமிப்பதை விட அதிகம். ஹடூப் ஒரு கணக்கீட்டு இயந்திரம். அந்த கணக்கீட்டு சக்தியை, அந்த இணையான செயலாக்க திறனை எவ்வாறு பயன்படுத்துவது என்பதை நிறுவனம் கண்டுபிடிக்க வேண்டும். அவர்கள் உண்மையிலேயே மிகச் சிறந்த விஷயங்களைச் செய்யப் போகிறார்கள். அதைப் பற்றி இன்று அறிந்து கொள்வோம்.
குறிப்பிட வேண்டிய மற்றொரு விஷயம், இது டாக்டர் ப்ளூர் சமீப காலங்களில் பேசிய ஒன்று, புதுமை அலை முடிந்துவிடவில்லை. எனவே, ஹடூப்பைச் சுற்றி நிறைய கவனத்தை நாங்கள் கண்டிருக்கிறோம். கிளவுட்ரா மற்றும் ஹார்டன்வொர்க்ஸ் போன்ற நிறுவனங்களை நாங்கள் பார்த்துள்ளோம், உங்களுக்குத் தெரியும், உண்மையில் சில அலைகளை உருவாக்குகிறது. அவர்கள் இன்று அழைப்பில் உள்ள நிறுவனங்களுடன் மிகவும் வெளிப்படையாக கூட்டாண்மைகளை வளர்த்து வருகின்றனர். மேலும் அவர்கள் நிறைய பேருடன் கூட்டாண்மைகளை வளர்த்துக் கொள்கிறார்கள். ஆனால் புதுமை அலை முடிந்துவிடவில்லை. அப்பாச்சி அறக்கட்டளையில் இருந்து வெளியேறும் பல திட்டங்கள் உள்ளன, அவை இறுதி புள்ளியை மட்டுமல்ல, நீங்கள் விரும்பினால் - மக்கள் பயன்படுத்தும் பயன்பாடுகள் - ஆனால் உள்கட்டமைப்பு.
எனவே, YARN இன் இந்த முழு வளர்ச்சியும் - மற்றொரு வள பேச்சுவார்த்தையாளர் - உண்மையில் பெரிய தரவுகளுக்கான இயக்க முறைமை போன்றது. இது ஒரு பெரிய, பெரிய விஷயம். எனவே, இது விஷயங்களையும் எவ்வாறு மாற்றுகிறது என்பதை நாங்கள் அறியப்போகிறோம். எனவே, இங்கே ஒரு சில தெளிவான ஆலோசனைகள், நீண்ட ஒப்பந்தங்கள் முன்னோக்கிச் செல்வது குறித்து எச்சரிக்கையாக இருங்கள், உங்களுக்குத் தெரியும், ஐந்து-, பத்து ஆண்டு ஒப்பந்தங்கள் அலைகளாக இருக்கும், எனக்குத் தோன்றும் பாதை. எல்லா செலவிலும் பூட்டுவதைத் தவிர்க்க விரும்புகிறீர்கள். அதையெல்லாம் பற்றி இன்று நாம் அறியப்போகிறோம்.
எனவே, இன்று எங்கள் முதல் ஆய்வாளர் பேசுகிறார் - முழு திட்டத்தின் முதல் பேச்சாளர் மைக் பெர்குசன், இங்கிலாந்திலிருந்து அழைக்கிறார். அதனுடன், மைக், சாவியை உங்களிடம் ஒப்படைக்கப் போகிறேன், அதை எடுத்துச் செல்ல அனுமதிக்கிறேன். மைக் பெர்குசன், தளம் உங்களுடையது.
மைக், நீங்கள் அங்கே இருக்கிறீர்களா? நீங்கள் ஊமையாக இருக்கலாம். நான் அவரைக் கேட்கவில்லை. நாம் அவரை திரும்ப அழைக்க வேண்டியிருக்கும். நாங்கள் ராபின் ப்ளூரின் ஸ்லைடுகளுக்கு மேலே செல்வோம். ராபின், நான் இங்கே ஏழை மைக் பெர்குசன் மீது தரவரிசை பெறப் போகிறேன். நான் ஒரு நொடி செல்லப் போகிறேன்.
அது நீ, மைக்? எங்களை கேட்க முடியுமா? வேண்டாம். நாம் முதலில் முன்னேறி ராபினுடன் செல்ல வேண்டும் என்று நினைக்கிறேன். எனவே, ஒரு நொடி பிடி, எல்லோரும். ஸ்லைடுகளுக்கான சில இணைப்புகளை ஓரிரு நிமிடங்களில் இழுப்பேன். எனவே, அதனுடன், சாவியை ராபின் ப்ளூரிடம் ஒப்படைக்கிறேன். ராபின், மைக்கிற்கு பதிலாக நீங்கள் முதலில் செல்லலாம், நான் ஒரு நொடியில் மைக்கை அழைப்பேன்.
ராபின்: சரி.
எரிக்: பிடி, ராப். நான் மேலே சென்று உங்கள் ஸ்லைடை இங்கே எழுப்புகிறேன், ராப். இது ஒரு நொடி எடுக்கப் போகிறது.
ராபின்: சரி.
எரிக்: ஆமாம். ஆளுகை அடிப்படையில், நாங்கள் என்ன கையாள்கிறோம் என்பதைப் பற்றி நீங்கள் பேசலாம். நீங்கள் ஆளுகை பற்றி பேசப் போகிறீர்கள் என்பது எனக்குத் தெரியும். இது பொதுவாக சிறிய நிறுவன தரவுகளின் கருத்தில் கருதப்படுகிறது. எனவே இப்போது, நான் ஸ்லைடை எழுப்பினேன், ராபின். எதையும் நகர்த்த வேண்டாம். இங்கே நீங்கள் செல்லுங்கள். தளம் உங்களுடையது. அதை கொண்டு செல்லுங்கள்.
ராபின்: சரி. ஆம். அதாவது, நாங்கள் முன்பே ஏற்பாடு செய்திருந்தோம், மைக் பகுப்பாய்வு பக்கத்தைப் பற்றி பேசுவார், நான் ஆளுகை பக்கத்தைப் பற்றி பேசுவேன். ஒரு குறிப்பிட்ட அளவிற்கு, ஆளுகை பகுப்பாய்வுகளைப் பின்பற்றுகிறது, இது நீங்கள் பெரிய தரவு விஷயங்களைச் செய்கிறீர்கள் என்பதற்கான ஒரு காரணம், மற்றும் பகுப்பாய்வுகளைச் செய்ய நீங்கள் எல்லா மென்பொருட்களையும் ஒன்று சேர்ப்பதற்கான காரணம், அங்குதான் மதிப்பு உள்ளது.
ஒரு சிக்கல் உள்ளது. பிரச்சினை என்னவென்றால், உங்களுக்குத் தெரியும், தரவு சண்டையிடப்பட வேண்டும். தரவை மார்ஷல் செய்ய வேண்டும். தரவுகளை ஒன்றிணைத்து நிர்வகிக்க வேண்டும், இது பகுப்பாய்வுகளை முழு நம்பிக்கையுடன் நடக்க உதவுகிறது - நான் நினைக்கிறேன், இந்த வார்த்தை. எனவே, சமன்பாட்டின் நிர்வாகப் பக்கத்தைப் பற்றி நான் பேசுவேன் என்று நினைத்தேன். நான் நினைக்கிறேன், சொல்ல வேண்டிய விஷயம், உண்மையில், உங்களுக்கு தெரியும், ஆட்சி ஏற்கனவே ஒரு பிரச்சினையாக இருந்தது. ஆளுகை ஏற்கனவே ஒரு பிரச்சினையாக இருந்தது, மேலும் இது தரவுக் கிடங்கு விளையாட்டு முழுவதிலும் ஒரு பிரச்சினையாக மாறத் தொடங்குகிறது.
உண்மையில் என்ன நடந்தது என்பது மிகப் பெரிய பிரச்சினையாக மாறியது. மேலும் இது மிகப் பெரிய பிரச்சினையாகவும், அதிகமான தரவுகளாகவும் மாறியதற்கான காரணம், ஆனால் அதாவது, இவைதான் உண்மையில். தரவு மூலங்களின் எண்ணிக்கை வியத்தகு முறையில் விரிவடைந்துள்ளது. முன்னதாக, எங்களிடம் உள்ள தரவு ஆதாரங்கள் தரவுக் கிடங்கிற்கு உணவளித்தவற்றால் பெரிதும் வரையறுக்கப்பட்டுள்ளன. தரவுக் கிடங்கு பொதுவாக ஆர்டிபி அமைப்புகளால் வழங்கப்படும். இது கொஞ்சம் வெளிப்புற தரவு, அதிகம் இல்லை.
இப்போது, நாங்கள் ஒரு உலகத்திற்குச் சென்றுள்ளோம், உங்களுக்குத் தெரியும், இப்போது ஒரு தரவுச் சந்தை நடைமுறைக்கு வருகிறது, எனவே, தரவுகளில் வர்த்தகம் இருக்கும். நீங்கள் ஏற்கனவே நிறுவனத்திற்கு கொண்டு வரக்கூடிய பல்வேறு ஸ்ட்ரீமிங் தரவின் சுமைகளையும் சுமைகளையும் பெற்றுள்ளீர்கள். எங்களிடம் சமூக ஊடகத் தரவு கிடைத்துள்ளது, அவற்றை எடுத்துச் சென்று, அதன் சொந்த கணக்கில் எடுத்துக்கொண்டது, அதனால் பேச. அதாவது, சமூக ஊடக தளங்களில் உள்ள மதிப்பு உண்மையில் அவை திரட்டப்பட்ட தகவல்களாகும், எனவே மக்களுக்கு கிடைக்கக்கூடியதாக இருக்கும்.
அவை ஏற்கனவே இருந்ததைப் போலவே உங்களுக்குத் தெரியும். எங்களிடம் ஏற்கனவே அந்த பதிவு கோப்புகள் இருந்தன, உங்களுக்குத் தெரியும், ஸ்ப்ளங்கின் வருகையில். விரைவில், ஒரு பதிவு கோப்பில் மதிப்பு உள்ளது என்பது தெளிவாகியது. எனவே, நிறுவனத்திற்குள் தரவு இருந்தது - அவை புதிய தரவு மூலங்களையும் வெளி மூலங்களையும் அழைக்கலாம். எனவே, அது ஒரு விஷயம். இது உண்மையில் அர்த்தம், உங்களுக்குத் தெரியும், தரவு நிர்வாகத்தின் எந்த விதிகள் எங்களிடம் இருந்தன, அவை ஒரு வழியில் அல்லது இன்னொரு வகையில் நீட்டிக்கப்பட வேண்டும், மேலும் உண்மையில் நிர்வகிக்க நீட்டிக்கப்பட வேண்டும் தகவல்கள். ஆனால் நாங்கள் இப்போது ஏதோ ஒரு வழியில் ஒன்றுகூடத் தொடங்குகிறோம்.
இந்த பட்டியலில் இறங்கும்போது எங்களிடம் ஸ்ட்ரீமிங் மற்றும் தரவு வருகையின் வேகம் உள்ளது. ஒன்று, நான் நினைக்கிறேன், ஹடூப்பின் பிரபலத்திற்கான காரணங்கள் என்னவென்றால், இது நிறைய தரவுகளைப் பிடிக்கப் பயன்படும். இது தரவு வேகத்தையும் உட்கொள்ளலாம், நீங்கள் உண்மையில் உடனடியாக அதைப் பயன்படுத்தத் தேவையில்லை என்றால், இது ஒரு நல்ல இணையான, மிகப்பெரிய இணையான சூழல். ஆனால் இப்போது ஸ்ட்ரீமிங் பகுப்பாய்வுகளின் நியாயமான அளவு நடக்கிறது என்பதையும் நீங்கள் பெற்றுள்ளீர்கள். பயன்பாடுகளை ஸ்ட்ரீமிங் செய்வதில் ஆர்வமுள்ள வங்கித் துறைகளாக இது இருந்தது, ஆனால் இப்போது அது உலகளவில் சென்றுவிட்டது. ஒவ்வொருவரும் ஸ்ட்ரீமிங் பயன்பாடுகளை ஏதோ ஒரு வழியில் பார்க்கிறார்கள், தரவுகளிலிருந்து மதிப்பைப் பெறுவதற்கும் நிறுவனத்திற்கான பகுப்பாய்வு செய்வதற்கும் சாத்தியமான வழிமுறையாகும்.
கட்டமைக்கப்படாத தரவு எங்களிடம் உள்ளது. புள்ளிவிவரம், பொதுவாக உலகின் 10% தரவுகளின் ஒரு பகுதி தொடர்புடைய தரவுத்தளங்களில் இருந்தது. இப்போது, அதற்கான முக்கிய காரணங்களில் ஒன்று பெரும்பாலும் அது கட்டமைக்கப்படாதது, அதுதான் - இது ஒரு நல்ல ஒப்பந்தம் வலையில் இருந்தது, ஆனால் பல்வேறு வலைத்தளங்களைப் பற்றி மிகவும் அதிகமாக இருந்தது. அந்தத் தரவு பகுப்பாய்வு செய்யக்கூடியது என்றும் பயன்படுத்தக்கூடியது என்றும் நிரூபிக்கப்பட்டுள்ளது. சைமென்டெக் தொழில்நுட்பத்தின் வருகையுடன் படிப்படியாக நிலைமைக்குள் ஊர்ந்து செல்வது மேலும் மேலும் மேலும் அதிகரித்து வருகிறது.எனவே, கட்டமைக்கப்படாத தரவை உண்மையில் சேகரித்து நிர்வகிக்க வேண்டிய அவசியம் உள்ளது, இதன் பொருள் இது முன்பு இருந்ததை விட மிகப் பெரியது. நான் ஏற்கனவே குறிப்பிட்ட ஒரு சமூகத் தரவை நாங்கள் பெற்றுள்ளோம், ஆனால் அதைப் பற்றிய முக்கிய அம்சம், அதைப் பற்றிய முக்கிய அம்சம், அதற்கு சுத்தம் தேவை.
எங்களிடம் இன்டர்நெட் ஆஃப் திங்ஸ் தரவு கிடைத்துள்ளது. இது ஒரு வித்தியாசமான நிலைமை. அதில் நிறைய இருக்க வாய்ப்புள்ளது, ஆனால் அது இயங்கும் இடத்திற்கு அருகில் எங்காவது விநியோகிக்கப்பட வேண்டியிருக்கும். ஆனால் நீங்கள் ஒரு வழியில் அல்லது வேறு வழியில், தரவில் நிறுவனத்திற்குள் பகுப்பாய்வு செய்ய விரும்புகிறீர்கள். எனவே, இது மற்றொரு காரணியைச் சேர்த்தது. அந்த தரவு வேறு வழியில் கட்டமைக்கப்படும், ஏனென்றால் அது அநேகமாக இருக்கும் - இது அநேகமாக JSON அல்லது XML இல் வடிவமைக்கப்படும், இதனால் அது தன்னை அறிவிக்கிறது. ஒரு வழியில் அல்லது இன்னொரு வகையில், நாம் உண்மையில் தரவை இழுக்கிறோம், அந்த குறிப்பிட்ட தரவைப் படிக்கும்போது ஒரு வகையான திட்டத்தைச் செய்ய முடியும்.
ஆதாரம் தொடர்பான சிக்கலை நாங்கள் பெற்றுள்ளோம், இது ஒரு பகுப்பாய்வு பிரச்சினை. நீங்கள் தரவைச் செய்யும் எந்தவொரு பகுப்பாய்வின் முடிவுகளும் உண்மையில் இருக்க முடியாது - நீங்கள் விரும்பினால் - அங்கீகரிக்கப்பட்டவை, செல்லுபடியாகும் என்று எடுக்கப்படும், தரவு ஆதாரம் உங்களுக்குத் தெரியாவிட்டால். அதாவது, தரவு விஞ்ஞானிகளின் செயல்பாட்டின் அடிப்படையில் இது தொழில்முறை மட்டுமே. ஆனால் உங்களுக்குத் தெரியும், தரவு ஆதாரமாக இருக்க, இதன் பொருள் நாம் உண்மையில் தரவை நிர்வகிக்க வேண்டும் மற்றும் அதன் பரம்பரைக்கு ஒரு குறிப்பை வைத்திருக்க வேண்டும்.
கணினி சக்தி மற்றும் இணையான சிக்கல்கள் எங்களிடம் உள்ளன, அதெல்லாம் என்னவென்றால் எல்லாவற்றையும் விரைவாகச் செய்ய வைக்கிறது. சிக்கல் என்னவென்றால், வெளிப்படையாக, சில செயல்முறைகள் எல்லாவற்றிற்கும் மிக மெதுவாக இருக்கலாம். எனவே, வேகத்தின் அடிப்படையில் பொருந்தவில்லை.
இயந்திர கற்றலின் வருகையை நாங்கள் பெற்றுள்ளோம். இயந்திரக் கற்றல் பகுப்பாய்வுகளை முன்பு இருந்ததை விட வித்தியாசமான விளையாட்டாக மாற்றுவதன் விளைவைக் கொண்டுள்ளது. ஆனால் உங்களுக்கு சக்தி கிடைத்தால் மட்டுமே அதைப் பயன்படுத்த முடியும்.
புதிய பகுப்பாய்வு பணிச்சுமைகளின் உண்மையை நாங்கள் பெற்றுள்ளோம். எங்களுக்கு ஒரு இணையான உலகம் கிடைத்துள்ளது, மேலும் சில பகுப்பாய்வு வழிமுறைகள் அதிகபட்ச விளைவுக்கு இணையாக செயல்படுத்தப்பட வேண்டும். எனவே சிக்கல் உண்மையில் நீங்கள் எவ்வாறு, ஒரு வழியில் அல்லது இன்னொரு வகையில், தரவைச் சுற்றி தள்ளுங்கள், அவை கிடைத்தால் தரவை எவ்வாறு உருவாக்குகின்றன என்பதை நிர்வகிக்கிறது. பகுப்பாய்வு பணிச்சுமைகளை நீங்கள் உண்மையில் எங்கே இயக்குகிறீர்கள், ஏனென்றால் நீங்கள் அதை தரவுத்தளத்தில் செய்து கொண்டிருக்கலாம். எனவே, நீங்கள் அதை பகுப்பாய்வு பயன்பாடுகளுக்குள் செய்து கொண்டிருக்கலாம்.
எனவே, முழு அளவிலான ஆளுகை சவால்கள் உள்ளன. இந்த ஆண்டு நாங்கள் என்ன செய்தோம் - இந்த ஆண்டு நாங்கள் செய்த ஆராய்ச்சி உண்மையில் பெரிய தரவுக் கட்டமைப்பைச் சுற்றி இருந்தது. நாம் உண்மையில் அதைப் பொதுமைப்படுத்த முயற்சிக்கும்போது, நாங்கள் வந்த முடிவு - நாங்கள் கொண்டு வந்த வரைபடம் இதைப் போன்றது.
நான் இதற்கு செல்லப் போவதில்லை, குறிப்பாக மைக் பகுப்பாய்வுகளுக்கான தரவுக் கட்டமைப்பில் நியாயமான தொகையைச் செய்யப் போகிறார். ஆனால் நான் உண்மையில் மக்கள் கவனம் செலுத்த விரும்புவது என்னவென்றால், நாம் இருக்கும் இந்த அடிப்பகுதி, ஒரு வழியில் அல்லது இன்னொரு வகையில், தரவை ஒன்று திரட்டுகிறது. தரவு சுத்திகரிப்பு நிலையம் அல்லது தரவு செயலாக்க மையமாக நான் குறிப்பிட விரும்பும் ஒன்று எங்களிடம் உள்ளது. அங்குதான் ஆளுகை நடைபெறுகிறது. எனவே, உங்களுக்குத் தெரியும், நாங்கள் கவனம் செலுத்தினால், அது அப்படித்தான் தெரிகிறது. உள் மற்றும் வெளி மூலங்களிலிருந்து தரவுகள் வழங்கப்படுகின்றன என்பது உங்களுக்குத் தெரியும். கோட்பாடு, உருவாக்கப்படும் அனைத்து தரவையும் எடுத்துக்கொள்வது மையமாக இருக்க வேண்டும். நீங்கள் பகுப்பாய்வு மற்றும் ஸ்ட்ரீமிங் தரவைச் செய்ய வேண்டியிருந்தால், அது ஸ்ட்ரீம் செய்யப்படுவதால் அதை ஸ்ட்ரீம் செய்து நிர்வகிக்க வேண்டும், பின்னர் மையத்திற்கு அனுப்ப வேண்டும். இல்லையெனில், இது அனைத்தும் மையத்திற்குள் வருகிறது. மேலும் பல விஷயங்கள் நடக்கின்றன - அவை மையத்தில் நடந்து கொண்டிருக்கின்றன. நீங்கள் ஒரு குறிப்பிட்ட அளவு பகுப்பாய்வு மற்றும் SQL மையத்தில் நடக்க முடியாது. ஆனால் ஒவ்வொரு கலத்திலும் தரவு மெய்நிகராக்கத்தின் தேவையை நீங்கள் பெற்றுள்ளீர்கள். ஆனால் அது ஏதேனும் நடப்பதற்கு முன்பு, தரவு தயாரிப்பைச் சுத்திகரிக்க நீங்கள் ஒரு வழியில் அல்லது இன்னொரு வழியில் தேவை. நீங்கள் அதை தரவு தயாரிப்பு என்று அழைக்கலாம். இது அதைவிட மிகப் பெரியது. இந்த விஷயங்கள் இதில் அடங்கும் என்று நான் நினைக்கிறேன்.
தரவு அடுக்கின் முக்கிய பகுதி இதுதான் என்று ஒரு வகையில், கணினி மேலாண்மை மற்றும் சேவை மேலாண்மை எங்களிடம் உள்ளது, பின்னர் நாங்கள் செயல்பாட்டு முறைமை மேலாண்மை முயற்சியை நிர்வகிக்கும் அனைத்து அமைப்புகளையும் உண்மையில் பயன்படுத்த வேண்டும், நாங்கள் பாரம்பரியமாக அனைத்து செயல்பாட்டு அமைப்புகளுக்கும் செய்துள்ளோம். ஆனால் இந்த பல்வேறு சேவை நிலைகள் பூர்த்தி செய்யப்படுகிறதா என்பதை உறுதிப்படுத்த மற்ற விஷயங்களை கண்காணிக்க எங்களுக்கு ஒரு விதத்தில் தேவை, ஏனென்றால் வரையறுக்கப்பட்ட சேவை நிலைகள் அல்லது எந்தவிதமான பகுப்பாய்வுகளும் செயல்பட வேண்டும், அல்லது BI தரவு நடவடிக்கை எடுக்கப்படுகிறது.
எங்களுக்கு செயல்திறன் கண்காணிப்பு மற்றும் மேலாண்மை தேவை. வேறு ஏதேனும் இருந்தால், பல்வேறு புள்ளிகளில் நாம் ஒதுக்க வேண்டிய கணினி வளங்களை மேலும் அறிய நமக்கு இது தேவை. ஆனால், பணிச்சுமை ஒரு மோசமான நிறைய இங்கே உண்மையில், மிகவும் சிக்கலானது மற்றும் வளங்களுக்காக ஒருவருக்கொருவர் போட்டியிடுகிறது. மிகவும் சிக்கலான ஒன்று அந்த பகுதியில் செய்யப்பட வேண்டும்.
இதற்கு முன்பு இல்லாத வகையில் தரவு வாழ்க்கைச் சுழற்சியை இப்போது பெற்றுள்ளோம். இங்குள்ள ஒப்பந்தம் உண்மையில் எல்லாவற்றிற்கும் மேலானது மற்றும் அதற்கு அப்பாற்பட்டது, நாங்கள் தரவைச் சேகரித்து அதற்கு முன் அதைத் தூக்கி எறியவில்லை. எங்களுக்குத் தேவையான தரவைச் சேகரிக்க முனைந்தோம், அநேகமாக அதை வைத்திருக்கிறோம், பின்னர் அதை காப்பகப்படுத்துகிறோம். ஆனால் இங்கிருந்து நாம் என்ன செய்யப்போகிறோம் என்பதில் ஒரு மோசமான விஷயம் தரவை ஆராய்கிறது. நீங்கள் தரவை விரும்பவில்லை என்றால், அதை புதைப்போம். எனவே, தரவு வாழ்க்கைச் சுழற்சிகள் நிலைமையைப் பொறுத்து வேறுபட்டவை, ஆனால் தரவின் மோசமான திரட்டலாகவும் இருக்கும். ஆகையால், ஒரு மொத்தம் எங்கிருந்து வந்தது என்பதை அறிவது உங்களுக்குத் தெரியும்… திரட்டலின் ஆதாரம் என்ன, மற்றும் பல. அதெல்லாம் அவசியம்.
தரவு பரம்பரை இயற்கையாகவே கடன் கொடுக்கிறது. இது இல்லாமல், நீங்கள் சிக்கல்களை அறிந்து கொள்ள வேண்டும், எனவே தரவு… தரவு செல்லுபடியாகும் என்பதை நாங்கள் அறிந்து கொள்ள வேண்டும், ஆனால் அது உண்மையில் எவ்வளவு நம்பகமானது.
எங்களிடம் தரவு மேப்பிங் கிடைத்துள்ளது, ஏனென்றால் நிறைய தரவு உண்மையில் ஒரு வழியில் அல்லது வேறு வழியில் இருக்கும். இது, நீங்கள் விரும்பினால், இது எம்.டி.எம்மில் ஒரு குறிப்பிட்ட அளவிற்கு தொடர்புடையது. இது இப்போது மிகவும் சிக்கலானது, ஏனென்றால் நீங்கள் JSON ஆல் வரையறுக்கப்பட்ட ஏராளமான தரவைப் பெற்றிருக்கும்போது அல்லது எங்கள் எக்ஸ்எம்எல் திட்டத்தை அடிப்படையாகக் கொண்டு படிக்கும்போது, நீங்கள் ஒரு வழியில் அல்லது இன்னொரு வழியில் மிகவும் சுறுசுறுப்பாக இருக்க வேண்டும் தரவு மேப்பிங் செயல்பாடு நடக்கிறது.
எம்.டி.எம்-ஐ விட அதிகமான ஒரு மெட்டாடேட்டா மேலாண்மை நிலைமை உள்ளது, ஏனென்றால் ஒரு வழியில் அல்லது இன்னொரு வழியில், நீங்கள் இப்போது விரும்பும் எல்லாவற்றையும் ஒரு வகையான மெட்டாடேட்டா கிடங்காக நான் நினைக்க விரும்புகிறேன். மெட்டாடேட்டா உள்ளது கண்டுபிடிப்பு, ஏனென்றால் சில தரவுகள் அதன் மெட்டாடேட்டாவை அறிவிக்க வேண்டிய அவசியமில்லை, உடனடியாக அதைப் பயன்படுத்த விரும்புகிறோம். பின்னர், தரவு சுத்திகரிப்பு உள்ளது, இது அங்கு ஒருவர் எவ்வாறு செய்ய முடியும் என்பது ஒரு பெரிய விஷயம். தரவு பாதுகாப்பும் உள்ளது. இந்த தரவு அனைத்தும் ஏற்றுக்கொள்ளத்தக்க அளவிற்கு பாதுகாக்கப்பட வேண்டும், மேலும் இது சில நிகழ்வுகளில் கூட குறிக்கப்படலாம் - உதாரணமாக, நிறைய மதிப்புகளை குறியாக்குகிறது.
எனவே, இந்த பணிச்சுமை அனைத்தும் உண்மையில் நிர்வாக சாம்ராஜ்யமாகும். இவை அனைத்தும், ஏதோ ஒரு வகையில், ஒரே நேரத்தில் அல்லது அதற்கு முன், நமது பகுப்பாய்வு நடவடிக்கைகள் அனைத்தும் நடந்து கொண்டிருக்க வேண்டும். இது ஏராளமான ஒருங்கிணைந்த பயன்பாடுகள். இது ஒரு அமைப்பாகும். பின்னர், பல்வேறு புள்ளிகளில் அதைச் செய்யாதவர்கள் முன்னோக்கிச் செல்லும்போது அதன் பற்றாக்குறையால் பாதிக்கப்படுவார்கள், ஏனென்றால் இவற்றில் ஏராளமான விஷயங்கள் உண்மையில் விருப்பமல்ல. நீங்கள் அவற்றைச் செய்யாவிட்டால் என்ட்ரோபியை அதிகரிப்பீர்கள்.
எனவே, தரவு பகுப்பாய்வு மற்றும் நிர்வாகத்தைப் பொறுத்தவரை, நான் சொல்லும் விஷயம் என்னவென்றால், உண்மையில், ஒரு கை மற்றொன்றைக் கழுவுகிறது. ஆளுகை இல்லாமல், பகுப்பாய்வு மற்றும் பிஐ ஆகியவை சரியான நேரத்தில் தடுமாறாது. பகுப்பாய்வு மற்றும் பிஐ இல்லாமல், எப்படியும் தரவை நிர்வகிக்க அதிக தேவை இருக்காது. எனவே, இரண்டு விஷயங்களும் உண்மையில் கைகோர்த்து நடக்கின்றன. அவர்கள் மத்திய கிழக்கில் சொல்வது போல், "ஒரு கை மற்றொன்றைக் கழுவுகிறது." உண்மையில் நான் சொல்ல வேண்டியது இதுதான். நான் நம்புகிறேன் - வட்டம், நாங்கள் இப்போது மைக்கை திரும்பப் பெற்றுள்ளோம்.
எரிக்: நாங்கள் செய்கிறோம். மைக், நீங்கள் அங்கே இருக்கிறீர்கள் என்று கருதுகிறேன். நான் உங்கள் ஸ்லைடை மேலே தள்ளப் போகிறேன்.
மைக்: நான். சரி, நீங்கள் என்னைக் கேட்கலாமா?
எரிக்: ஆமாம், நான் உன்னைக் கேட்க முடியும். நீங்கள் அருமையாக ஒலிக்கிறீர்கள். எனவே, நான் அறிமுகப்படுத்துகிறேன்… அங்கே நீங்கள் செல்லுங்கள். நீங்கள் இப்போது தொகுப்பாளர். அதை கொண்டு செல்லுங்கள்.
மைக்: சரி, நன்றி! அங்குள்ள உங்கள் அனைவருக்கும் இனிய காலை வணக்கம், நல்ல மதியம், நல்ல மாலை. ஆரம்பத்தில் விக்கலை மன்னியுங்கள். சில காரணங்களால், நான் என்னை முடக்கியுள்ளேன், எல்லோரையும் பார்க்க முடியும், ஆனால் அவர்களால் நான் கேட்க முடியவில்லை.
சரி. எனவே, நான் விரைவாக செய்ய விரும்புவது பெரிய தரவு பகுப்பாய்வு சுற்றுச்சூழல் அமைப்பு பற்றி உங்களுக்குத் தெரியும். நீங்கள் என்னிடம் கேள்விகளைக் கேட்க விரும்பினால், இந்த அமர்வில் அல்லது அதற்குப் பிறகு, எனது தொடர்பு விவரங்களை இங்கே நீங்கள் பிடிக்கலாம். நான் சொன்னது போல், இங்கிலாந்தில் நள்ளிரவில்.
சரி, நான் பேச விரும்புவதைப் பெறுகிறேன். கடந்த சில ஆண்டுகளில், வணிகங்கள் இப்போது பகுப்பாய்வு செய்ய விரும்பும் அனைத்து வகையான புதிய-வகையான தரவுகளின் வெளிப்பாட்டை நாங்கள் கண்டிருக்கிறோம் - கிளிக்ஸ்ட்ரீம் தரவுகளிலிருந்து ஆன்லைன் நடத்தைகளைப் புரிந்துகொள்வது, எரிக் பேசும் சமூக ஊடகத் தரவு இங்கே திட்டத்தின் ஆரம்பம். ராபின் JSON, BSON, XML ஐ குறிப்பிட்டுள்ளார் என்று நினைக்கிறேன் - எனவே, சுய-விவரிக்கும் அரை கட்டமைக்கப்பட்ட தரவு. நிச்சயமாக, எங்களிடம் ஒரு டன் மற்ற பொருட்களும் கிடைத்துள்ளன - கட்டமைக்கப்படாத தரவு, தகவல் தொழில்நுட்ப உள்கட்டமைப்பு பதிவுகள், சென்சார் தரவு. வணிகங்கள் இப்போது ஆர்வமாக உள்ள இந்த ஒப்பீட்டளவில் புதிய தரவு மூலங்கள் அனைத்தும் மதிப்புமிக்க நுண்ணறிவைக் கொண்டிருப்பதால், நமக்குத் தெரிந்தவற்றை ஆழப்படுத்தக்கூடும்.
எனவே, அடிப்படையில் பகுப்பாய்வு நிலப்பரப்பு பாரம்பரிய தரவுக் கிடங்கிற்கு அப்பால் நகர்ந்துள்ளது. கட்டமைக்கப்பட்ட மற்றும் பல கட்டமைக்கப்பட்ட தரவுகளின் கலவையின் தரவை நாங்கள் இன்னும் கட்டமைக்கிறோம், அங்கு பல கட்டமைக்கப்பட்ட தரவு பல சந்தர்ப்பங்களில் நிறுவனத்தின் உள்ளே அல்லது வெளியில் இருந்து வரக்கூடும். இந்த புதிய தரவு வகைகள் மற்றும் பகுப்பாய்வு செய்வதற்கான புதிய தேவைகளின் விளைவாக, புதிய பகுப்பாய்வு பணிச்சுமைகள் தோன்றுவதை நாங்கள் கண்டிருக்கிறோம் - தரவை இயக்கத்தில் பகுப்பாய்வு செய்வதிலிருந்து எல்லாமே, எந்த வகையான பாரம்பரிய தரவுக் கிடங்கு கட்டமைப்பை அதன் தலையில் திருப்புகிறது, ஓரளவு, எங்கே , பாரம்பரிய வட்டங்களில், தரவை ஒருங்கிணைத்து, அதை சுத்தம் செய்து, மாற்றி, சேமித்து, பகுப்பாய்வு செய்தது. ஆனால் இயக்கத்தில் தரவைப் பகுப்பாய்வு செய்வது, தரவைப் பிடிக்கிறோம், ஒருங்கிணைத்து, அதை பகுப்பாய்வு செய்வதன் மூலம் அதைத் தயாரித்து பின்னர் சேமித்து வைக்கிறோம். எனவே, தரவு எங்கும் சேமிக்கப்படுவதற்கு முன்பு பகுப்பாய்வு நடைபெறுகிறது.
கட்டமைக்கப்பட்ட தரவின் சிக்கலான பகுப்பாய்வு, ஒருவேளை மாதிரி மேம்பாடு, புள்ளிவிவர மற்றும் முன்கணிப்பு மாதிரி மேம்பாட்டிற்காக, இது ஒரு பாரம்பரிய தரவுக் கிடங்கு இடத்தில் சிலருக்கு புதியதல்ல. ஆன்-மாடல் தரவின் ஆய்வு பகுப்பாய்வு கிடைத்துள்ளது. அதுதான் அங்கு கட்டமைக்கப்பட்ட தரவின் அளவு. வரைபட சேவையின் வடிவத்தில் புதிய பணிச்சுமைகளைப் பெற்றுள்ளோம், இது நிதி சேவைகளில் எனது வாடிக்கையாளர்களுக்கு மோசடி போன்றவற்றை உள்ளடக்கியது. இதில் இணைய பாதுகாப்பும் அடங்கும். இது சமூக வலைப்பின்னல்களை உள்ளடக்கியது, நிச்சயமாக, செல்வாக்கு செலுத்துபவர்களைப் புரிந்துகொள்வது மற்றும் அது போன்ற விஷயங்கள். நான் அதை நிர்வாகத்தில் தேர்ச்சி பெற்றேன், சில ஆண்டு வரைபட பகுப்பாய்வு உள்ளது.
தரவுக் கிடங்கு உகப்பாக்கம் அல்லது ஈ.டி.எல் செயலாக்கத்தை ஆஃப்லோடிங் செய்துள்ளோம், இது ஒரு வகையான ஐ.டி பயன்பாட்டு வழக்கு, சி.ஐ.ஓ அதற்கு நிதியளிக்கக்கூடும். ஹடூப் போன்ற விஷயங்களில் ஆன்லைனில் வைத்திருக்க தரவு மற்றும் தரவுக் கிடங்குகளை காப்பகப்படுத்துகிறது. எனவே, இந்த புதிய பகுப்பாய்வு பணிச்சுமைகள் அனைத்தும் புதிய தளங்களை, புதிய சேமிப்பக தளங்களை பகுப்பாய்வு நிலப்பரப்பில் சேர்த்துள்ளன. எனவே, பாரம்பரிய தரவுக் கிடங்குகள், டேட்டா மார்ட்கள் ஆகியவற்றைக் கொண்டிருப்பதை விட, இப்போது நமக்கு கிடைத்திருப்பது ஹடூப். பகுப்பாய்வு பணிச்சுமைகளுக்கு பெரும்பாலும் பயன்படுத்தப்படும் வரைபட தரவுத்தளங்கள் போன்ற NoSQL தரவுத்தளங்கள் எங்களிடம் உள்ளன. நிச்சயமாக, நாம் இப்போது வரைபட பகுப்பாய்வை ஹடூப்பிலும், ஒரு NoSQL வரைபட டிபிஎம்எஸ்ஸிலும் செய்யலாம். ராபின் குறிப்பிட்ட ஸ்ட்ரீமிங் பகுப்பாய்வுகளை நாங்கள் பெற்றுள்ளோம். நாங்கள் விரும்பினால் - நீங்கள் விரும்பினால் - மாதிரிகளை உருவாக்குதல், ஒருவேளை பகுப்பாய்வு தரவுக் கிடங்கு சாதனங்களிலும். ஆனால் இவை அனைத்தும் பகுப்பாய்வு நிலப்பரப்பை சிக்கலாக்கியுள்ளன, இப்போது பல தளங்கள் தேவைப்படுகின்றன. ஒரு முன் அலுவலகம் அல்லது பின் அலுவலகம், அல்லது நிதி, கொள்முதல், மனிதவள மற்றும் சில வகையான செயல்பாடுகளைக் கொண்ட எந்தவொரு வணிகத்திற்கும் சவாலை நான் யூகிக்கிறேன், ஒரு பாரம்பரிய தரவுக் கிடங்கு காட்சியுடன் எந்த பகுப்பாய்வு திட்டங்கள் தொடர்புடையவை என்பதைக் கண்டுபிடிப்பது. பகுப்பாய்வு திட்டங்கள் இந்த புதிய பெரிய தரவு தளங்களுடன் தொடர்புடையது மற்றும் எங்கு இயங்குவது என்பது உங்களுக்குத் தெரிந்தவுடன், எந்த பகுப்பாய்வு பணிச்சுமை, ஆனால் வணிகத்தின் பார்வையை இழக்கக்கூடாது என்பது உங்களுக்குத் தெரியும் - இது இப்போது பெரிய கலவையாகும் தரவு பகுப்பாய்வு திட்டங்கள் மற்றும் பாரம்பரிய பெரிய தரவுக் கிடங்கு திட்டங்கள் ஆகியவை வாடிக்கையாளரைச் சுற்றிலும் அல்லது செயல்பாடுகளைச் சுற்றியும், இடர், அல்லது நிதி அல்லது நிலைத்தன்மையையும் வலுப்படுத்த ஒன்றாகத் தேவைப்படுகின்றன. எனவே, இவை அனைத்தும் எங்கள் மூலோபாய வணிக முன்னுரிமைகளுடன் ஒத்துப்போக வேண்டும் என்று நாங்கள் விரும்புகிறோம், நாங்கள் தொடர்ந்து கண்காணிக்க வேண்டும், உங்களுக்குத் தெரியும், தள்ளப்பட வேண்டிய ஊசிகளைத் தள்ளுங்கள், உங்களுக்குத் தெரியும், வணிக செயல்திறனை மேம்படுத்த, செலவைக் குறைக்க, ஒட்டுமொத்தமாக எங்கள் நிறுவனத்திற்கு அபாயங்கள் போன்றவற்றைக் குறைக்க உங்களுக்குத் தெரியும். எனவே, ஒருவர் இங்கே மற்றொன்றை பெரிய தரவு மற்றும் பாரம்பரியத்துடன் மாற்றுவதில்லை. இவை இரண்டும் ஒன்றாகப் பயன்படுத்தப்படுகின்றன. அது கட்டிடக்கலையை வியத்தகு முறையில் மாற்றுகிறது, உங்களுக்குத் தெரியும்.
எனவே, நான் இங்கே வைத்திருப்பது எனது வாடிக்கையாளர்களுடன் நான் பயன்படுத்தும் ஒப்பீட்டளவில் புதிய கட்டமைப்பு. எனவே, இப்போது நீங்கள் கீழே காணக்கூடியது போல, பரந்த அளவிலான தரவு மூலங்கள், இனி கட்டமைக்கப்படவில்லை. அவற்றில் சில சென்சார்கள் போன்ற நேரடி தரவுகளை ஸ்ட்ரீமிங் செய்கின்றன, சந்தை தரவு போன்றவை, அந்த வகையான விஷயம். இது நேரடி கிளிக் ஸ்ட்ரீம் தரவுகளாக கூட இருக்கலாம். இது நேரடி வீடியோ ஸ்ட்ரீமிங் தரவாக இருக்கலாம். எனவே இது கட்டமைக்கப்பட வேண்டியதில்லை. எனவே, உண்மையான நேரத்தில் தானியங்கி நடவடிக்கைகளை எடுக்க அந்தத் தரவில் ஸ்ட்ரீம் செயலாக்கத்தை நாங்கள் செய்யலாம், மேலும் ஆர்வமுள்ள எந்தவொரு தரவும் வடிகட்டப்பட்டு ஒரு நிறுவன தகவல் மேலாண்மை கருவிகளில் அனுப்பப்படலாம், அவை பகுப்பாய்வு தரவுக் கடைகளை விரிவுபடுத்த பயன்படுகிறது. இங்கே கலவையில் நீங்கள் காண முடியாவிட்டால், இப்போது எங்களுக்கு பாரம்பரிய தரவுக் கிடங்கு, ஹடூப் மற்றும் NoSQL தரவுத்தளங்கள் கிடைத்துள்ளன. கலவையிலும் முதன்மை தரவு நிர்வாகத்தைப் பெற்றுள்ளோம். இது முழு தரவு மேலாண்மை கருவி தொகுப்பிலும் அதிக அழுத்தத்தை அளிக்கிறது, இந்த தரவுக் கடைகளை விரிவுபடுத்துவதோடு மட்டுமல்லாமல் அவற்றுக்கிடையே தரவை நகர்த்தவும்.
அதற்கு மேல், அணுகல் கருவிகளை எளிமைப்படுத்த வேண்டும். நாங்கள் பயனரிடம் திரும்பி, "இந்த எல்லா தரவுக் கடைகளையும் பெறுங்கள், இந்த API களை வைத்திருங்கள் - உங்கள் பிரச்சினை" என்று சொல்ல முடியாது. அணுகலை எளிதாக்குவதே நீங்கள் செய்ய வேண்டியது. எனவே, அங்குள்ள புள்ளியிடப்பட்ட வரிகளில், தரவு மெய்நிகராக்கம் மற்றும் தேர்வுமுறை பல தரவு சேமிப்பகத்தின் சிக்கலை மறைப்பதை நீங்கள் காண்பீர்கள், முயற்சி செய்து இறுதி பயனர்களுக்கு இதை எளிதாக அணுகலாம். நிச்சயமாக, மேலே பல வகையான கருவிகள் உள்ளன, உங்களுக்குத் தெரியும் - தரவுக் கிடங்கின் மேற்புறத்தில் தொடங்கிய பாரம்பரிய BI கருவிகளிலிருந்து எல்லாமே, படிப்படியாக உங்கள் விளக்கப்படத்தின் இடதுபுறம் நகர்ந்து ஹடூப்ஸுடன் இணைக்கப்படுகின்றன பின்னர் உலகின் NoSQL தரவுத்தளங்கள்.
ஹடூப்பில் அடிக்கடி சேமிக்கப்படும் உடலின் கட்டமைக்கப்பட்ட, கட்டமைக்கப்படாத தரவைச் சுற்றியுள்ள வாழ்க்கையில் புதிய குத்தகையைப் பெறுவதற்கான தேடலைப் பெற்றுள்ளோம். MapReduce உடன் ஒரு ஹடூப் இயங்குதளத்தில் தனிப்பயன் பகுப்பாய்வு பயன்பாடுகளைச் செய்துள்ளோம், எனவே ஸ்பார்க் கட்டமைப்பு, எடுத்துக்காட்டாக. எங்களிடம் குறிப்பிட்ட பணிச்சுமைகளில் கவனம் செலுத்துவதற்கான வரைபட பகுப்பாய்வு கருவிகள் எங்களிடம் உள்ளன. எனவே, பலவிதமான கருவிகள் மற்றும் தரவு பாய்வுகளும் மிகவும் சிக்கலானவை. இது இனி தரவுக் கிடங்கில் ஒரு வழித் தெரு அல்ல. இது இப்போது முதன்மை தரவு.
புதிய தரவு மூலங்கள் வந்துள்ளன, அவை NoSQL இல் கைப்பற்றப்பட்டுள்ளன, உங்களுக்குத் தெரியும், மோங்கோடிபி போன்ற தரவுக் கடைகள், கசாண்ட்ரா போன்றவை, HBase போன்றவை. பகுப்பாய்வு மற்றும் தரவு தயாரிப்பிற்காக தரவை நேரடியாக ஹடூப்பில் கொண்டு வந்துள்ளோம். ஹடூப் மற்றும் தரவுக் கிடங்குகளிலிருந்து புதிய நுண்ணறிவுகள் வெளிவந்துள்ளன. தரவுக் கிடங்குகளில் இருந்து ஹடூப்பில் காப்பகம் வந்துள்ளது. இப்போது எங்களுக்கு தரவு ஊட்டங்கள் கிடைத்துள்ளன, உங்களுக்குத் தெரியும், எல்லா NoSQL தரவுத்தளங்களும் தரவு மார்ட்களும். எனவே, நீங்கள் இங்கே காணக்கூடியது என்னவென்றால், தரவு நிர்வாகத்தில் இன்னும் அதிகமான செயல்பாடுகள் உள்ளன. இது தரவு மேலாண்மை மென்பொருளை கணிசமான அழுத்தத்திற்கு உள்ளாக்குகிறது என்பதாகும். இது இனி ஒரு வழித் தெரு அல்ல. இது இரு வழி தரவு இயக்கம். இது இன்னும் நிறைய செயல்பாடுகள் நடந்து கொண்டிருக்கின்றன, எனவே, தரவு மேலாண்மை-கருவி முன்னணியில் மற்றும் தரவு மூலத்திலும் அளவிடுதல் முக்கியமானது.
எனவே, இந்த விளக்கப்படம் ஒரு கணம் முன்பு நான் குறிப்பிட்ட அந்த கட்டிடக்கலைக்கு செல்கிறது. இந்த கட்டமைப்பின் வெவ்வேறு பகுதிகளில் இயங்கும் வெவ்வேறு பகுப்பாய்வு பணிச்சுமைகளை இது காட்டுகிறது. கீழே இடதுபுறத்தில் வரிசைப்படுத்தினால், நீங்கள் நிகழ்நேர ஸ்ட்ரீமிங், ஸ்ட்ரீம் செயலாக்கம் தரவுகளில் இருந்து வெளிவருகிறது, உங்களுக்குத் தெரியும், எந்த வகையான நேரடி தரவுக் கடையிலும். NoSQL வரைபட தரவுத்தளங்களில் வகுப்பு பகுப்பாய்வு நடக்கிறது. இது ஹடூப்பிலும் நிகழலாம். எடுத்துக்காட்டாக, ஸ்பார்க் கட்டமைப்பையும், கிராஃப்எக்ஸையும் கொண்டு, விசாரணை பகுப்பாய்வு மற்றும் ஹடூப்பில் நடப்பது பற்றி ராபின் பேசும் தரவு சுத்திகரிப்பு நிலையம் எங்களுக்கு கிடைத்துள்ளது. பாரம்பரிய பணிச்சுமைகள் இன்னும் நடந்து கொண்டிருக்கின்றன, தரவுக் கிடங்கு, உங்களுக்குத் தெரியும், சக்தி பயனர்கள் புள்ளிவிவர மற்றும் முன்கணிப்பு மாதிரிகளை உருவாக்குகிறார்கள், ஒருவேளை தரவுக் கிடங்கு சாதனங்களில். இறுதி பயனர்களுக்கு எளிதாக்குவதற்காக இவை அனைத்தையும் அணுகுவதை இன்னும் எளிதாக்க முயற்சிக்கிறோம்.
எனவே, இந்த முழு அமைப்பையும் சுற்றியுள்ள வெற்றி பகுப்பாய்வு பக்கத்தை விட அதிகம். பகுப்பாய்வு தளங்களை நாங்கள் வைக்கலாம் என்பது உங்களுக்குத் தெரியும், ஆனால் அதிக வேகம் மற்றும் அதிக அளவிலான தரவை எங்களால் கைப்பற்றி உட்கொள்ள முடியாவிட்டால், அதிக புள்ளி இல்லை. நான் பகுப்பாய்வு செய்ய எதுவும் இல்லை என்பது உங்களுக்குத் தெரியும். எனவே, பெரிய தரவு பகுப்பாய்வுகளின் வெற்றிக்கு செயல்பாட்டு அமைப்புகள் அளவிடப்பட வேண்டும். அதாவது, புதிய பரிவர்த்தனைகளை ஆதரிக்க முடியும் என்பது உங்களுக்குத் தெரியும். பரிவர்த்தனை அல்லாத எந்தவொரு தரவும் கைப்பற்றப்படுவது உங்களுக்குத் தெரியும், எந்தவொரு புதிய வருகை விகிதங்களும் மிக அதிகமாக இருக்கும், சென்சார்கள் அல்லது அதிக உட்கொள்ளல் போன்ற உயர்-வேக தரவுகளில் மிக உயர்ந்த வருகை விகிதங்கள். இவை அனைத்தையும் நாம் பூர்த்தி செய்ய முடியும் - இந்த வகையான தரவைக் கைப்பற்றி பகுப்பாய்விற்கு கொண்டு வர முடியும். நாங்கள் பகுப்பாய்வுகளையும் அளவிட வேண்டும், நான் ஏற்கனவே குறிப்பிட்ட தரவுக்கான அணுகலை எளிதாக்க வேண்டும். பின்னர், அதை கட்டுங்கள். உங்களுக்கு தெரியும், ஒரு மூடிய வளையத்தை வழங்க அந்த செயல்பாட்டு அமைப்புகளில் மீண்டும் செம்மைப்படுத்த முடியும்.
எனவே, தரவைப் பிடிக்க வீட்டின் செயல்பாட்டு பக்கத்தை அளவிடுவது உங்களுக்குத் தெரியும், NoSQL தரவுத்தள உலகிற்கு எடுத்துச் செல்கிறது. அதாவது, இங்கே நீங்கள் NoSQL தரவுத்தளத்தின் ஐந்து வகைகளைக் காண்கிறீர்கள். இது வகை என்பது மேலே உள்ள மற்ற நான்கின் கலவையாக இருக்கும். பொதுவாக, உங்களுக்குத் தெரியும், அதன் முக்கிய மதிப்புகள், சேமிக்கப்பட்ட ஆவணங்கள் மற்றும் நெடுவரிசை குடும்ப தரவுத்தளங்கள் - அங்குள்ள முதல் மூன்று - அவை அதிக வகையான பரிவர்த்தனை மற்றும் பரிவர்த்தனை அல்லாத தரவுகளுக்குப் பயன்படுத்தப்படுகின்றன.
அந்த தரவுத்தளங்களில் சில பண்புகளாக ஆதரிக்கின்றன; அவற்றில் சில இல்லை. ஆயினும்கூட, உங்களுக்குத் தெரியும், அந்த வகையான பயன்பாடுகளை அளவிடுவதற்கான அறிமுகத்தை நாங்கள் காண்கிறோம். எனவே, எடுத்துக்காட்டாக, விசைப்பலகைகளில் பரிவர்த்தனைகளில் நுழையும் ஊழியர்களிடமிருந்து இப்போது வாடிக்கையாளர்களுக்கும், புதிய சாதனங்களைப் பயன்படுத்தும் மக்களுக்கும் அதைச் செய்ய நாங்கள் விலகிச் செல்கிறோம். நிறுவனங்களுக்குள் நுழையும் பரிவர்த்தனைகளின் எண்ணிக்கையில் மிகப்பெரிய அதிகரிப்பு இருப்பதைக் கண்டோம். எனவே, அதைச் செய்ய நாம் பரிவர்த்தனை பயன்பாடுகளை அளவிட வேண்டும்.
இப்போது, பொதுவாக, இது நியூ.எஸ்.கியூ.எல் தரவுத்தளங்களில் இங்கே காட்டப்பட்டுள்ள NuoDB மற்றும் VoltDB போன்ற தொடர்புடைய தரவுத்தளமாக செய்யப்படலாம். அல்லது பரிவர்த்தனை செயலாக்கத்திற்கு உத்தரவாதம் அளிக்கக்கூடிய ACID பண்புகளை ஆதரிக்கும் சில NoSQL தரவுத்தளங்கள் செயல்படக்கூடும். இது ஒரு பரிவர்த்தனைக்கு முந்தைய வணிக வண்டி தரவு போன்ற பரிவர்த்தனை அல்லாத தரவுகளுக்கும் பொருந்தும், உங்களுக்குத் தெரியும், மக்கள் பொருட்களை வாங்குவதற்கு முன், சென்சார் தரவு, உங்களுக்குத் தெரியும், நூற்றுக்கணக்கான மில்லியன் சென்சார் அளவீடுகளில் நான் ஒரு சென்சார் வாசிப்பை இழக்கிறேன். இது ஒன்றும் பெரிய விஷயமல்ல. கிளிக் ஸ்ட்ரீம் உலகில், உங்களுக்குத் தெரியும், நான் ஒரு கிளிக்கைப் பயன்படுத்தினால், அது ஒன்றும் பெரிய விஷயமல்ல.எனவே, உங்களுக்குத் தெரியும், அங்கு ACID பண்புகள் இருக்க வேண்டிய அவசியமில்லை, அதுதான் பெரும்பாலும் NoSQL தரவுத்தளங்கள் செயல்பாட்டுக்கு வருகின்றன, அது இருந்தது - இந்த புதிய வகையான தரவைப் பிடிக்க மிக உயர்ந்த, சரியான செயலாக்கத்தை செய்யக்கூடிய திறன்.
அதே நேரத்தில், பகுப்பாய்வு அளவிட வேண்டும் என்று நாங்கள் விரும்புகிறோம். எனவே, தரவுக் கடைகளிலிருந்து தரவை பகுப்பாய்வு தளங்களுக்கு இழுப்பது இனி அதை ஹேக் செய்யப் போவதில்லை, ஏனெனில் தரவு மிகப் பெரியது. நாம் உண்மையிலேயே விரும்புவது என்னவென்றால், பகுப்பாய்வுகளை வேறு வழியில், நிறுவன தரவுக் கிடங்கிற்குள் ஹடூப்பிற்குள், ஸ்ட்ரீம் செயலாக்கத்தில் பகுப்பாய்வுகளை தரவுக்குத் தள்ள முடியும். இருப்பினும், இது தரவுத்தள பகுப்பாய்வுகளில் அல்லது ஹடூப் பகுப்பாய்வில் இருப்பதாக ஒருவர் கூறுவதால், பகுப்பாய்வு இணையாக இயங்குவதாக அர்த்தமல்ல. மிகவும் வெளிப்படையாக, தரவுக் கிடங்கு உபகரணங்கள் மற்றும் வாட்நொட் போன்ற ஹடூப் போன்ற இந்த புதிய பாரிய இணையான அளவிடக்கூடிய தொழில்நுட்பங்களில் நீங்கள் முதலீடு செய்யப் போகிறீர்கள் என்றால், க்ளஸ்டர்டு ஸ்ட்ரீம் பிராசசிங் என்ஜின்கள் போன்றவை, இணையாக இயங்க எங்களுக்கு பகுப்பாய்வு தேவை.
எனவே, இது செக் அவுட் மட்டுமே. வாடிக்கையாளர்களுக்கான விஷயங்கள், செயல்பாடுகள், ஆபத்து போன்றவற்றைக் கணிக்க எங்களுக்கு பகுப்பாய்வு கிடைத்தால், அவை இயங்குதளத்தில் இயங்காமல், இணையாக இயங்க வேண்டும் என்று நாங்கள் விரும்புகிறோம். இரண்டையும் நாங்கள் விரும்புகிறோம். SAS போன்ற புதிய காட்சி கண்டுபிடிப்பு கருவிகளைப் போலவே தொழில்நுட்பமும் இருக்கிறது என்பது உங்களுக்குத் தெரியும். இது உண்மையில் இங்கே எங்கள் ஆதரவாளர்களில் ஒருவர்.
மக்கள் விரும்புவது ஒன்று ஹடூப்பில் உள்ளவர்களையும் பின்னர் தரவுத்தள பகுப்பாய்வுகளையும் சுரண்டுவதாகும். அத்தகைய உயர் தரவு தொகுதிகளில் தேவையான செயல்திறனை வழங்குவதற்காக அவை இணையாக இயங்க வேண்டும் என்று நாங்கள் விரும்புகிறோம். அதே நேரத்தில், இவை அனைத்திற்கும் அணுகலை எளிதாக்க முயற்சிக்கிறோம். எனவே, SQL இப்போது மீண்டும் நிகழ்ச்சி நிரலில் உள்ளது. உங்களுக்கு தெரியும், SQL என்பது - ஹடூப்பில் SQL இப்போது சூடாக உள்ளது. நான் இப்போது 19 SQL மற்றும் Hadoop முயற்சிகளில் கண்காணிக்கிறேன். கூடுதலாக, இந்த தரவை நாங்கள் பல வழிகளில் பெறலாம் என்பதை நீங்கள் காணலாம், இதனால் ஹடூப்பில் SQL ஐ நேரடியாக அணுகலாம், நாங்கள் SQL ஐ ஒரு தேடல் குறியீட்டுக்கு செல்லலாம். அந்த இடத்திலுள்ள சில தேடல் விற்பனையாளர்கள் போன்ற வகையில், ஹடூப்பிற்கு எக்செல் அட்டவணைகள் உள்ள பகுப்பாய்வு தொடர்புடைய தரவுத்தளங்களுக்கான SQL அணுகலை நாங்கள் பெறலாம்.
நாம் இப்போது ஒரு தரவு மெய்நிகராக்க சேவையகத்திற்கு SQL அணுகலைப் பெறலாம், பின்னர் அதை ஹடூப்பில் உள்ள தரவுக் கிடங்கில் இணைக்க முடியும். நேரடி ஸ்ட்ரீமிங் தரவிற்கான SQL அணுகல் தோன்றுவதை நான் இப்போது காணத் தொடங்குகிறேன். எனவே, இவை அனைத்திற்கும் SQL அணுகல் வேகமாக வளர்ந்து வருகிறது. சவாலின் ஒரு பகுதி என்னவென்றால், SQL அணுகல் அங்கு விற்பனை செய்யப்படுவதால் தான். கேள்வி என்னவென்றால், SQL சிக்கலான தரவை சமாளிக்க முடியுமா? அது நேரடியானதல்ல. JSON தரவு உள்ளமைக்கப்படலாம் என்பது உட்பட அனைத்து வகையான சிக்கல்களும் இங்கே உள்ளன. எங்களிடம் ஸ்கீமா மாறுபாடு பதிவுகள் இருக்கலாம். எனவே, முதல் பதிவுக்கு ஒரு ஸ்கீமா கிடைத்துள்ளது. இரண்டாவது பதிவுக்கு வேறு ஸ்கீமா கிடைத்துள்ளது. இந்த விஷயங்கள் ஒரு தொடர்புடைய உலகில் நடப்பதில் இருந்து மிகவும் வேறுபட்டவை.
எனவே, நாங்கள் எந்த வகையான தரவை பகுப்பாய்வு செய்ய முயற்சிக்கிறோம், என்ன வகையான பகுப்பாய்வு பண்புகள் பற்றிய கேள்விகளை உருவாக்க வேண்டும். நீங்கள் செய்ய விரும்பும் குழு உங்களுக்குத் தெரியுமா? இது இயந்திர கற்றல்? இது வரைபட பகுப்பாய்வா? நீங்கள் அதை SQL இலிருந்து செய்ய முடியுமா? உங்களுக்கு தெரியும், இது SQL இலிருந்து பயன்படுத்த முடியாததா? எத்தனை ஒரே நேரத்தில் பயனர்கள் இதைச் செய்துள்ளோம்? எங்களுக்குத் தெரியும், எங்களுக்கு ஒரே நேரத்தில் நூற்றுக்கணக்கான பயனர்கள் கிடைத்துள்ளனர். சிக்கலான தரவுகளில் அது சாத்தியமா? உங்களுக்கு தெரியும், இந்த விஷயங்கள் அனைத்தும் முக்கிய கேள்விகள். எனவே, நான் இங்கே ஒரு சிலரின் பட்டியலை உருவாக்கினேன், அதை நீங்கள் கருத்தில் கொள்ள வேண்டும் என்று நினைக்கிறேன். உங்களுக்கு தெரியும், என்ன வகையான கோப்பு வடிவங்கள்? நாம் எந்த வகையான தரவு வகைகளைப் பற்றி பேசுகிறோம்? சிக்கலான தரவைப் பெற SQL இலிருந்து என்ன வகையான பகுப்பாய்வு செயல்பாடுகளை நாம் பயன்படுத்தலாம்? மற்றும் வகையான செயல்பாடுகள் இணையாக இயங்கும். அதாவது, இதை நாம் அளவிட முடிந்தால் அவை இணையாக இயங்க வேண்டும். ஹடூப்பில் இன்று அதற்கு வெளியே தரவில் சேர முடியுமா, உங்களுக்குத் தெரியுமா, அல்லது அது செய்ய முடியாததா? இந்த பல்வேறு வகையான வினவல் பணிச்சுமைகளை நான் என்ன செய்வேன்?
நாங்கள் பார்த்தபடி, நான் பார்த்ததிலிருந்து, SQL மற்றும் ஹடூப் விநியோகத்தில் நிறைய வேறுபாடுகள் உள்ளன என்பது உங்களுக்குத் தெரியும். இவை அனைத்தும் நான் கண்காணிக்கிறேன். மேலும், இது ஹடூப்பில் தூய SQL ஆகும். இந்த இடத்தில் தரவு மெய்நிகராக்கம் கூட இதில் இல்லை. எனவே, அடுத்த ஆண்டு, பதினெட்டு மாதங்கள் அல்லது அதற்கு மேல் நடக்கப்போகிறது என்று நான் நினைக்கிறேன். ஆனால் இது இன்னொரு விஷயத்தையும் திறக்கிறது, இது ஹடூப்பில் ஒரே தரவில் பல SQL என்ஜின்களை வைத்திருக்க முடியும். இது தொடர்புடையதாக நீங்கள் செய்ய முடியாத ஒன்று.
நிச்சயமாக, இதன் பொருள் நீங்கள் தெரிந்து கொள்ள வேண்டும், உங்களுக்குத் தெரியும், நான் எந்த வகையான வினவல் பணிச்சுமையை இயக்குகிறேன்? ஹடூப் முன்முயற்சியில் ஒரு குறிப்பிட்ட SQL இல் நான் அதை இயக்க வேண்டுமா? ஹடூப் முன்முயற்சி போன்றவற்றில் உள்ள மற்றொரு SQL மூலம் ஊடாடும் வினவல் பணிச்சுமைகளை நான் இயக்க வேண்டுமா, அதனால் எந்த ஒன்றை இணைக்க வேண்டும் என்று எனக்குத் தெரியுமா? வெறுமனே, நிச்சயமாக, நாம் அதை செய்யக்கூடாது. நாங்கள் உங்களிடம் இருக்க வேண்டும், உங்களுக்குத் தெரியும், அதில் ஒரு கேள்வி கேட்டார். சில ஆப்டிமைசர் அதைச் செய்வதற்கான சிறந்த வழியைக் கண்டுபிடிக்கும் என்பது உங்களுக்குத் தெரியும். ஆனால் நாங்கள் இன்னும் முழுமையாக அங்கு இல்லை என்பது என் கருத்து.
ஆயினும்கூட, தரவு மெய்நிகராக்கம், நான் முன்னர் குறிப்பிட்டது பல தரவுக் கடைகளுக்கான அணுகலை எளிதாக்குவதற்கு மிக முக்கியமான பங்கைக் கொண்டுள்ளது. நாங்கள் ஹடூப்பில் புதிய நுண்ணறிவுகளை உருவாக்கினால், தரவு மெய்நிகராக்கத்தின் மூலம் அந்த தரவு-க்கு-தரவு மற்றும் பாரம்பரிய தரவுக் கிடங்குகளில் சேருவது நிச்சயமாக நம்பத்தகுந்ததாகும், எடுத்துக்காட்டாக, ஹடூப்பிலிருந்து தரவை பாரம்பரிய தரவுக் கிடங்குகளுக்கு நகர்த்தாமல். நிச்சயமாக, நீங்கள் அதை செய்ய முடியும். பாரம்பரிய தரவுக் கிடங்குகளிலிருந்து தரவை ஹடூப்பில் காப்பகப்படுத்தினால் அதுவும் நம்பத்தகுந்ததாகும். என்னால் இன்னும் அதைப் பெற முடியும் மற்றும் தரவு மெய்நிகராக்கலுக்கான எங்கள் தரவுக் கிடங்கில் உள்ள பொருட்களுடன் மீண்டும் சேரலாம். எனவே, என்னைப் பொறுத்தவரை, இந்த ஒட்டுமொத்த கட்டமைப்பில் தரவு மெய்நிகராக்கத்திற்கு ஒரு பெரிய எதிர்காலம் கிடைத்துள்ளது மற்றும் இந்த எல்லா தரவுக் கடைகளுக்கான அணுகலை எளிதாக்குகிறது.
இந்த புதிய நுண்ணறிவுகளை நாம் உருவாக்கும் போது, அது தொடர்புடைய அல்லது NoSQL கணினிகளில் இருந்தாலும், அந்த நுண்ணறிவுகளை எங்கள் செயல்பாடுகளுக்கு மீண்டும் இயக்க விரும்புகிறோம், இதனால் நாம் கண்டறிந்தவற்றின் மதிப்பை அதிகரிக்க முடியும், இதனால் நாம் முடியும் எங்கள் வணிகத்தை மேம்படுத்த அந்த சூழலில் மிகவும் பயனுள்ள, சரியான நேரத்தில் முடிவுகளுக்கு.
எனவே, பின்னர், நான் பார்ப்பது என்னவென்றால், புதிய தரவு மூலங்கள் உருவாகின்றன என்பது உங்களுக்குத் தெரியுமா? அதைக் கையாள, நீங்கள் விரும்பினால், மிகவும் சிக்கலான கட்டமைப்பில் புதிய தளங்களை நாங்கள் பெற்றுள்ளோம். எங்கள் திரவ சாண்ட்பாக்ஸிற்கான தரவு தயாரிப்பதற்கு, காப்பக வினவல், தரவுக் கிடங்கிலிருந்து காப்பகம், தரவு மேலாண்மை அதன் சிறகுகளை விரித்து தரவு கிடங்கைத் தாண்டி இந்த எல்லா தளங்களிலும் தரவை நிர்வகிக்க, மற்றும் புதிய கருவிகள் இந்த சூழல்களில் தரவை பகுப்பாய்வு செய்து அணுக முடியும், தரவை சிறப்பாக உட்கொள்வதற்கு அளவிடக்கூடிய தொழில்நுட்பங்களைக் கொண்டிருக்க முடியும், மேலும் அவற்றை மேடைகளுக்குள் தள்ளுவதன் மூலம் பகுப்பாய்வுகளை அளவிடலாம். பின்னர், வட்டம், மேலதிகமாக வரும் SQL மூலம் அனைத்தையும் அணுகுவதை எளிதாக்குகிறது. எனவே, நாங்கள் எங்கு செல்கிறோம் என்பது குறித்த ஒரு யோசனையை இது வழங்குகிறது. எனவே, அதனுடன், நான் திரும்பிச் செல்வேன், நான் நினைக்கிறேன், எரிக் இப்போது, இல்லையா?
எரிக்: சரி, அது அருமை. எல்லோரும், ராபின் மற்றும் மைக்கிலிருந்து நீங்கள் பெற்றவற்றிற்கு இடையில், நீங்கள் எங்கு வேண்டுமானாலும் கண்டுபிடிக்கப் போவதைப் பார்க்காமல் முழு நிலப்பரப்பின் கண்ணோட்டத்தில் இது விரிவான மற்றும் சுருக்கமாக இருக்கலாம். நான் மேலே சென்று முதலில் ஜார்ஜ் கொருகெடோவை வரிசைப்படுத்துகிறேன். அங்கே அது இருக்கிறது. இதை ஒரு நொடிக்கு விரைவாக எடுத்துக்கொள்கிறேன். சரி, ஜார்ஜ், நான் உங்களிடம் சாவியை ஒப்படைக்கப் போகிறேன். தளம் உங்களுடையது.
ஜார்ஜ்: அருமை! மிக்க நன்றி, எரிக், மற்றும் நன்றி, ராப் மற்றும் மைக். இது சிறந்த தகவல் மற்றும் நாங்கள் ஒப்புக் கொண்ட நிறைய விஷயங்கள். எனவே, ராபினின் விவாதத்திற்குச் செல்வது, ஏனென்றால், ரெட் பாயிண்ட் இங்கே உள்ளது மற்றும் எஸ்ஏஎஸ் இங்கே இருப்பது தற்செயல் நிகழ்வு அல்ல என்பது உங்களுக்குத் தெரியும். ரெட் பாயிண்ட் என்பதால், அதன் தரவு பக்கத்தில் ஆளுகை, தரவை செயலாக்குதல் மற்றும் பகுப்பாய்வுகளில் பயன்படுத்துவதற்கான தயாரிப்பு ஆகியவற்றில் கவனம் செலுத்துகிறோம். எனவே, இந்த இரண்டு ஸ்லைடுகளிலும் நான் குரைக்கிறேன். எம்.டி.எம் பற்றிய ராபின் புள்ளியைப் பற்றி உண்மையிலேயே பேசுங்கள், அது எவ்வளவு முக்கியமானது, எவ்வளவு பயனுள்ளதாக இருக்கும் என்று நான் நினைக்கிறேன் - நாங்கள் நினைக்கிறோம் - ஹடூப் எம்.டி.எம் மற்றும் தரவு தர உலகில் இருக்க முடியும்.
ராபின் கொஞ்சம் கொஞ்சமாகப் பேசிக் கொண்டிருந்தார் என்பது உங்களுக்குத் தெரியும், இது நிறுவன தரவுக் கிடங்கு உலகத்துடன் எவ்வாறு தொடர்புடையது, நான் வருகிறேன் - உங்களுக்குத் தெரியும், நான் பல ஆண்டுகளாக ஆக்சென்ச்சரில் கழித்தேன். சுவாரஸ்யமான விஷயம் என்னவென்றால், நாங்கள் எத்தனை முறை நிறுவனங்களுக்குச் சென்று தரவுக் கிடங்கை என்ன செய்வது என்று கண்டுபிடிக்க முயற்சிக்க வேண்டியிருந்தது. தரவுக் கிடங்கு குழு வணிக பயனர்களிடமோ அல்லது தரவின் நுகர்வோரிடமோ தங்கள் கட்டமைப்பை உண்மையில் சீரமைக்காததால் அது நிறைய நடந்தது. அல்லது, அவர்கள் அந்த விஷயத்தை கட்டியெழுப்பிய நேரத்தில், வணிக பயன்பாடு அல்லது அதற்கான வணிக பகுத்தறிவு உருவாகிவிட்டது.
நான் நினைக்கும் விஷயங்களில் ஒன்று, நான் மிகவும் உற்சாகமாக இருக்கிறேன், மாஸ்டர் தரவு மேலாண்மை, தரவு தரம் மற்றும் தரவு தயாரிப்பிற்காக ஹடூப்பைப் பயன்படுத்துவதற்கான யோசனை, நீங்கள் எப்போதும் அணு தரவுக்கு திரும்பிச் செல்ல முடியும் என்பது ஒரு ஹடூப் தரவு ஏரி அல்லது தரவு நீர்த்தேக்கம், அல்லது தரவு களஞ்சியம், அல்லது மையம் அல்லது நீங்கள் பயன்படுத்த விரும்பும் சலசலப்பு வடிவம் எதுவாக இருந்தாலும். ஆனால் நீங்கள் எப்போதும் அந்த அணு தரவை வைத்திருப்பதால், வணிக பயனர்களுடன் மறுசீரமைக்க உங்களுக்கு எப்போதும் ஒரு வாய்ப்பு உள்ளது. ஏனெனில், ஒரு ஆய்வாளராக - நான் உண்மையில் ஒரு புள்ளிவிவர நிபுணராக எனது வாழ்க்கையைத் தொடங்கினேன் - உங்களுக்குத் தெரியும், இதைவிட மோசமானது எதுவுமில்லை, உங்களுக்குத் தெரியும், நிறுவன தரவுக் கிடங்குகள் அறிக்கைகளை இயக்குவதில் அருமை, ஆனால் நீங்கள் உண்மையிலேயே முன்கணிப்பு பகுப்பாய்வு செய்ய விரும்பினால், அவை உண்மையில் அது மிகவும் பயனுள்ளதாக இல்லை, ஏனென்றால் நீங்கள் உண்மையிலேயே விரும்புவது தரவுக் கிடங்கில் எப்படியாவது சுருக்கமாகவும் திரட்டப்பட்ட சிறுமணி நடத்தை தரவு. எனவே, இது உண்மையில் ஒரு முக்கியமான அம்சம் என்று நான் நினைக்கிறேன், அது ராபினுடன் நான் உடன்படவில்லை என்று நான் நினைக்கிறேன், நான் தனிப்பட்ட முறையில் தரவு ஏரி அல்லது தரவு மையத்தில் தரவை முடிந்தவரை விட்டுவிடுவேன், ஏனென்றால் நீண்ட காலம் தரவு உள்ளது மற்றும் அது சுத்தமாக இருக்கிறது, நீங்கள் அதை ஒரு திசையிலிருந்து, மற்றொரு திசையில் இருந்து பார்க்கலாம். நீங்கள் அதை மற்ற தரவுகளுடன் இணைக்கலாம். அதற்கு திரும்பி வந்து மறுசீரமைக்க உங்களுக்கு எப்போதுமே அந்த வாய்ப்பு உள்ளது, பின்னர் உங்களை ஒரு வணிக அலகு மற்றும் இந்த அலகு கொண்டிருக்க வேண்டிய தேவையுடன் மாற்றியமைக்கவும்.
இதைப் பற்றிய மற்ற வகையான சுவாரஸ்யமான விஷயங்களில் ஒன்று என்னவென்றால், இது ஒரு சக்திவாய்ந்த கணக்கீட்டு தளம் என்பதால், நாம் பேசிக் கொண்டிருக்கும் நிறைய பணிச்சுமை, இவை அனைத்தும் நேராக ஹடூப்பில் வருவதைக் காண்கிறோம். உலகில் உள்ள அனைத்து வெவ்வேறு தொழில்நுட்பங்களைப் பற்றியும் மைக் பேசிக் கொண்டிருந்தார் என்று நான் நினைக்கிறேன் - இந்த வகை பெரிய தரவு சுற்றுச்சூழல் அமைப்பில், கணக்கீட்டு ரீதியாக தீவிரமான செயலாக்கத்தில் பெரிய அளவில் செய்ய ஹடூப் உண்மையில் உழைப்பாளி என்று நாங்கள் நினைக்கிறோம் முதன்மை தரவு மற்றும் தரவு தரம் தேவை. ஏனென்றால், நீங்கள் அதை அங்கே செய்ய முடிந்தால், உங்கள் விலையுயர்ந்த தரவுத்தளங்களிலிருந்து தரவை நகர்த்துவதற்கும், பொருளாதார தரவுத்தளங்களுக்கும் மாற்றுவதற்கான சுத்த பொருளாதாரம் உங்களுக்குத் தெரியும், இது உண்மையில் பெரிய நிறுவனங்களில் இப்போதே அதிக அளவில் முன்னேறுகிறது.
இப்போது, நிச்சயமாக, சில சவால்கள் உள்ளன, இல்லையா? தொழில்நுட்பங்களைச் சுற்றி சவால்கள் உள்ளன. அவர்களில் நிறைய பேர் மிகவும் முதிர்ச்சியற்றவர்கள். உங்களுக்குத் தெரியும், எத்தனை என்று எனக்குத் தெரியாது, ஆனால் மைக் குறிப்பிட்டுள்ள பல தொழில்நுட்பங்கள் இன்னும் பூஜ்ஜிய புள்ளி-ஏதோ வெளியீடுகளில் உள்ளன, இல்லையா? எனவே, இந்த தொழில்நுட்பங்கள் மிகவும் இளமையானவை, மிகவும் முதிர்ச்சியற்றவை, இன்னும் குறியீடு அடிப்படையிலானவை. அது உண்மையில் நிறுவனங்களுக்கு ஒரு சவாலை உருவாக்குகிறது. நிறுவன அளவிலான சிக்கல்களைத் தீர்ப்பதில் நாங்கள் உண்மையில் கவனம் செலுத்துகிறோம். எனவே, வேறு வழி இருக்க வேண்டும் என்று நாங்கள் நினைக்கிறோம், இதுதான் இந்த புதிய தொழில்நுட்பங்களில் சிலவற்றைப் பயன்படுத்துவதில் சில விஷயங்களைப் பற்றிப் பேசுவதற்கான வேறுபட்ட வழியாகும்.
எனவே, இங்கே குறிப்பிடப்பட்டுள்ள மற்ற சுவாரஸ்யமான பிரச்சினை என்னவென்றால், இது முன்னர் குறிப்பிடப்பட்டதாகும், நீங்கள் எந்த வகையிலும் ஒரு ஹடூப் சூழலில் கைப்பற்றும் தரவு உங்களிடம் இருக்கும்போது, உங்களுக்குத் தெரியும், இது வழக்கமாக எழுத்தில் ஸ்கீமாவை விட வாசிப்பின் திட்டமாகும் சில விதிவிலக்குகளுடன். அந்த வாசிப்பு, புள்ளிவிவர வல்லுநர்களால் நிறைய செய்யப்படுகிறது. எனவே, புள்ளிவிவர வல்லுநர்கள் பகுப்பாய்வு நோக்கங்களுக்காக தரவை ஒழுங்காக வடிவமைக்க அனுமதிக்கும் கருவிகளைக் கொண்டிருக்க வேண்டும், ஏனென்றால் நாள் முடிவில், தரவைப் பயனுள்ளதாக மாற்ற, சிலவற்றைக் காண அல்லது ஒரு கேள்விக்கு பதிலளிக்க அல்லது ஏதேனும் ஒரு வடிவத்தில் கட்டமைக்கப்பட வேண்டும். ஒரு வணிகம், சில வகை வணிகங்கள், வணிக மதிப்பை உருவாக்குகின்றன.
எனவே, நாங்கள் எங்கு வருகிறோம் என்றால், எங்களிடம் மிகவும் பரந்த அடிப்படையிலான மற்றும் முதிர்ந்த ஈபிஎல், ஈஎல்டி தரவு தர மாஸ்டர் கீ மற்றும் மேலாண்மை பயன்பாடு உள்ளது. இது பல, பல ஆண்டுகளாக சந்தையில் உள்ளது. அந்த வட்ட வரைபடத்தில் ராபின் பட்டியலிட்டுள்ள அனைத்து செயல்பாடுகளும் அல்லது பெரும்பாலான செயல்பாடுகளும் இதில் உள்ளன - முழு வடிவ வடிவங்கள் மற்றும் எக்ஸ்எம்எல் கட்டமைப்புகள் மற்றும் வாட்நொட்டுகளில் வெறும் தூய மூல தரவு பிடிப்பு முதல் அனைத்து சுத்திகரிப்பு செய்யும் திறன் வரை, தரவை நிறைவு செய்தல், தரவின் திருத்தம், தரவின் புவியியல் மைய பிட்கள். இது இன்டர்நெட் ஆஃப் திங்ஸில் இந்த நாட்களில் மிகவும் முக்கியத்துவம் வாய்ந்த ஒன்றாகும். நாங்கள் என்ன செய்கிறோம் அல்லது அந்தத் தரவின் பெரும்பகுதியுடன் புவியியல் தொடர்புடையது என்பது உங்களுக்குத் தெரியும். எனவே, பாகுபடுத்தல், டோக்கனைசேஷன், சுத்திகரிப்பு, திருத்தம், வடிவமைத்தல், கட்டமைத்தல் போன்றவை அனைத்தும் எங்கள் மேடையில் செய்யப்படுகின்றன.
பின்னர், மற்றும் ஒருவேளை, மிக முக்கியமாக விலக்குதல் யோசனை என்று நாங்கள் நினைக்கிறோம். மாஸ்டர் தரவு நிர்வாகத்தின் எந்தவொரு வரையறையையும் நீங்கள் பார்த்தால், அதன் முக்கிய அம்சம் கழித்தல் ஆகும் என்பது உங்களுக்குத் தெரியும். இது தரவுகளின் வெவ்வேறு மூலங்களில் உள்ள நிறுவனங்களை அடையாளம் காண முடியும், பின்னர் அந்த நிறுவனத்திற்கான முதன்மை பதிவை உருவாக்குகிறது. அந்த நிறுவனம் ஒரு நபராக இருக்கலாம். நிறுவனம் ஒரு விமானத்தின் ஒரு பகுதியாக இருக்கலாம், எடுத்துக்காட்டாக. எங்கள் சுகாதார கிளப் வாடிக்கையாளர்களில் ஒருவருக்கு நாங்கள் செய்ததைப் போலவே இந்த நிறுவனம் ஒரு உணவாக இருக்கலாம். நாங்கள் அவர்களுக்காக ஒரு முதன்மை உணவு தரவுத்தளத்தை உருவாக்கியுள்ளோம். எனவே, நாங்கள் பணிபுரியும் நிறுவனங்கள் எதுவாக இருந்தாலும் - நிச்சயமாக, பெருகிய முறையில், மக்கள் மற்றும் அவர்களின் அடையாளங்களுக்கான பிரதிநிதிகள் சமூக கையாளுதல்கள் அல்லது கணக்குகள் போன்றவை, மக்களுடன் தொடர்புடைய எந்த சாதனங்கள், கார்கள் மற்றும் சில விஷயங்கள் தொலைபேசிகள் மற்றும் வேறு எதையாவது நீங்கள் கற்பனை செய்யலாம்.
எல்லா வகையான சென்சார்களையும் விளையாட்டு உடையில் செலுத்தும் வாடிக்கையாளருடன் நாங்கள் பணியாற்றுகிறோம் என்பது உங்களுக்குத் தெரியும். எனவே, தரவு ஒவ்வொரு திசையிலிருந்தும் வருகிறது. ஒரு வழியில் அல்லது வேறு வழியில், இது முக்கிய நிறுவனத்தின் பிரதிபலிப்பு அல்லது பிரதிநிதித்துவம். மேலும் பெருகிய முறையில், அந்த நபர்கள் மற்றும் இந்த தரவு மூலங்களுக்கிடையேயான உறவுகளை அடையாளம் காணும் திறன் மற்றும் அவை அந்த முக்கிய நிறுவனத்துடன் எவ்வாறு தொடர்பு கொள்கின்றன, பின்னர் அந்த முக்கிய நிறுவனத்தை காலப்போக்கில் கண்காணிக்க முடியும், இதனால் அந்த நிறுவனத்திற்கு இடையிலான மாற்றங்களை நீங்கள் பகுப்பாய்வு செய்து புரிந்து கொள்ள முடியும். மற்றும் அந்த நிறுவனத்தின் பிரதிநிதித்துவங்களில் உள்ள மற்ற அனைத்து கூறுகளும், எடுத்துக்காட்டாக, மக்களின் நீண்ட கால மற்றும் நீளமான பகுப்பாய்விற்கு மிகவும் முக்கியமானவை. இது உண்மையிலேயே மிக முக்கியமான நன்மைகளில் ஒன்றாகும், பெரிய தரவு நம்மை கொண்டு வர முடியும் என்பது மக்களைப் பற்றிய சிறந்த புரிதல், மற்றும் நீண்ட காலமாக, மற்றும் கான் மற்றும் மக்கள் எந்த சாதனங்கள் போன்றவற்றின் மூலம் நடந்து கொள்ளும்போது அவர்கள் எவ்வாறு நடந்துகொள்கிறார்கள் என்பதைப் புரிந்து கொள்ளுங்கள். .
எனவே, விரைவாக இங்கு செல்ல அனுமதிக்கிறேன். எரிக் YARN ஐக் குறிப்பிட்டுள்ளார். உங்களுக்குத் தெரியும், நான் இதை ஒரு நொடிக்கு எறிந்து விடுகிறேன், ஏனென்றால் YARN - மக்கள் YARN பற்றி பேசுகிறார்கள். YARN பற்றி இன்னும் நிறைய அறியாமை இருக்கிறது என்று நான் நினைக்கிறேன். உண்மையில் நிறைய பேர் இல்லை - YARN பற்றி இன்னும் நிறைய தவறான புரிதல்கள் உள்ளன. உண்மை என்னவென்றால், உங்கள் பயன்பாடு சரியான வழியில் கட்டமைக்கப்பட்டிருந்தால், உங்கள் பயன்பாட்டு கட்டமைப்பில் சரியான நிலை அல்லது இணைப்படுத்தல் இருந்தால், உங்கள் அளவிடுதல் தளமாக ஹடூப்பைப் பயன்படுத்த நீங்கள் YARN ஐப் பயன்படுத்திக் கொள்ளலாம். அதைத்தான் நாங்கள் செய்துள்ளோம்.
YARN ஐச் சுற்றியுள்ள சில வரையறைகளை சுட்டிக்காட்டுவதற்கு மீண்டும் உங்களுக்குத் தெரியும். எங்களைப் பொறுத்தவரை, உண்மையில் YARN என்பது எங்களுக்கும் பிற நிறுவனங்களுக்கும் MapReduce மற்றும் Spark உடன் சகாக்களாக மாற உதவியது, மேலும் அங்குள்ள மற்ற எல்லா கருவிகளும். ஆனால் உண்மை என்னவென்றால், எங்கள் பயன்பாடுகள் உகந்த குறியீட்டை நேரடியாக YARN இல் ஹடூப்பில் செலுத்துகின்றன. மைக் குறிப்பிட்டுள்ள ஒரு சுவாரஸ்யமான கருத்து உள்ளது, ஏனென்றால், பகுப்பாய்வு மற்றும் எங்கள் பகுப்பாய்வுகளைப் பற்றிய கேள்வி, அவை கிளஸ்டரில் இருப்பதால், அவை உண்மையில் இணையாக இயங்குகின்றனவா? அங்கு இருக்கும் நிறைய தரவு தர கருவிகளைப் பற்றி நீங்கள் அதே கேள்வியைக் கேட்கலாம்.
பெரும்பாலான நாட்களில், தரமான கருவிகள் தரவை வெளியே எடுக்க வேண்டும் அல்லது அவை குறியீட்டை உள்ளே தள்ளுகின்றன. மேலும் பல சந்தர்ப்பங்களில், இது தரவின் ஒற்றை ஸ்ட்ரீம் தான், நீங்கள் செய்ய வேண்டிய வழி காரணமாக செயலாக்கப்படுகிறது பதிவுகளை ஒப்பிடுங்கள், சில நேரங்களில் தரவு-தர வகை செயல்பாடுகளில். உண்மை என்னவென்றால், நாங்கள் YARN ஐப் பயன்படுத்துவதால், இணைமயமாக்கலை நாங்கள் உண்மையில் பயன்படுத்திக் கொள்ள முடிந்தது.
உங்களுக்கு ஒரு விரைவான கண்ணோட்டத்தை வழங்குவதற்காக, பாரம்பரிய தரவுத்தளங்கள், புதிய தரவுத்தளங்கள் போன்றவற்றை விரிவுபடுத்துவதன் முக்கியத்துவத்தைப் பற்றி மற்றொரு கருத்து தெரிவிக்கப்படுவதால், நாங்கள் செயல்படுத்துகிறோம் அல்லது கிளஸ்டருக்கு வெளியே நிறுவுகிறோம். நாங்கள் எங்கள் பைனரிகளை நேரடியாக வள மேலாளரான YARN க்கு தள்ளுகிறோம். அதுவும், பின்னர் YARN அதை கிளஸ்டரில் உள்ள முனைகளில் விநியோகிக்கிறது. அது என்னவென்றால், YARN - அதன் வேலையை நிர்வகிக்கவும் செய்யவும் YARN ஐ அனுமதிக்கிறோம், இது தரவு எங்குள்ளது என்பதைக் கண்டுபிடித்து வேலையை தரவுக்கு எடுத்துச் செல்லுதல், தரவிற்கான குறியீடு மற்றும் தரவை நகர்த்துவதில்லை. தரவு தரக் கருவிகளை நீங்கள் கேட்கும்போது, தரவை ஹடூப்பிலிருந்து நகர்த்துவது, உங்கள் வாழ்க்கையை இயக்குவது என்று அவர்கள் உங்களுக்குச் சிறந்த நடைமுறையைச் சொல்கிறார்கள், ஏனென்றால் அது அப்படியே இல்லை. நீங்கள் வேலையை தரவுக்கு கொண்டு செல்ல விரும்புகிறீர்கள். YARN முதலில் அதைத்தான் செய்கிறது. இது எங்கள் பைனரிகளை தரவு வசிக்கும் முனைகளுக்கு எடுத்துச் செல்கிறது.
நாங்கள் கிளஸ்டருக்கு வெளியே இருப்பதால், பாரம்பரிய மற்றும் தொடர்புடைய தரவுத்தளங்கள் அனைத்தையும் அணுகலாம், எனவே ஒரு பாரம்பரிய தரவுத்தளத்தில் 100% கிளையன்ட் சேவையகம், 100% ஹடூப் அல்லது ஹடூப் கிளையன்ட் சேவையகம் முழுவதும் செல்லும் கலப்பின வேலைகள் போன்ற வேலைகளை நாங்கள் பெறலாம். , ஆரக்கிள், டெரடாடா - நீங்கள் விரும்புவது மற்றும் அனைத்துமே ஒரே வேலையில் இருப்பதால், ஒரு செயல்படுத்தல் உலகின் இரு பக்கங்களையும் அணுக முடியும்.
பின்னர், கருவிகளின் நாசத்தின் முழு யோசனைக்கும் திரும்பிச் செல்வது, நீங்கள் இங்கே பார்க்கிறீர்கள், இது ஒரு எளிய பிரதிநிதித்துவம் மட்டுமே. நாம் செய்ய முயற்சிப்பது உலகை எளிதாக்குவதாகும். எச்.டி.எஃப்.எஸ்ஸைச் சுற்றியுள்ள ஒரு பரந்த செயல்பாட்டைக் கொண்டுவருவதன் மூலம் நாங்கள் அதைச் செய்கிறோம் ... மேலும் இது எல்லா புதுமையான தொழில்நுட்பங்களையும் அகற்ற முயற்சிப்பதால் அல்ல. இது நிறுவனங்களுக்கு ஸ்திரத்தன்மை தேவை, மேலும் அவை குறியீடு அடிப்படையிலான தீர்வுகளை விரும்புவதில்லை. எனவே, நாங்கள் என்ன செய்ய முயற்சிக்கிறோம் என்பது நிறுவனங்களுக்கு ஒரு பழக்கமான, மீண்டும் மீண்டும் செய்யக்கூடிய, நிலையான பயன்பாட்டு சூழலைக் கொடுப்பதாகும், இது தரவை மிகவும் கணிக்கக்கூடிய வகையில் உருவாக்க மற்றும் செயலாக்குவதற்கான திறனை அவர்களுக்கு வழங்குகிறது.
விரைவாக, இது எங்கள் பயன்பாட்டுடன் நாம் பெறும் தாக்கமாகும். நீங்கள் MapReduce vs. Pig vs. RedPoint - RedPoint இல் குறியீட்டின் கோடுகள் இல்லை. MapReduce இல் ஆறு மணிநேர வளர்ச்சி, பன்றியில் மூன்று மணிநேர வளர்ச்சி, மற்றும் ரெட் பாயிண்டில் 15 நிமிட வளர்ச்சி. அந்த இடத்தில்தான் நாம் உண்மையில் பெரும் தாக்கத்தை ஏற்படுத்துகிறோம். செயலாக்க நேரமும் வேகமானது, ஆனால் மக்கள் நேரம், மக்கள் உற்பத்தி நேரம் கணிசமாக அதிகரிக்கப்படுகிறது.
இங்கே எனது இறுதி ஸ்லைடு, நான் இந்த யோசனைக்குச் செல்ல விரும்புகிறேன், ஏனென்றால் இது ஒரு தரவு ஏரி அல்லது ஒரு தரவு மையம் அல்லது ஒரு தரவு சுத்திகரிப்பு நிலையத்தை உட்கொள்வதற்கான மைய புள்ளியாகப் பயன்படுத்துவதாகும். அந்த யோசனையுடன் மேலும் உடன்பட முடியவில்லை. நாங்கள் தற்போது முக்கிய உலகளாவிய வங்கிகளின் தலைமை தரவு அதிகாரிகளுடன் கலந்துரையாடி வருகிறோம், இது தேர்வுக்கான கட்டமைப்பு.எல்லா மூலங்களிலிருந்தும் தரவு உட்கொள்வது தரவு ஏரிக்குள் தரவு தர செயலாக்கம் மற்றும் முதன்மை தரவு மேலாண்மை ஆகியவற்றைச் செய்கிறது, பின்னர், தரவை ஆதரிக்கும் பயன்பாடுகளுக்குச் செல்ல வேண்டிய இடத்தை தள்ளுங்கள், BI ஐ ஆதரிக்க, எதுவாக இருந்தாலும். பின்னர், உங்களிடம் BI இல் பகுப்பாய்வு இருந்தால், அவை நேரடியாக தரவு ஏரிக்குள் இயக்க முடியும், அங்கு எல்லாமே சிறந்தது, அது இப்போதே தொடங்கலாம். ஆனால் இந்த யோசனையுடன் பலகையில். இங்கே இந்த இடவியல் ஒன்று - சந்தையில் நாம் நிறைய இழுவைப் பெறுகிறோம். மேலும், அதுதான்.
எரிக்: சரி, நல்லது. இங்கேயே செல்லலாம். நான் மேலே சென்று அதை கீத்திடம் ஒப்படைப்பேன். மேலும், கீத், இங்குள்ள வீட்டை உலுக்க சுமார் 10, 12 நிமிடங்கள் கிடைத்தன. இந்த நிகழ்ச்சிகளில் சிறிது நேரம் செல்ல நாங்கள் எடுத்தோம். இதற்காக 70 நிமிடங்கள் விளம்பரம் செய்தோம். எனவே, மேலே சென்று அந்த ஸ்லைடில் எங்கும் கிளிக் செய்து, கீழ் அம்புக்குறியைப் பயன்படுத்தி அதை எடுத்துச் செல்லுங்கள்.
கீத்: நிச்சயமாக. எந்த பிரச்சனையும் இல்லை, எரிக். நான் அதை பாராட்டுகிறேன். நான் மேலே சென்று SAS ஐப் பற்றி ஓரிரு துண்டுகளைத் தாக்கப் போகிறேன், பின்னர் பெரிய தரவு உலகத்துடன் SAS வெட்டும் இடத்தின் தொழில்நுட்ப கட்டமைப்பிற்குள் நான் நகருவேன். இந்த எல்லா விஷயங்களிலும் விளக்க நிறைய இருக்கிறது. நாங்கள் பல மணிநேரங்களை மிக விரிவாக செலவிட முடியும், ஆனால் பத்து நிமிடங்கள் - இந்த பெரிய தரவு உலகில் SAS பகுப்பாய்வு, தரவு மேலாண்மை மற்றும் வணிக நுண்ணறிவு தொழில்நுட்பங்களை எங்கு எடுத்துச் சென்றது என்பது பற்றிய ஒரு சுருக்கமான புரிதலுடன் நீங்கள் விலகிச் செல்ல முடியும்.
முதலில், எஸ்.ஏ.எஸ் பற்றி கொஞ்சம். இந்த அமைப்பை நீங்கள் அறிந்திருக்கவில்லை என்றால், நாங்கள் கடந்த 38 ஆண்டுகளாக மேம்பட்ட பகுப்பாய்வு, வணிக நுண்ணறிவு மற்றும் தரவு மேலாண்மை ஆகியவற்றை பெரிய தரவுகளுடன் மட்டுமல்லாமல், கடந்த 38 ஆண்டுகளாக சிறிய தரவு மற்றும் தரவு செல்வத்தையும் செய்து வருகிறோம். எங்களிடம் ஏராளமான வாடிக்கையாளர் கால் உள்ளது, உலகம் முழுவதும் சுமார் 75,000 தளங்கள், அங்குள்ள சில சிறந்த நிறுவனங்களுடன் இணைந்து செயல்படுகின்றன. நாங்கள் சுமார் 13,000 ஊழியர்களையும் 3 பில்லியன் டாலர் வருவாயையும் கொண்ட ஒரு தனியார் அமைப்பு. உண்மையில், நான் நினைக்கிறேன், முக்கிய பகுதியாக பாரம்பரியமாக எங்கள் வருவாயின் கணிசமான தொகையை எங்கள் ஆர் அன்ட் டி நிறுவனத்திற்கு மீண்டும் முதலீடு செய்வதற்கான நீண்டகால வரலாற்றைக் கொண்டிருக்கிறோம், இது உண்மையில் இந்த அற்புதமான தொழில்நுட்பங்கள் மற்றும் தளங்களை நீங்கள் தாங்கிக் கொண்டு வந்துள்ளது ' இன்று பார்க்கப் போகிறேன்.
எனவே, நான் மிகவும் பயமுறுத்தும் இந்த கட்டிடக்கலை வரைபடங்களுக்குள் செல்லப்போகிறேன். எனது ஸ்லைடுகளில் இடமிருந்து வலமாக வேலை செய்வோம். எனவே, இந்த தளத்திற்குள் நீங்கள் பார்க்கப் போகும் பழக்கமான விஷயங்கள் உள்ளன. இடது புறத்தில், இந்த பெரிய தரவு தளங்களில் உட்கொள்வது பற்றி நாங்கள் பேசும் அனைத்து தரவு மூலங்களும். பின்னர், இந்த பெரிய தரவு தளத்தை நீங்கள் பெற்றுள்ளீர்கள்.
ஹடூப் என்ற வார்த்தையை நான் மேலே வைக்கவில்லை, ஏனென்றால் இறுதியில், நான் இன்று கொடுக்கப் போகும் எடுத்துக்காட்டுகள் குறிப்பாக இந்த பெரிய தரவு தளங்களுடன் நாம் வெட்டும் அனைத்து தொழில்நுட்பங்களையும் சுற்றி உள்ளன. ஹடூப் எங்களிடம் மிகவும் வலுவான வரிசைப்படுத்தல் விருப்பங்களைக் கொண்டவர்களில் ஒருவராக இருக்கிறார், ஆனால் நாங்கள் கொஞ்சம் கொஞ்சமாக வெட்டுகிறோம், மேலும் இந்த தொழில்நுட்பங்களை டெராடாட்டா போன்ற எங்கள் பிற நிறுவன தரவுக் கிடங்கு கூட்டாளர்களுடன் சிறிது நேரம் உருவாக்கியுள்ளோம், ஆரக்கிள், முக்கிய மற்றும் போன்றவை. எனவே, எல்லா தொழில்நுட்பங்களும் எந்த மேடையில் ஆதரிக்கப்படுகின்றன என்பதைப் பற்றி என்னால் பெரிய விவரங்களுக்குச் செல்ல முடியாது, ஆனால் இன்று நான் விவரிக்கும் அனைத்துமே பெரும்பாலும் ஹடூப் மற்றும் அவற்றில் பெரும்பகுதி மற்ற தொழில்நுட்ப கூட்டாளர்களுடன் குறுக்கிடுகின்றன என்பதில் உறுதியாக இருக்கிறேன். எங்களிடம் உள்ளது. எனவே, அந்த மேடையில் நாங்கள் அமர்ந்திருக்கிறோம்.
அடுத்தது வலதுபுறம், எங்கள் SAS LASR Analytic Server உள்ளது. இப்போது, அது அடிப்படையில், நினைவக பகுப்பாய்வு பயன்பாட்டு சேவையகத்தில் பெருமளவில் இணையாக உள்ளது. இது நினைவகத்தில் உள்ள தரவுத்தளம் அல்ல என்பது எங்களுக்குத் தெளிவாகத் தெரியும். இது உண்மையில் தரையில் இருந்து வடிவமைக்கப்பட்டுள்ளது. இது வினவல் இயந்திரம் அல்ல, ஆனால் பகுப்பாய்வு கோரிக்கைகளை பாரிய அளவில் இணையான வழியில் வழங்க வடிவமைக்கப்பட்டுள்ளது. எனவே, இது வலது புறத்தில் நீங்கள் காணும் சேவை முக்கிய பயன்பாடுகள்.
இந்த விஷயங்களை மக்கள் எவ்வாறு பயன்படுத்துகிறார்கள் என்பது உங்களுக்குத் தெரியும். ஆனால் அடிப்படையில், பயன்பாடு - நீங்கள் அங்கு பார்க்கிறீர்களா - முதலாவது, எங்கள் SAS உயர் செயல்திறன் பகுப்பாய்வு. அது இருக்கப் போகிறது - நான் தற்போதுள்ள நிறைய தொழில்நுட்பங்களையும், எண்டர்பிரைஸ் மைனர் அல்லது ஒரு எஸ்ஏஎஸ் போன்ற தளங்களையும் பயன்படுத்துகிறேன், மேலும் நாங்கள் செய்த அந்த கருவிகளில் நாம் உருவாக்கிய சில வழிமுறைகளுடன் மல்டித்ரெடிங் செய்வதில்லை. ஆண்டுகள், ஆனால் அவை பெருமளவில் இணையாக. எனவே, அந்த பெரிய தரவு தளத்திலிருந்து தரவை அந்த LASR அனலிட்டிக் சேவையகத்திற்கு நகர்த்துவதன் மூலம், பகுப்பாய்வு வழிமுறைகளை இயக்க முடியும் - உங்களுக்குத் தெரியும், நிறைய புதிய இயந்திர கற்றல், நரம்பியல் வலைகள், சீரற்ற வன பின்னடைவுகள், அந்த வகையான விஷயங்கள் - மீண்டும், நினைவகத்தில் அமர்ந்திருக்கும் தரவு. எனவே, அந்த தளங்களுக்கு நாங்கள் தாக்கல் செய்யப்படும் குறிப்பிட்ட மேப்ரூட் முன்மாதிரியான சிக்கலில் இருந்து விடுபடுவது, நீங்கள் பகுப்பாய்வு வேலைகளைச் செய்ய விரும்பும் வழி அல்ல. எனவே, தரவை ஒரு முறை நினைவக இடத்திற்கு உயர்த்தவும், அதன் வழியாக மீண்டும் இயக்கவும் நாங்கள் விரும்புகிறோம், உங்களுக்குத் தெரியும், சில நேரங்களில் ஆயிரக்கணக்கான முறை. எனவே, அந்த உயர் செயல்திறன் கொண்ட பகுப்பாய்வு LASR சேவையகத்தைப் பயன்படுத்துவதற்கான கருத்து இதுதான்.
நாமும் - அதற்குக் கீழே உள்ள பிற பயன்பாடுகள், காட்சி பகுப்பாய்வு, அந்தத் தரவை நினைவகத்தில் தொடர்ந்து நிலைநிறுத்தவும், அதே தரவில் ஒரு பெரிய மக்களுக்கு சேவை செய்யவும் அனுமதிக்கிறது. எனவே, பெரிய தரவு ஆய்வு செய்ய மக்களை அனுமதிக்கிறது. எனவே, எங்கள் மாதிரி மேம்பாட்டுப் பணிகளைச் செய்வதற்கு முன்பு, நாங்கள் தரவை ஆராய்ந்து வருகிறோம், அதைப் புரிந்துகொள்கிறோம், தொடர்புகளை இயக்குகிறோம், முன்னறிவிப்பு செய்கிறோம் அல்லது முடிவெடுக்கும் மரங்களை மேம்படுத்துகிறோம் - அந்த வகையான விஷயங்கள் - ஆனால் நினைவகத்தில் அமர்ந்திருக்கும் தரவுகளில் மிகவும் காட்சி, ஊடாடும் வழியில் நடைமேடை. நீங்கள் பார்க்கும் நிலையான வகையான பதிவுகளைச் செய்ய அந்த தளத்தைத் தாக்கக்கூடிய பயனர்களின் பரந்த தளங்களைக் கொண்டிருக்கும் வரை இது எங்கள் BI சமூகத்திற்கு சேவை செய்கிறது - இது BI விற்பனையாளர் என்று உங்களுக்குத் தெரியும்.
அடுத்த கட்டமாக, நாங்கள் சேவைக்குச் செல்கிறோம். எங்கள் புள்ளிவிவர வல்லுநர்களுக்கும் எங்கள் பகுப்பாய்வாளர்களுக்கும் நினைவகத்தில் அமர்ந்திருக்கும் தரவைக் கொண்டு தற்காலிக மாடலிங் செய்ய முடியும், காட்சி பகுப்பாய்வு மற்றும் ஆய்விலிருந்து எங்கள் காட்சி புள்ளிவிவர பயன்பாட்டில் நீக்கப்படும். இது மக்கள் எடுத்துக்கொள்ளும் வாய்ப்பாகும், புள்ளிவிவரங்களை புள்ளிவிவரங்களில் இயக்கக்கூடாது, இது மீண்டும் செயல்படவும், மாதிரிகளை இயக்கவும், முடிவுகளைப் பார்க்கவும். எனவே, அது மாதிரியை இயக்க முடியும், முடிவுகளைப் பார்க்கவும். இது பார்வைக்கு இழுத்து ஊடாடும் புள்ளிவிவர மாதிரியாக்கலில் இறங்குவதாகும். எனவே, இது எங்கள் புள்ளிவிவர வல்லுநர்களுக்கும் எங்கள் தரவு விஞ்ஞானிகளுக்கும் அந்த ஆரம்பகால ஆய்வு காட்சி புள்ளிவிவரப் பணிகளைச் செய்ய உதவுகிறது.
பின்னர், நாங்கள் எங்கள் குறியீட்டாளர்களை மறந்துவிடவில்லை - உண்மையில் விரும்பும் எல்லோரும், எதிரெதிர் இடைமுகத்தின் அடுக்குகளை உரிக்க முடியும், பயன்பாடுகளை எழுதுவது மற்றும் SAS இல் தங்கள் சொந்த குறியீடு தளத்தை எழுதுவது. அதுதான் ஹடூப்பிற்கான எங்கள் நினைவக புள்ளிவிவரங்கள். அதுதான் - அடிப்படையில் குறியீட்டு அடுக்கு கட்டளைகளை நேரடியாக வழங்கவும், எங்கள் கோரிக்கையின் அடிப்படையில் அந்த பயன்பாடுகளைத் தனிப்பயனாக்கவும் அந்த பகுப்பாய்வு எல்ஏஎஸ்ஆர் சேவையகத்துடன் தொடர்பு கொள்ள எங்களுக்கு அனுமதித்தது. இது பகுப்பாய்வு பகுதி.
இந்த விஷயங்கள் எவ்வாறு அமைக்கப்படுகின்றன… அச்சச்சோ, மன்னிக்கவும் நண்பர்களே. நாம் அங்கே போகிறோம்.
எனவே, இதைச் செய்வதற்கான சில வழிகள் உள்ளன. ஒன்று பெரிய தரவுகளுடன் அதைச் செய்வது - இந்த விஷயத்தில், ஹடூப் உடன். ஹார்ட்கோர் பகுப்பாய்வுகளுக்கு உகந்ததாக இருக்கும் இயந்திரங்களின் தனித்தனி கிளஸ்டரில் இயங்கும் அந்த SAS LASR Analytic Server எங்களிடம் உள்ளது. இது நன்றாக அமைந்துள்ளது மற்றும் பெரிய தரவு தளத்திற்கு நெருக்கமாக உள்ளது, இது பெரிய தரவு தளத்திலிருந்து தனித்தனியாக அளவிட அனுமதிக்கிறது. ஆகவே, மக்கள் தங்கள் ஹடூப் கிளஸ்டரில் உள்ள ஒவ்வொரு முனைகளிலும் வாம்பயர் மென்பொருளைப் போல சாப்பிடுவதைப் போல நான் வகைப்படுத்த விரும்பாதபோது இதைச் செய்வதை நாங்கள் காண்கிறோம். நினைவக பகுப்பாய்வுகளை அதிக அளவில் செய்வதற்கு பொருத்தமான பெரிய தரவு தளத்தை அவை அளவிட வேண்டிய அவசியமில்லை. எனவே, நீங்கள் அவர்களின் ஹடூப் கிளஸ்டரின் 120 முனைகளைக் கொண்டிருக்கலாம், ஆனால் அவற்றில் 16 முனைகள் பகுப்பாய்வு சேவையகங்கள் இருக்கலாம், அவை அந்த வகையான வேலையைச் செய்ய வடிவமைக்கப்பட்டுள்ளன.
தரவை நினைவகத்திற்கு இழுக்க பெரிய தரவு தளத்திலிருந்து அந்த இணையை பராமரிக்க நாங்கள் இன்னும் அனுமதிக்கப்படுகிறோம். எனவே, இது உண்மையில் ஹடூப் இயங்குதளத்துடன் SAS ஐப் பயன்படுத்துகிறது. வேறுபட்ட சந்திப்பு மாதிரியானது, அந்த பொருட்களின் தளத்தையும் நாம் பயன்படுத்தலாம் மற்றும் அதைத் தள்ளலாம் - அடிப்படையில் ஹடூப் இயங்குதளங்களில் அனலிட்டிக் லாஸ்ஆர் சேவையகத்தை இயக்கவும். எனவே, நாங்கள் எங்கிருக்கிறோம்… நீங்கள் பெரிய தரவு தளத்திற்குள் செயல்படுகிறீர்கள். இது எங்கள் பிற பயன்பாட்டு விற்பனையாளர்களும் கூட. எனவே, அந்த வேலையைச் செய்ய அந்த பொருட்களின் தளத்தைப் பயன்படுத்த இது எங்களுக்கு அனுமதி அளித்துள்ளது.
உயர்-செயல்திறன் பகுப்பாய்வு போன்ற விஷயங்களை நாங்கள் அடிக்கடி காண்கிறோம், இது ஒரு ஒற்றை சேவை அல்லது ஒற்றை-பயன்பாட்டு வகை பகுப்பாய்வு ரன், நீங்கள் இருக்கும் இடத்தை அடிப்படையாகக் கொண்டது - நீங்கள் ஹடூப்பில் நினைவக இடத்தை அவசியம் பயன்படுத்த விரும்பவில்லை நடைமேடை. இந்த வகையான வரிசைப்படுத்தல் மாதிரியில் நாங்கள் மிகவும் நெகிழ்வானவர்களாக இருக்கிறோம், நிச்சயமாக நாங்கள் நல்ல கிளஸ்டர்களை விளையாடுகிறோம் என்பதை உறுதிப்படுத்த இந்த சந்தர்ப்பங்களில் YARN உடன் நாங்கள் பணியாற்றுகிறோம்.
சரி, அதுதான் பகுப்பாய்வு உலகம், பகுப்பாய்வு பயன்பாட்டுடன் தெளிவாக இருக்க வேண்டும். ஆனால் ஆரம்பத்தில் எஸ்ஏஎஸ் ஒரு தரவு மேலாண்மை தளமாகவும் இருந்தது என்று நான் குறிப்பிட்டேன். தர்க்கத்தை அந்த மேடையில் பொருத்தமான இடத்தில் தள்ளுவதற்கு பொருத்தமான விஷயங்கள் உள்ளன. எனவே, நாம் அதைச் செய்ய இரண்டு வழிகள் உள்ளன. ஒன்று தரவு ஒருங்கிணைப்பு உலகில் உள்ளது, தரவில் தரவு மாற்றும் வேலையைச் செய்வது, நாம் முன்பு கேள்விப்பட்டதைப் போல அதை வெளியே இழுப்பதில் அர்த்தமில்லை, தரவு தர நடைமுறைகளை இயக்குவது பெரியது. தரவு தர நடைமுறைகள் போன்றவற்றை நிச்சயமாக அந்த தளத்திற்குள் தள்ள விரும்புகிறோம். பின்னர், மாதிரி மதிப்பெண் போன்ற விஷயங்கள். எனவே, எனது மாதிரியை உருவாக்கியுள்ளேன். MapReduce இல் அந்த விஷயத்தை மீண்டும் எழுத நான் விரும்பவில்லை, மேலும் அந்த வேலையை சொந்த தரவுத்தள தளத்திற்கு மீண்டும் செய்வதை கடினமாகவும் நேரமாகவும் எடுத்துக்கொள்ள விரும்புகிறேன்.
எனவே, நீங்கள் பார்த்தால், எடுத்துக்காட்டாக, ஹடூப்பிற்கான எங்கள் மதிப்பெண் முடுக்கி, இது அடிப்படையில் ஒரு மாதிரியை எடுத்து, அந்த ஹடூப் இயங்குதளத்திற்குள் SAS கணித தர்க்கத்தை கீழே தள்ளி, அதை அங்கு இயக்க அனுமதிக்கிறது, அந்த பெரிய தரவு தளத்திற்குள் இருக்கும் இணையான தன்மையைப் பயன்படுத்தி. ஹடூப் உள்ளிட்ட பல்வேறு தளங்களுக்கான எங்கள் குறியீடு முடுக்கி எங்களிடம் உள்ளது, மேலும் இது தளத்தின் உள்ளே எஸ்ஏஎஸ் தரவு படி குறியீட்டை பெருமளவில் இணையான வழியில் இயக்க அனுமதிக்கிறது - எனவே, மேடையில் தரவு மாற்றும் வகையான வேலைகளைச் செய்கிறது. பாலின பொருத்தம், தரப்படுத்தல் பொருத்தக் குறியீடு போன்ற விஷயங்களைச் செய்யக்கூடிய ஒரு தரமான அறிவுத் தளத்தை அங்கு அமர அனுமதிக்கும் எங்கள் SAS தரவு தர முடுக்கி - நீங்கள் ஏற்கனவே கேள்விப்பட்ட அனைத்து வெவ்வேறு தரவு தர விஷயங்களும்.
பின்னர், கடைசி பகுதி, தரவு ஏற்றி உள்ளது. எங்கள் வணிக பயனர்கள் குறியீட்டை எழுத வேண்டியதில்லை, இந்த பெரிய தரவு தளங்களில் தரவு உருமாற்றம் செய்ய வேண்டும் என்பதை நாங்கள் அறிவோம். தரவு ஏற்றி ஒரு நல்ல WYSIWYG GUI ஆகும், இது மற்ற தொழில்நுட்பங்களை ஒன்றாக இணைக்க அனுமதிக்கிறது. இது ஒரு ஹைவ் வினவலை இயக்குவது அல்லது தரவு தர வழக்கத்தை இயக்குவது, அந்த விஷயத்தில் குறியீட்டை எழுத வேண்டியதில்லை என்பது ஒரு நடை வழிகாட்டி போன்றது.
கடைசியாக நான் குறிப்பிடுவது இந்த முன் பகுதி. எங்களிடம் - நான் முன்பு குறிப்பிட்டது போல - உலகில் ஒரு பெரிய எஸ்ஏஎஸ் கால் உள்ளது. இது, இந்த இடத்தில் இருக்க வேண்டிய எல்லா தளங்களையும் உடனடியாக செய்ய முடியாது. எனவே, டெராடாட்டாவிலிருந்து தரவைப் பெறுவது மற்றும் அதை மீண்டும் ஹடூப்பில் வைப்பது போன்ற பெரிய தரவு தளங்களில் ஒரு தரவைப் பெற வேண்டிய பயனர்களின் ஒரு கால் நிச்சயமாக எங்களிடம் உள்ளது. எனது எஸ்ஏஎஸ் சேவையகங்களில் எவ்வாறு இயங்குவது என்பது எனக்குத் தெரிந்த மாதிரிகளை இயக்குவது, ஆனால் இப்போது ஹடூப் இயங்குதளத்தில் வைக்கப்பட்டுள்ள தரவைப் பெற வேண்டும். எனவே, "இருந்து" என்று அழைக்கப்படும் இந்த சிறிய ஐகான் உள்ளது, மேலும் இது எங்கள் எஸ்ஏஎஸ் அணுகல் என்ஜின்களைப் பயன்படுத்தி இணைக்க அனுமதிக்கிறது - போலாவில் உள்ள ஹடூப் முதல் கிள oud டெரா, டெரடாட்டா, க்ரீன்ப்ளம் வரை அணுகல் இயந்திரங்கள்… மற்றும் பட்டியல் நீண்டு கொண்டே செல்கிறது. இந்த தளங்களில் இருந்து தரவைப் பெறுவதற்கு ஏற்கனவே இருக்கும் முதிர்ச்சியடைந்த SAS இயங்குதளங்களைப் பயன்படுத்தவும், நாம் செய்ய வேண்டிய வேலையைச் செய்யவும், முடிவுகளை இந்த பகுதிகளுக்குத் தள்ளவும் இது அனுமதிக்கிறது.
கடைசியாக நான் குறிப்பிடுவது என்னவென்றால், நீங்கள் பார்க்கும் இந்த தொழில்நுட்பங்கள் அனைத்தும் ஒரே நிலையான பொதுவான மெட்டாடேட்டாவால் நிர்வகிக்கப்படுகின்றன. எனவே, உருமாறும் வேலையைப் பெறுவது, பணியில் தரவு தர விதி, பகுப்பாய்வுகளைச் செய்ய நினைவகத்திற்கு நகர்த்துவது, மதிப்பெண்களில் மாதிரி மேம்பாடு பற்றி பேசுகிறோம். முழு பகுப்பாய்வு வாழ்க்கை முறை, வாழ்க்கைச் சுழற்சி பொதுவான மெட்டாடேட்டாவால் நிர்வகிக்கப்படுகிறது, ஆளுகை, பாதுகாப்பு, இன்று நாம் முன்னர் பேசிய எல்லா விஷயங்களாலும் அங்கு வந்துள்ளோம்.
எனவே, ஒரு மறுபரிசீலனை, உண்மையில் அந்த மூன்று பெரிய விஷயங்கள் அங்கே எடுத்துச் செல்லப்படுகின்றன. ஒன்று, தரவு தளத்தை வேறு எந்த தரவு மூலத்தைப் போலவே நாம் நடத்தலாம், அவற்றிலிருந்து இழுக்கலாம், அது பொருத்தமானதாகவும் வசதியாகவும் இருக்கும்போது அவற்றிற்குத் தள்ளலாம். அந்த பெரிய தரவு தளங்களுடன் நாம் பணியாற்ற முடியும், நினைவக தளங்களில் ஒரு நோக்கத்திற்காக உருவாக்கப்பட்ட மேம்பட்ட பகுப்பாய்வில் தரவை பட்டியலிடுகிறது. எனவே, அது LASR சேவையகம்.
பின்னர், கடைசியாக, அந்த பெரிய தரவு தளங்களில் நாம் நேரடியாக வேலை செய்யலாம், தரவை நகர்த்தாமல் அவற்றின் விநியோக செயலாக்க திறன்களை மேம்படுத்துகிறோம்.
எரிக்: சரி, அது அருமையான விஷயங்கள், எல்லோரும். ஆமாம், இது மிகவும் நல்லது! எனவே, சில கேள்விகளுக்கு டைவ் செய்யலாம். இந்த நிகழ்வுகளில் நாங்கள் பொதுவாக 70 நிமிடங்கள் அல்லது சிறிது நேரம் செல்கிறோம். எனவே, நாங்கள் இன்னும் ஒரு சிறந்த பார்வையாளர்களை அங்கே உட்கார்ந்திருப்பதை நான் காண்கிறேன். ஜார்ஜ், நான் எங்கள் முதல் கேள்வியை உங்களிடம் எறிவேன் என்று நினைக்கிறேன். உங்கள் பைனரி ஒலியை ஹடூப்பில் தள்ளுவதைப் பற்றி நீங்கள் பேசினால், நீங்கள் கணக்கீட்டு பணிப்பாய்வுகளை உகந்ததாக்கியது போல் எனக்குத் தோன்றுகிறது. இந்த வகையான நிகழ்நேர தரவு நிர்வாகம், தரவு தர பாணி சாதனைகள் ஆகியவற்றைச் செய்ய இது முழு திறவுகோலாகும், ஏனென்றால் இதுதான் நீங்கள் பெற விரும்பும் மதிப்பு, இல்லையா? எம்.டி.எம் இன் பழைய உலகத்திற்கு நீங்கள் திரும்பிச் செல்ல விரும்பவில்லை என்றால், அது மிகவும் சிக்கலானது, அது மிகவும் நேரம் எடுக்கும், மேலும் சில வழிகளில் செயல்பட மக்களை நீங்கள் கட்டாயப்படுத்த வேண்டும், அது ஒருபோதும் செயல்படாது. எனவே, நீங்கள் செய்திருப்பது என்னவென்றால், இருந்த சுழற்சியை நீங்கள் ஒடுக்கினீர்கள். இதை நாட்கள், வாரங்கள், சில நேரங்களில் மாதங்கள் முதல் விநாடிகள் வரை அழைப்போம், இல்லையா? அது என்ன நடக்கிறது?
ஜார்ஜ்: அது சரியாகவே இருக்கிறது, ஏனென்றால் நாம் பெறும் அளவும், ஒரு கிளஸ்டரிலிருந்து நாம் பெறும் செயல்திறனும் உண்மையில் அதிர்ச்சியூட்டுகிறது, உங்களுக்குத் தெரியும், நான் எப்போதும் வரையறைகளை பற்றி கொஞ்சம் தயங்குகிறேன். ஆனால் அளவின் வரிசையில், நாங்கள் ஒரு பில்லியன், 1.2 பில்லியன் பதிவுகளை இயக்கி ஒரு முழுமையான முகவரி தரநிலையைச் செய்யும் போது - நான் இடைப்பட்ட ஹெச்பி இயந்திரத்தைச் சொல்கிறேன் - இது உங்களுக்குத் தெரியும், எட்டு செயலி இயந்திரங்களை எடுக்கும், உங்களுக்குத் தெரியும் , ஒரு கோருக்கு 2 கிக் ரேம், உங்களுக்குத் தெரியும், இது இயக்க 20 மணி நேரம் ஆகும். 12-முனை கிளஸ்டரில் இப்போது எட்டு நிமிடங்களில் அதை நாங்கள் செய்யலாம். எனவே, இப்போது நாம் செய்யக்கூடிய செயலாக்கத்தின் அளவு மிகவும் வியத்தகு முறையில் வேறுபட்டது - மேலும் இந்தத் தரவுகள் அனைத்தையும் உங்கள் வசம் வைத்திருக்கிறீர்கள் என்ற எண்ணத்துடன் இது மிகவும் நேர்த்தியாக செல்கிறது. எனவே, செயலாக்கத்தை செய்வது அவ்வளவு ஆபத்தானது அல்ல. நீங்கள் தவறு செய்திருந்தால், அதை மீண்டும் செய்யலாம். உங்களுக்கு நேரம் கிடைத்தது, உங்களுக்குத் தெரியும். இது எம்.டி.எம் தீர்வுகளை இயக்க முயற்சிக்கும்போது அந்த வகையான அபாயங்கள் உண்மையில் மக்களுக்கு உண்மையான வணிக சிக்கல்களாக மாறியது என்பது உங்களுக்குத் தெரியும். தரவு ஆளுமை மற்றும் எல்லாவற்றையும் நீங்கள் 30 பேர் கடலில் வைத்திருக்க வேண்டும். எனவே, நீங்கள் இன்னும் சிலவற்றை வைத்திருக்க வேண்டும், ஆனால் இப்போது நீங்கள் அதை செயலாக்கக்கூடிய வேகம் மற்றும் அளவு, உண்மையில் உங்களுக்கு நிறைய சுவாச அறையை அளிக்கிறது.
எரிக்: ஆமாம், இது ஒரு நல்ல விஷயம். நான் அந்த கருத்தை விரும்புகிறேன். எனவே, அதை மீண்டும் மீண்டும் செய்ய உங்களுக்கு நேரம் இருக்கிறது. அது அற்புதம்.
ஜார்ஜ்: ஆம்.
எரிக்: சரி, இது இயக்கவியலை மாற்றுகிறது, இல்லையா? நீங்கள் முயற்சிக்கப் போவதைப் பற்றி நீங்கள் எப்படி நினைக்கிறீர்கள் என்பதை இது மாற்றுகிறது. அதாவது, சிறப்பு விளைவுகளைச் செய்யும் தொழிலில் 18 ஆண்டுகளுக்கு முன்பு இதை நினைவில் வைத்திருக்கிறேன், ஏனென்றால் அந்த இடத்தில் எனக்கு ஒரு வாடிக்கையாளர் இருந்தார். அதை வழங்க பொத்தான்களை அழுத்தி வீட்டிற்குச் செல்வீர்கள். அது எப்படி நடக்கிறது என்பதைக் காண நீங்கள் சனிக்கிழமை பிற்பகலில் திரும்பி வருவீர்கள். ஆனால் நீங்கள் அதை தவறாகப் புரிந்து கொண்டால், அது மிகவும், மிகவும், மிகவும் வேதனையாக இருந்தது. இப்போது, இது கிட்டத்தட்ட இல்லை - அது வேதனையாக இருப்பதற்கு கூட அருகில் இல்லை, எனவே கூடுதல் விஷயங்களை முயற்சிக்க உங்களுக்கு வாய்ப்பு உள்ளது. நான் சொல்ல வேண்டும், இது ஒரு நல்ல விஷயம் என்று நான் நினைக்கிறேன்.
ஜார்ஜ்: அது சரிதான். ஆமாம், உங்கள் கூடுதல் காலை ஊதுங்கள். பழைய நாட்களில் நீங்கள் ஒரு வேலையை பாதியிலேயே பெறுவீர்கள் என்பது உங்களுக்குத் தெரியும், அது தோல்வியடைகிறது, உங்கள் SOS ஐ ஊதிவிட்டீர்கள். அவ்வளவுதான்.
எரிக்: சரி. நீங்கள் பெரிய சிக்கலில் இருக்கிறீர்கள், ஆம். அது சரி.
ஜார்ஜ்: அது சரி. அது சரி.
எரிக்: கீத், நான் உங்களிடம் ஒன்றை வீசுகிறேன். உங்கள் சி.ஐ.எல், கீத் காலின்ஸுடன் ஒரு நேர்காணல் செய்ததை நான் நினைவில் வைத்திருக்கிறேன், 2011 ஆம் ஆண்டு இருக்கலாம் என்று நான் நம்புகிறேன். எஸ்.ஏ.எஸ்ஸிலிருந்து பெறப்பட்ட பகுப்பாய்வுகளை செயல்பாட்டு அமைப்புகளில் உட்பொதிக்க வாடிக்கையாளர்களுடன் இணைந்து பணியாற்றுவது தொடர்பாக எஸ்.ஏ.எஸ் எடுக்கும் திசையைப் பற்றி அவர் அதிகம் பேசினார். நிச்சயமாக, நினைவில் கொள்வதன் முக்கியத்துவத்தைப் பற்றி மைக் பெர்குசன் பேசுவதை நாங்கள் கேள்விப்பட்டோம். இங்குள்ள முழு யோசனையும் இந்த விஷயங்களை உங்கள் செயல்பாடுகளில் இணைக்க முடியும். நிறுவனத்திலிருந்து துண்டிக்கப்பட்ட வெற்றிடத்தில் பகுப்பாய்வு செய்ய விரும்பவில்லை. அது எந்த மதிப்பும் இல்லை.
செயல்பாட்டை நேரடியாக பாதிக்கும் மற்றும் மேம்படுத்தக்கூடிய பகுப்பாய்வை நீங்கள் விரும்பினால். நான் திரும்பிப் பார்த்தால் - நான் சொல்ல வேண்டும், அது ஒரு நல்ல யோசனை என்று நான் நினைத்தேன் - இது பின்னோக்கிப் பார்க்கும்போது மிகவும் புத்திசாலித்தனமான யோசனையாகத் தெரிகிறது. நான் நினைக்கிறேன், இது உங்களுக்கு ஒரு உண்மையான நன்மை. நிச்சயமாக, இந்த பெரிய மரபு, இந்த மிகப்பெரிய நிறுவல் தளம் மற்றும் செயல்பாட்டு அமைப்புகளில் இந்த பகுப்பாய்வுகளை உட்பொதிப்பதில் நீங்கள் கவனம் செலுத்தியுள்ளீர்கள், இதன் பொருள் இப்போது - மற்றும் வழங்கப்பட்டது, இது சில வேலைகளை எடுக்கப் போகிறது - நான் உறுதியாக நம்புகிறேன் ' நான் மிகவும் கடினமாக உழைத்து வருகிறேன். ஆனால் இப்போது, இந்த புதிய கண்டுபிடிப்புகள் அனைத்தையும் நீங்கள் பயன்படுத்திக் கொள்ளலாம், மேலும் உங்கள் வாடிக்கையாளர்களுடன் எல்லாவற்றையும் செயல்படுத்த முடியும் என்பதில் உண்மையில் இருக்கிறோம். இது நியாயமான மதிப்பீடா?
கீத்: ஆமாம், முற்றிலும். கருத்து வடிவமைப்பு, முடிவு விஞ்ஞானம் பற்றிய இந்த யோசனையை நீங்கள் பெறுகிறீர்கள், இது உங்களுக்குத் தெரியும், இது ஓரளவிற்கு ஆய்வு, அறிவியல்-ஒய் விஷயம். இந்த செயல்பாட்டில் நீங்கள் உண்மையில் பொறியியல் செய்ய முடியாவிட்டால்… நீங்கள் ஒரு காரை உருவாக்குவது பற்றி நினைத்தால், இந்த அழகான காரை உருவாக்கும் வடிவமைப்பாளர்களை நீங்கள் பெற்றுள்ளீர்கள், ஆனால் பொறியியலாளர்கள் அந்த திட்டத்தை வைத்து உங்களுக்கு முன் ஒரு உண்மையான சாத்தியமான தயாரிப்பை உருவாக்கும் வரை அல்ல உண்மையில் விஷயங்களை வைக்க முடியும், அதுதான் SAS செய்திருக்கிறது. இது முடிவுகளை ஒன்றிணைத்துள்ளது - முடிவு-வடிவமைத்தல் செயல்முறை முடிவு-பொறியியல் செயல்முறையுடன் ஒன்றாக உள்ளது, இதனால் நீங்கள் முடுக்கிகளைப் பற்றி பேசும்போது, மதிப்பெண் முடுக்கிகள் குறிப்பாக, உங்களுக்குத் தெரியும், நீங்கள் உருவாக்கிய ஒரு மாதிரியை எடுத்து அதை வெளியே தள்ள முடிந்தால் டெராடாடாவிற்கு, அல்லது ஆரக்கிள் அல்லது ஹடூப்பிற்கு வெளியே தள்ளுங்கள், மாதிரி மேம்பாட்டிற்கான பூஜ்ஜிய வேலையில்லா நேரத்துடன், மாதிரி வரிசைப்படுத்தலுக்கு. இது முக்கியமானது, ஏனென்றால் மாதிரிகள் காலப்போக்கில் சிதைவடைகின்றன, அந்த மாதிரிகளின் துல்லியம். எனவே, அதை எடுத்து உற்பத்திக்கு கொண்டுவர அதிக நேரம் எடுக்கும், இது மாதிரி துல்லியம் இழப்பு.
பின்னர், மற்ற பகுதி, நீங்கள் காலப்போக்கில் அந்த செயல்முறையை கண்காணிக்கவும் நிர்வகிக்கவும் முடியும். மாதிரிகள் பழையதாகவும் துல்லியமாகவும் இருக்கும்போது அவற்றை நீக்க விரும்புகிறீர்கள். நீங்கள் அதைப் பார்க்க விரும்புகிறீர்கள், காலப்போக்கில் அவற்றின் துல்லியத்தை சரிபார்த்து அவற்றை மீண்டும் உருவாக்க வேண்டும். எனவே, மாதிரி மேலாண்மை கருவிகளை நாங்கள் பெற்றுள்ளோம், அது மாதிரியின் செயல்பாட்டைச் சுற்றியுள்ள மெட்டாடேட்டாவைக் கண்காணிக்கும். மாடலிங் என்பது உங்களுக்குத் தெரியும், அந்த வகையான கருத்து ஒரு மாதிரி தொழிற்சாலை போன்றது, அல்லது நீங்கள் எதை அழைக்க விரும்புகிறீர்கள் என்று மக்கள் கூறியுள்ளனர். விஷயம் என்னவென்றால், இது மெட்டாடேட்டாவையும் நிர்வாகத்தையும் செயல்படுத்துகிறது, அதனால்தான் நாங்கள் அடிக்கும் மூன்று பெரிய விஷயங்கள் - நாங்கள் பணம் சம்பாதிக்கவும், பணத்தை மிச்சப்படுத்தவும் சிறையில் இருந்து வெளியேறவும் மக்களுக்கு உதவுகிறோம்.
எரிக்: கடைசியாக இதுவும் பெரியது. அதையெல்லாம் தவிர்க்க நான் பார்க்கிறேன். எனவே, இதைப் பற்றி பேசலாம் ...நான் ஒரு இறுதி கேள்வியைக் கொடுக்கிறேன், ஒருவேளை நீங்கள் ஒவ்வொருவரும் இதில் குதிக்கலாம். நம் உலகின் பன்முகத்தன்மை அதிகரிக்கும், அது எனக்குத் தோன்றுகிறது. கலப்பின மேகக்கணி சூழல்களைச் சுற்றி சில படிகமயமாக்கலை நாம் நிச்சயமாகப் பார்க்கப்போகிறோம் என்று நினைக்கிறேன். ஆயினும்கூட, நீங்கள் நிறைய முக்கிய வீரர்களை ஒட்டிக்கொண்டிருப்பதைப் பார்க்கப் போகிறீர்கள். ஐபிஎம் எங்கும் செல்லவில்லை. ஆரக்கிள் எங்கும் செல்லவில்லை. எஸ்ஏபி எங்கும் செல்லவில்லை. இந்த விளையாட்டில் ஈடுபட்டுள்ள பல விற்பனையாளர்கள் உள்ளனர்.
மேலும், செயல்பாட்டு பக்கத்தில், நீங்கள் உண்மையில் ஆயிரக்கணக்கான மற்றும் ஆயிரக்கணக்கான பல்வேறு வகையான பயன்பாடுகளைப் பெற்றுள்ளீர்கள். நான் கேள்விப்பட்டேன் - உங்களில் பெரும்பாலோர் இதைப் பற்றி பேசுகிறார்கள், ஆனால் நான் சொல்வதை நீங்கள் இருவரும் ஏற்றுக்கொள்வீர்கள் என்று நினைக்கிறேன். பகுப்பாய்வு இயந்திரங்கள், கட்டிடக்கலை ஆகியவற்றில் கணக்கீட்டு சக்தியின் அடிப்படையில் இந்த போக்கை இப்போது பார்த்தோம். நிறுவனங்கள் இப்போது பல ஆண்டுகளாக அங்குள்ள மற்ற என்ஜின்களைத் தட்டவும், ஒரு வகையான ஆர்கெஸ்ட்ரேஷன் பாயிண்டிற்கு சேவை செய்யவும் முடியும் என்று பேசுகின்றன. நான் நினைக்கிறேன், ஜார்ஜ், நான் அதை முதலில் உங்களிடம் வீசுகிறேன். இது மாறப்போவதில்லை என்று எனக்குத் தோன்றுகிறது. இந்த பன்முகத்தன்மை கொண்ட சூழலை நாங்கள் பெறப்போகிறோம், அதாவது நிகழ்நேர சிஆர்எம் மற்றும் தரவு தரம் மற்றும் தரவு ஆளுமை போன்ற விஷயங்கள் உள்ளன. விற்பனையாளராக, அந்த வெவ்வேறு கருவிகளுடன் இடைமுகப்படுத்த உங்களுக்கு தேவை. வாடிக்கையாளர்கள் விரும்புவது இதுதான். இந்த கருவிகளில் பரவாயில்லை, அந்தக் கருவிகளுடன் அவ்வளவு சரியில்லை என்று அவர்கள் விரும்ப மாட்டார்கள். அவர்கள் MDM மற்றும் CRM இன் சுவிட்சர்லாந்தை விரும்புகிறார்கள், இல்லையா?
ஜார்ஜ்: அது சரி. இது சுவாரஸ்யமானது, ஏனென்றால் நாங்கள் அதை மிகவும் ஏற்றுக்கொண்டோம். அதன் ஒரு பகுதி விண்வெளியில் நாம் கொண்டிருந்த வரலாறு. வெளிப்படையாக, நாங்கள் ஏற்கனவே மற்ற தரவுத்தளங்கள், டெரடாடாக்கள் மற்றும் உலகின் துண்டுகள் அனைத்திலும் பணிபுரிந்தோம். பின்னர், செயல்படுத்தல் செயல்பாட்டில், குறிப்பாக நாங்கள் செய்த விதத்தில், அதைச் செய்தோம் - இந்த பல்வேறு தரவுத்தளங்கள் அனைத்திலும் உங்களுக்கு அந்த இடைவெளி உள்ளது. நான் சுவாரஸ்யமான விஷயங்களில் ஒன்று என்னவென்றால், எல்லா தொடர்புடைய தரவுத்தளங்களையும் அகற்றுவதில் நரகமாக இருக்கும் சில வாடிக்கையாளர்கள் எங்களிடம் உள்ளனர். அது சுவாரஸ்யமானது. உங்களுக்குத் தெரியும், அதாவது, அது நன்றாக இருக்கிறது. இது சுவாரஸ்யமாக இருக்கிறது. ஆனால் இது ஒரு பெரிய நிறுவன அளவில் நடப்பதை நான் காணவில்லை. இது நீண்ட காலமாக நடப்பதை நான் காணவில்லை. எனவே, கலப்பினமானது ஒரு நல்ல நீண்ட காலமாகவும், எங்கள் பயன்பாட்டின் மறுபக்கத்திலும் எங்கள் பிரச்சார மேலாண்மை தளத்தில் எங்கள் செய்தியிடல் தளத்தை வைத்திருப்பதாக நான் நினைக்கிறேன். நாங்கள் உண்மையில் இதை வடிவமைத்துள்ளோம். இப்போது, அதைச் செய்யும் ஒரு பதிப்பை நாங்கள் வெளியிட்டுள்ளோம், அது இப்போது கலப்பின தரவு சூழலுடன் இணைக்க முடியும் மற்றும் ஹடூப்பை வினவலாம் அல்லது எந்த தரவுத்தளத்தையும், எந்த பகுப்பாய்வு தரவுத்தளத்தையும் வினவலாம். எனவே, இது எதிர்காலத்தின் அலை என்று நான் நினைக்கிறேன். மெய்நிகராக்கம் நிச்சயமாக இதில் ஒரு பெரிய பாத்திரத்தை வகிக்கும் என்பதை நான் ஒப்புக்கொள்கிறேன், ஆனால் நாங்கள் தான் - நாங்கள் எங்கள் எல்லா பயன்பாடுகளிலும் உள்ள தரவுகளுக்கு வெளியே செல்கிறோம்.
எரிக்: சரி, அருமை. மேலும், கீத், நான் அதை உங்களிடம் எறிந்து விடுகிறேன். ஒரு வகையான பாதமாக செயல்படுவதில் நாம் எதிர்கொள்ளும் பன்முக உலகத்தைப் பற்றி நீங்கள் என்ன நினைக்கிறீர்கள்?
கீத்: ஆமாம், இது மிகவும் கவர்ச்சியானது. நான் நினைக்கிறேன், நாம் அதிகம் கண்டுபிடிப்பது - விஷயங்களின் தரவு மேலாண்மை பக்கத்தில் மட்டுமல்ல - ஆனால் இப்போது மிகவும் சுவாரஸ்யமானது பகுப்பாய்வு தளத்தின் திறந்த மூல இயல்பு. எனவே, போன்ற நிறுவனங்கள் அல்லது ஸ்பார்க் போன்ற தொழில்நுட்பங்கள் கப்பலில் வருவதையும், பைதான் மற்றும் ஆர் மற்றும் பிற திறந்த மூல தொழில்நுட்பங்களைப் பயன்படுத்தும் நபர்களையும் நாங்கள் காண்கிறோம். இது ஒரு மோதல் அல்லது ஓரளவிற்கு அச்சுறுத்தல் என்று பொருள் கொள்ளலாம் என்று நான் நினைக்கிறேன். ஆனால் உண்மை என்னவென்றால், அந்த திறந்த மூல தொழில்நுட்பங்களுடன் சில அற்புதமான பாராட்டுக்கள் எங்களிடம் உள்ளன. அதாவது, கடவுளின் பொருட்டு, திறந்த மூல தளங்களில் நாங்கள் செயல்படுகிறோம்.
ஆனால், ஒருங்கிணைக்க முடிந்ததைப் போல, எடுத்துக்காட்டாக, ஒரு ஆர் மாதிரி ஒரு எஸ்ஏஎஸ் முன்னுதாரணமாக இரு உலகங்களிலும் சிறந்ததைப் பயன்படுத்த உங்களை அனுமதிக்கிறது, இல்லையா? போலவே, கல்வி உலகில் சில சோதனை விஷயங்கள் மற்றும் சில மாதிரி மேம்பாட்டு பணிகள் அசாதாரணமானவை மற்றும் மாதிரி மேம்பாட்டு செயல்பாட்டில் மிகவும் உதவியாக இருக்கும் என்பதை நாங்கள் அறிவோம். ஆனால், நீங்கள் அதை ஒரு உற்பத்தி வகுப்பு வகையான கருவியுடன் இணைக்க முடிந்தால், அது நிறைய சுத்திகரிப்பு மற்றும் தரத்தைச் செய்கிறது மற்றும் மாதிரியைக் கொடுக்கும் தரவை சரிபார்த்து உறுதிசெய்கிறது, அது சரியாக தயார்படுத்தப்பட்டுள்ளது, அதனால் அது தோல்வியடையாது மரணதண்டனை. பின்னர், திறந்த மூல மாதிரிகளுடன் சாம்பியன் சேலஞ்சர் மாதிரிகள் போன்றவற்றைச் செய்ய முடியும். அவை தான் செயல்படுத்த நாங்கள் பார்க்கிறோம், மேலும் இந்த தொழில்நுட்பங்களின் உண்மையில் பன்முகத்தன்மை வாய்ந்த சுற்றுச்சூழல் அமைப்பின் ஒரு பகுதியாகும். ஆமாம், எனவே இது அதிகம் - எங்களைப் பொறுத்தவரை, அந்த தொழில்நுட்பங்களைத் தழுவி, பாராட்டுக்களைத் தேடுவது பற்றியது.
எரிக்: சரி, இது அருமையான விஷயங்கள், எல்லோரும். நாங்கள் இங்கு சிறிது நேரம் சென்றோம், ஆனால் முடிந்தவரை பல கேள்விகளைப் பெற விரும்புகிறோம். கேள்வி பதில் கோப்பை இன்று எங்கள் வழங்குநர்களுக்கு அனுப்புவோம். எனவே, நீங்கள் கேட்ட எந்த கேள்விக்கும் பதிலளிக்கப்படவில்லை என்றால், அதற்கு பதில் கிடைப்பதை உறுதி செய்வோம். எல்லோரும், இது 2014 ஆம் ஆண்டிற்காக மூடுகிறது. நாளை மற்றும் அடுத்த வாரம் டி.எம் வானொலியில் உங்களுடையது உண்மையிலேயே, பின்னர் இது அனைத்தும் முடிந்துவிட்டது, அது விடுமுறை விடுமுறை.
இந்த அற்புதமான வெப்காஸ்ட்கள் அனைத்தையும் ஒட்டிக்கொண்ட உங்கள் நேரத்திற்கும் கவனத்திற்கும் உங்கள் அனைவருக்கும் மிக்க நன்றி. 2015 ஆம் ஆண்டிற்கான ஒரு சிறந்த ஆண்டை நாங்கள் பெற்றுள்ளோம். மேலும், விரைவில் நாங்கள் உங்களுடன் பேசுவோம். மீண்டும் நன்றி. நாங்கள் கவனித்துக்கொள்வோம். வருகிறேன்.