உள்ளடக்கம்
ஆதாரம்: Nmedia /Dreamstime.com
எடுத்து செல்:
பெரிய தரவு எல்லா இடங்களிலும் பெரிய வணிகமாகும், ஆனால் ஒரு சில குறிப்பிட்ட பகுதிகள் இந்த தொழில்நுட்பத்தை அதிகம் பயன்படுத்துகின்றன.
நான் இந்த கட்டுரையைத் தொடங்கியபோது, பல்வேறு வகையான பெரிய தரவு தளங்களை பட்டியலிட திட்டமிட்டிருந்தேன். ஆனால், மூன்று நாட்களுக்குப் பிறகு, வேறுபட்ட பெரிய தரவு வழங்கல்கள் - தொடர்புடைய மற்றும் அல்லாத தொடர்புடைய, SQL மற்றும் NoSQL மற்றும் தரவுத்தளத்திற்கு எதிரான கட்டமைப்பை - சில ஒழுங்கிற்குள், அந்த குழப்பத்தைத் தவிர்க்க முடிவு செய்தேன்.
காயத்திற்கு அவமானத்தை சேர்க்க, கட்டுரையின் ஒரு பகுதியாக "பெரிய தரவு" என்ற வார்த்தையை உருவாக்கிய நபரை அறிமுகப்படுத்த நினைத்தேன். ஆனால், என்னால் அதைச் செய்ய கூட முடியாது. ஒப்புக் கொள்ளப்பட்ட பதில் இல்லை. உண்மையில், யார் பெரிய தரவை முதலில் கொண்டு வந்தார்கள் என்பதைப் பற்றி ஒரு முழுமையான ஆராய்ச்சி திட்டம் உள்ளது. அதற்கு பதிலாக, பெரிய தரவு பயன்படுத்தப்படும் சில முக்கிய வழிகளை நான் பார்க்கப்போகிறேன். அது மிகவும் முக்கியமானது. நீங்கள் நினைப்பதை விட இது மிகவும் சுவாரஸ்யமானது மற்றும் ஆச்சரியமாக இருக்கிறது.
இது எப்படி நடந்தது
பாரம்பரிய தரவு சுரங்கத்தைப் பயன்படுத்தும் ஆய்வாளர்கள் பல ஆண்டுகளாக தரவைக் கையாளுகின்றனர். இதே ஆய்வாளர்கள் இப்போது வணிகங்கள், தனியார் நிறுவனங்கள் மற்றும் அரசாங்க நிறுவனங்களால் சேமிக்கப்படும் அளவு மற்றும் பல்வேறு தரவுகளை சமாளிப்பது கடினம்.
தரவு சுரங்கத்தின் அடுத்த பரிணாம படி பெரிய தரவை உள்ளிடவும். இன்றைய டிஜிட்டல் உலகில் உருவாக்கப்படும் பாரிய தரவுத்தளங்கள் மற்றும் எண்ணற்ற வகையான தரவைக் கையாள பெரிய தரவு வடிவமைக்கப்பட்டுள்ளது. கூகிள் மற்றும் அது சேகரிக்கும் எல்லா தரவையும் பற்றி "பாரியதாக" நீங்கள் நினைத்திருந்தால், நீங்கள் பால்பாக்கில் இருப்பீர்கள். உங்களை ஆச்சரியப்படுத்தக்கூடிய விஷயம் என்னவென்றால், உலகின் மிகப்பெரிய தரவுத்தளங்களின் முதல் பத்து பட்டியலில் கூகிள் நான்காவது இடத்தில் உள்ளது. ஜனவரி 2014 நிலவரப்படி, காலநிலைக்கான உலக தரவு மையம் 220 டெராபைட் தரவுகளுடன் முதலிடத்தில் உள்ளது, மேலும் சில அரசாங்க நிறுவனங்களால் கட்டுப்படுத்தப்படும் தரவுத்தளங்களின் அளவு குறித்து இது யாருடைய யூகமாகும்.
நிச்சயமாக, பெரிய தரவு எடுக்கப்பட்டது, ஏனெனில் இது பரந்த அளவிலான வேறுபட்ட தரவைக் கையாளுவதை சாத்தியமாக்குகிறது, மேலும் ஆச்சரியமான - மற்றும் அதிசயமாக விரிவான மற்றும் தனிப்பட்ட - விஷயங்களைக் கண்டறியும். மனிதவள தொழில் ஆய்வாளர் ஜான் சம்சர் பின்வரும் உதாரணத்தை அளிக்கிறார்:
"இன்று நாம் கருதுகோள்களை உருவாக்கி தரவுகளை சேகரிப்போம். நாளை நாம் தலைகீழ் செய்வோம். நிலையான, நிலையான தரவு குவிப்பு நாம் கேள்விகளை உருவாக்குவதற்கு முன்பு தரவைப் பார்க்க உதவும். அதாவது, நாங்கள் செய்யாத கேள்விகளுக்கான பதில்களைப் பெறுவோம்." கேட்கத் தெரியாது. நாங்கள் உண்மைகளாகக் கருதும் விஷயங்களை முழுவதுமாக சிந்திக்க மாட்டோம். "
நிச்சயமாக, இந்தத் தரவு பயன்படுத்தப்பட்ட சில தவழும் வழிகளைப் பற்றி நாம் அனைவரும் கேள்விப்பட்டிருக்கிறோம், அதாவது ஒரு இளம் பெண்களின் கர்ப்பத்தை அவரது குடும்பத்தினர் கண்டுபிடிப்பதற்கு முன்பே கண்டறியும் திறன் போன்றவை. ஆனால் பெரிய தரவுகளும் மிகக் குறைவான கெட்ட காரணங்களுக்காகப் பயன்படுத்தப்படுகின்றன. அதை மிக அதிகமாக மேம்படுத்துகின்ற ஒரு சில நிறுவனங்கள் இங்கே:
மென்பொருள் தரத்தைப் பற்றி யாரும் அக்கறை கொள்ளாதபோது உங்கள் நிரலாக்க திறன்களை மேம்படுத்த முடியாது.
மருத்துவ நிறுவனங்கள் முழுவதும் மின்னணு சுகாதார பதிவுகளை பாதுகாப்பாகவும் துல்லியமாகவும் கையாளுவதில் பெரிய தரவு உதவும் ஒரு தெளிவான பகுதி. துல்லியமான பதிவுகளை வைத்திருப்பது நோயாளிகளுக்கு சிறந்த சேவையை வழங்கும் மற்றும் பிழைகள் குறையும். நோயாளியின் இரகசியத்தன்மை தொடர்பான அரசாங்க விதிமுறைகளுக்கு இணங்க சுகாதாரத் துறை, வெளிப்படையான காரணங்களுக்காக, பெரிய தரவை மெதுவான வேகத்தில் மாற்றியமைக்கிறது.
முன்னர் குறிப்பிட்டபடி, கேட்கப்படாத கேள்விகளுக்கு பதில்களை வழங்குவதற்காக பெரிய தரவு அறியப்படுகிறது. சுகாதாரத் துறையில், இது ஒரு புதிய மருந்து அல்லது சிகிச்சையை கண்டுபிடிப்பதைக் குறிக்கும். மெக்கின்ஸி & கம்பெனியின் கூற்றுப்படி, பெரிய தரவு எதிர்காலத்தில் அவ்வளவு சாத்தியமில்லை:
- உயிரியல் செயல்முறைகள் மற்றும் மருந்துகளின் முன்கணிப்பு மாடலிங் மிகவும் சிக்கலானதாகவும் பரவலாகவும் மாறும்.
- சமூக ஊடகங்கள் போன்ற கூடுதல் தகவல்களின் அடிப்படையில் மருத்துவ பரிசோதனைகளில் சேர நோயாளிகள் அடையாளம் காணப்படுகிறார்கள்.
- பாதுகாப்பு அல்லது செயல்பாட்டு சிக்கல்களை விரைவாக அடையாளம் காண சோதனைகள் உண்மையான நேரத்தில் கண்காணிக்கப்படுகின்றன.
- சுரண்டுவது கடினமான கடினமான தரவு குழிகளுக்கு பதிலாக, தரவு மின்னணு முறையில் கைப்பற்றப்பட்டு வெவ்வேறு அலகுகளுக்கு இடையில் எளிதில் பாய்கிறது.
பெரிய தரவு, பெரிய வாய்ப்பு
சில குறிப்பிட்ட பகுதிகளில் பெரிய தரவு அந்நியப்படுத்தப்படுகையில், பின்வரும் பகுதிகளில் உள்ள அனைத்து நிறுவனங்களுக்கும் இது வாய்ப்பை வழங்குகிறது:
எந்தவொரு கணினி மற்றும் நெட்வொர்க்கிங் சாதனமும் தரவைப் பதிவுசெய்கிறது. தரவின் அளவு விரைவாக உள்நுழைந்துவிடும். பெரிய தரவுகள் அந்த அளவிலான தரவை எளிதில் நிர்வகிக்கலாம், நிர்வாகிகளை நெட்வொர்க் செயல்பாட்டை கண்காணிக்கவும், சிக்கல்களைக் கண்டறியவும் அல்லது, ரூபின் எனக்குக் கொடுத்த எடுத்துக்காட்டில், தீம்பொருள் செயல்பாட்டைக் குறிக்கும் சில பிணைய போக்குவரத்து முறைகளைப் பார்க்கவும்.
நீங்கள் இந்த கட்டுரையைப் படிக்கிறீர்கள் என்றால், ஓபன்எஸ்எஸ்எல் சுற்றியுள்ள ஹார்ட்லெட் சிக்கலைப் பற்றி நீங்கள் அறிந்திருப்பது மிகவும் பாதுகாப்பான பந்தயம். தொழில்நுட்ப சிக்கலைத் தவிர, பாதிப்பு பல ஆண்டுகளாக உள்ளது என்ற கவலையும் உள்ளது. தீங்கிழைக்கும் இதயத் துடிப்புகளுக்கான அனைத்து பிணைய பதிவுகளையும் தேடும் ஒரு நிரலை உருவாக்க பெரிய தரவு நெட்வொர்க் நிர்வாகிகளை, தரவு ஆய்வாளர்களுடன் இணைந்து செயல்பட அனுமதிக்கிறது என்று ரூபின் குறிப்பிட்டுள்ளார். இந்த EFF இடுகை குறிப்பிடுகிறது:
"விரிவான பாக்கெட் பதிவுகளைக் கொண்ட எந்த நெட்வொர்க் ஆபரேட்டர்களும் தீங்கிழைக்கும் இதயத் துடிப்புகளைச் சரிபார்க்கலாம், அவை பொதுவாக டிசிபி பேலோடை 18 03 02 00 03 01 அல்லது 18 03 01 00 03 01 (அல்லது ஒருவேளை 18 03 03 00 03 01) கொண்டிருக்கலாம்."பின்வரும் எடுத்துக்காட்டு நிகழ்ச்சி தணிக்கை கட்டளையின் மாதிரி வெளியீடு:
திசைவி # தணிக்கை காட்டு
* செப்டம்பர் 14 18: 37: 31.535:% AUDIT-1-RUN_VERSION: ஹாஷ்:
24D98B13B87D106E7E6A7E5D1B3CE0AD பயனர்:
* செப் 14 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: ஹாஷ்:
4AC2D776AA6FCA8FD7653CEB8969B695 பயனர்:
* செப் 14 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: ஹாஷ்:
95DD497B1BB61AB33A629124CBFEC0FC பயனர்:
* செப் 14 18: 37: 32.107:% ஆடிட் -1 ஃபைலிசிஸ்டம்: ஹாஷ்:
330E7111F2B526F0B850C24ED5774EDE பயனர்:
* செப் 14 18: 37: 32.107:% ஆடிட் -1-ஹார்ட்வேர்_கான்ஃபிக்: ஹாஷ்:
32F66463DDA802CC9171AF6386663D20 பயனர்:
நீங்கள் நேர முத்திரைகளைப் பின்பற்றினால், அந்த உள்ளீடுகளுக்கான நேர இடைவெளி ஒரு வினாடிக்கும் குறைவாகவே இருந்தது. இரண்டு வருடங்கள் ஒருபுறம் இருக்க, ஒரு நாளைக்கு நான் அதை விரிவுபடுத்த விரும்பவில்லை!
பார்க்க வேண்டிய ஒன்று
நீங்கள் வேலை விளம்பரங்களை சரிபார்த்தால், பெரிய தரவு நிபுணர்களின் தேவை மிகவும் அவசியம். இது குறித்து ரூபினிடம் கேட்டேன். அவர் ஒப்புக் கொண்டார், தனது மாணவர்கள் தங்கள் வாய்ப்புகளைப் பற்றி உற்சாகமாக இருப்பதைக் குறிப்பிட்டார். பெரிய தரவு தளங்கள், குறிப்பாக திறந்த மூலமாகக் கருதப்படுபவை, லினக்ஸ் எவ்வாறு பிரதானமாக மாறியது என்பதற்கு ஒத்த காலவரிசையைப் பின்பற்றுகின்றன என்பதை நான் அப்போது உணர்ந்தேன்.
பெரிய தரவு தளங்களின் திறந்த மூல பதிப்புகளை பல்கலைக்கழகங்கள் ஏற்றுக்கொள்கின்றன, குறிப்பாக ஹடூப், ஏனெனில் அவை இலவசம், மேலும் மாணவர்கள் மூலக் குறியீட்டைக் கையாளலாம். ஆகவே, அந்த வேலை வாய்ப்புகள் அனைத்தையும் நிரப்பும் பட்டதாரிகள் திறந்த மூல தளங்களுடன் பணியாற்ற விரும்புகிறார்கள், ஏனெனில் இது அவர்களுக்கு நன்றாகத் தெரியும். பார்ப்பது சுவாரஸ்யமாக இருக்கும்.