உள்ளடக்கம்
கே:
பெரிய தரவுகளில் எப்போதாவது அதிகமான தரவு இருக்க முடியுமா?
ப:
என்ற கேள்விக்கான பதில் ஆம். ஒரு பெரிய தரவு திட்டத்தில் முற்றிலும் அதிகமான தரவு இருக்க முடியும்.
இது நிகழக்கூடிய பல வழிகள் உள்ளன, மேலும் சரியான முடிவுகளைப் பெறுவதற்கு தொழில் வல்லுநர்கள் எந்தவொரு வழிகளிலும் தரவை மட்டுப்படுத்தவும் நிர்வகிக்கவும் பல்வேறு காரணங்கள் உள்ளன. (பெரிய தரவு பற்றிய 10 பெரிய கட்டுக்கதைகளைப் படியுங்கள்.)
பொதுவாக, வல்லுநர்கள் ஒரு மாதிரியில் "சத்தத்திலிருந்து" "சமிக்ஞையை" வேறுபடுத்துவது பற்றி பேசுகிறார்கள். வேறு வார்த்தைகளில் கூறுவதானால், பெரிய தரவுகளின் கடலில், தொடர்புடைய நுண்ணறிவு தரவு இலக்கு வைப்பது கடினம். சில சந்தர்ப்பங்களில், நீங்கள் ஒரு வைக்கோலில் ஒரு ஊசியைத் தேடுகிறீர்கள்.
எடுத்துக்காட்டாக, ஒரு வாடிக்கையாளர் தளத்தின் ஒரு பகுதியைப் பற்றிய குறிப்பிட்ட நுண்ணறிவுகளை உருவாக்க ஒரு நிறுவனம் பெரிய தரவைப் பயன்படுத்த முயற்சிக்கிறது என்று வைத்துக்கொள்வோம், மேலும் ஒரு குறிப்பிட்ட காலக்கெடுவில் அவர்கள் வாங்கியவை. (படியுங்கள் பெரிய தரவு என்ன செய்கிறது?)
ஏராளமான தரவு சொத்துக்களை எடுத்துக்கொள்வது, பொருந்தாத சீரற்ற தரவை உட்கொள்வதற்கு காரணமாக இருக்கலாம், அல்லது இது ஒரு திசையில் அல்லது இன்னொரு திசையில் தரவைத் திசைதிருப்பும் ஒரு சார்புநிலையை உருவாக்கக்கூடும்.
கம்ப்யூட்டிங் அமைப்புகள் பெரிய மற்றும் பெரிய தரவுத் தொகுப்புகளுடன் மல்யுத்தம் செய்ய வேண்டியிருப்பதால், இது செயல்முறையை வியத்தகு முறையில் குறைக்கிறது.
பல வகையான திட்டங்களில், தரவு பொறியியலாளர்களுக்கு தரவை கட்டுப்படுத்தப்பட்ட மற்றும் குறிப்பிட்ட தரவுத் தொகுப்புகளுக்கு நிர்வகிப்பது மிகவும் முக்கியமானது - மேலே உள்ள விஷயத்தில், இது வாடிக்கையாளர்களின் அந்த பிரிவின் தரவு மட்டுமே, அந்த நேரத்திற்கான தரவு மட்டுமே பிரேம் ஆய்வு செய்யப்படுகிறது, மேலும் கூடுதல் அடையாளங்காட்டிகள் அல்லது பின்னணி தகவல்களை களையக்கூடிய அணுகுமுறை, இது விஷயங்களை குழப்பலாம் அல்லது அமைப்புகளை மெதுவாக்கும். (ரீட்ஜாப் பங்கு: தரவு பொறியாளர்.)
மேலும், இயந்திர கற்றலின் எல்லையில் இது எவ்வாறு செயல்படுகிறது என்பதைப் பார்ப்போம். (இயந்திர கற்றல் 101 ஐப் படியுங்கள்.)
இயந்திர கற்றல் வல்லுநர்கள் "ஓவர் ஃபிட்டிங்" என்று அழைக்கப்படும் ஒன்றைப் பற்றி பேசுகிறார்கள், அங்கு இயந்திர உற்பத்தித் திட்டம் புதிய உற்பத்தித் தரவுகளில் தளர்வாக மாறும் போது அதிக சிக்கலான மாதிரி குறைவான பயனுள்ள முடிவுகளுக்கு வழிவகுக்கும்.
ஒரு சிக்கலான தரவு புள்ளிகள் ஆரம்ப பயிற்சித் தொகுப்போடு நன்றாகப் பொருந்தும்போது அதிகப்படியான பொருத்தம் நிகழ்கிறது, மேலும் புதிய தரவை எளிதில் மாற்றியமைக்க நிரலை அனுமதிக்காது.
இப்போது தொழில்நுட்ப ரீதியாக, அதிகப்படியான பொருத்தம் என்பது பல தரவு மாதிரிகள் இருப்பதால் அல்ல, மாறாக பல தரவு புள்ளிகளின் முடிசூட்டுதலால் ஏற்படுகிறது. ஆனால் அதிகமான தரவுகளை வைத்திருப்பது இந்த வகை சிக்கலுக்கும் ஒரு காரணியாக இருக்கலாம் என்று நீங்கள் வாதிடலாம். பரிமாணத்தின் சாபத்தை கையாள்வது முந்தைய பெரிய தரவுத் திட்டங்களில் செய்யப்பட்ட சில நுட்பங்களை உள்ளடக்கியது, ஏனெனில் தொழில் வல்லுநர்கள் அவர்கள் ஐ.டி அமைப்புகளுக்கு உணவளிப்பதைக் குறிக்க முயன்றனர்.
இதன் முக்கிய அம்சம் என்னவென்றால், பெரிய தரவு நிறுவனங்களுக்கு பெரிதும் உதவக்கூடும், அல்லது அது ஒரு பெரிய சவாலாக மாறும். இதன் ஒரு அம்சம் என்னவென்றால், நிறுவனத்தில் சரியான தரவு இருக்கிறதா என்பதுதான். அனைத்து தரவு சொத்துக்களையும் ஒரு ஹாப்பரில் கொட்டுவது மற்றும் அந்த வகையில் நுண்ணறிவுகளைக் கொண்டு வருவது நல்லதல்ல என்று வல்லுநர்கள் அறிவார்கள் - புதிய கிளவுட்-நேட்டிவ் மற்றும் அதிநவீன தரவு அமைப்புகளில், தரவைக் கட்டுப்படுத்தவும் நிர்வகிக்கவும் நிர்வகிக்கவும் ஒரு முயற்சி மேலும் துல்லியமான மற்றும் தரவு சொத்துக்களில் திறமையான பயன்பாடு.