மரபு மற்றும் கண்டுபிடிப்புகளின் நெக்ஸஸ்: தரவுக்கான ஒரு திருப்புமுனை

உள்ளடக்கம்

• பிழைகள் இல்லை, மன அழுத்தமும் இல்லை - உங்கள் வாழ்க்கையை அழிக்காமல் வாழ்க்கையை மாற்றும் மென்பொருளை உருவாக்குவதற்கான படி வழிகாட்டியின் படி
• டவுன் டு பிசினஸ்
• தரவு நிர்வாகத்தை காஃப்கா எவ்வாறு மாற்றும்

எடுத்து செல்:

வணிக நபர்களுக்காக லிங்க்ட்இன் என்ன செய்கிறது என்பதை தகவல் அமைப்புகளுக்காக காஃப்கா செய்யும்: அவற்றை பரந்த அளவிலான இணைப்பில் வைத்திருங்கள்.

இன்னும் இல்லாத ஒன்றை உணர்ச்சியுடன் நம்புவதன் மூலம், அதை உருவாக்குகிறோம். இல்லாதது நாம் போதுமான அளவு விரும்பாதது.

~ ஃபிரான்ஸ் காஃப்கா

அவசியம் கண்டுபிடிப்பின் தாயாக உள்ளது. ஒரு புத்திசாலித்தனமான ஆலோசகர் ஒருமுறை என்னிடம் சொன்னது போல், "ஒரு நிறுவனத்தில் ஏதாவது நடக்க வேண்டும் என்றால், அது நடக்கிறது." அவரது கருத்து இரண்டு மடங்கு: 1) சிலர் எப்போதும் காரியங்களைச் செய்ய ஒரு வழியைக் கண்டுபிடிப்பார்கள்; மற்றும், 2) மூத்த நிர்வாகம், அல்லது நடுத்தர மேலாண்மை கூட, தங்கள் சொந்த ஸ்தாபனத்திற்குள் விஷயங்கள் எவ்வாறு செய்யப்படுகின்றன என்பது பற்றி நன்கு தெரியாது.

தரவு நிர்வாகத்தின் முழு பிரபஞ்சத்திற்கும் அந்த உருவகத்தை நாம் விரிவுபடுத்தினால், இப்போது ஒரு மாற்றம் நடைபெறுவதைக் காணலாம். பெரிய தரவுகளின் மூல அழுத்தம், ஸ்ட்ரீமிங் தரவின் அச்சுடன் இணைந்து, மரபு அமைப்புகள் ஓரங்களில் சிதைந்து போகும் அளவுக்கு அழுத்தத்தை உருவாக்குகின்றன. ஆயினும்கூட, எண்ணற்ற தொழில் வல்லுநர்கள் இந்த நேரத்தில் தங்கள் வேலைகளைப் பற்றிச் செல்கிறார்கள், அவர்கள் இந்த யதார்த்தத்தை பெரும்பாலும் அறிந்திருக்கவில்லை.

தரவு மூலம் பரவும், தரவு உந்துதல் நிறுவனங்கள் முன் வரிசையில் இருக்கை கொண்டுள்ளன, மேலும் பல வழிகளில் இந்த மாற்றத்தை உந்துகின்றன. யாகூ !, மற்றும் லிங்க்ட்இன் போன்ற பவர்ஹவுஸ்கள் திறந்த மூலத்திற்கு அளித்த நன்கொடைகளுடன் நிறுவன மென்பொருள் துறையை ஒரு பக்கமாக மாற்றியுள்ளன என்பதைக் கவனியுங்கள்: ஹடூப், கசாண்ட்ரா மற்றும் இப்போது காஃப்கா, இவை அனைத்தும் அப்பாச்சி அறக்கட்டளையால் மேய்க்கப்பட்டுள்ளன, இந்த உருமாற்றத்தின் மைய வீரர் .

இந்த மாற்றத்தின் விளைவு என்ன? தரவு நிர்வாகத்தின் திட்டவட்டமான மறுவகைப்படுத்தல் மற்றும் மறுசீரமைப்பு ஆகியவை இன்று சாட்சியாக இருந்தன. மரபு அமைப்புகள் இப்போது அகற்றப்பட்டு மாற்றப்படும் என்று இது கூறவில்லை. சிகாகோ குட்டிகள் உலகத் தொடரை வென்றபோதெல்லாம் மரபு முறைகளின் மொத்தக் கலைப்பு நிகழ்கிறது என்பதை எந்தவொரு தொழில் வல்லுநரும் உங்களுக்குச் சொல்வார்கள். இது ஒரு அரிய நிகழ்வு, மிகக் குறைந்தது.

உண்மையில் நடப்பது என்னவென்றால், பழைய உலக அமைப்புகளைச் சுற்றி ஒரு சூப்பர் கட்டமைப்பு கட்டப்பட்டு வருகிறது. இந்த மக்கள் தொகை மையங்களுக்குள் மக்களையும் சரக்குகளையும் வழங்குவதற்காக வடிவமைக்கப்பட்ட, அவர்கள் சேவை செய்யும் நகரங்கள் மற்றும் நகரங்களுக்கு மேலாக உயரும், மாநிலங்களுக்கு இடையேயான நெடுஞ்சாலைகளின் ஒப்புமைகளைக் கவனியுங்கள், மேலும் அவர்களுக்குள்ளும் எவருக்கும் எதையும் வழங்கலாம். அதிவேக மாற்றுகளுடன் அவற்றை மேம்படுத்தும் அளவுக்கு அவை இருக்கும் சாலைகளை மாற்றுவதில்லை.

அப்பாச்சி காஃப்கா என்ன செய்கிறார் என்பதுதான்: இது தகவல் அமைப்புகளுக்கு இடையில் மற்றும் இடையில் தரவு இயக்கத்திற்கான அதிவேக பாதைகளை வழங்குகிறது. நெடுஞ்சாலை ஒப்புமைகளைப் பின்பற்ற, இன்னும் பல நிறுவனங்கள் நேரியல் வரிசைகளைப் பயன்படுத்துகின்றன, அல்லது பழைய தரமான ETL (பிரித்தெடுத்தல்-உருமாற்றம்-சுமை); ஆனால் இந்த பாதைகள் குறைந்த வேக வரம்புகளைக் கொண்டுள்ளன, மேலும் பல குழிகள் உள்ளன; மேலும், பராமரிப்பு செலவுகள் பெரும்பாலும் மிகைப்படுத்தப்பட்டவை; அடையாளம் மோசமாக உள்ளது.

தரவை வழங்குவதற்கான மாற்று முறையை காஃப்கா வழங்குகிறது, இது நிகழ்நேர, அளவிடக்கூடிய மற்றும் நீடித்தது. இதன் பொருள் காஃப்கா ஒரு தரவு இயக்கம் வாகனம் மட்டுமல்ல, தரவு பிரதிபலிப்பாளரும் கூட; மற்றும் ஒரு குறிப்பிட்ட அளவிற்கு, விநியோகிக்கப்பட்ட தரவுத்தள தொழில்நுட்பம். காஃப்கா இன்னும் விளையாடாத ஏசிஐடி-இணக்க தரவுத்தளங்களின் பண்புகள் இருப்பதால், ஒப்புமையை வெகுதூரம் எடுத்துக்கொள்வதில் நாம் கவனமாக இருக்க வேண்டும். இன்னும், மாற்றம் உண்மையானது.

தகவல் நிலப்பரப்புக்கு இது ஒரு சிறந்த செய்தி, ஏனென்றால் தரவு இப்போது நாட்டைப் பற்றியும் - உலகத்தைப் பற்றியும் நகர்த்துவதற்கு இலவசம். ஒரு காலத்தில் வலிமிகுந்த தடையாக இருந்தது, அதாவது ஈ.டி.எல் செயல்முறைகளுக்கு தொகுதி ஜன்னல்களைத் தாக்கியது, இப்போது ஒரு வெயிலின் கண்ணை கூசும் கீழ் வானத்தை அழிக்க மூடுபனி வழிவகுக்கும் என்பதால் இப்போது சிதறடிக்கப்படுகிறது. ஒரு கணினியிலிருந்து இன்னொரு இடத்திற்கு தரவை நகர்த்தும்போது எல்லைக்கோடு தடையின்றி, புதிய வாய்ப்புகளின் சகாப்தம் உருவாகிறது.

பிழைகள் இல்லை, மன அழுத்தமும் இல்லை - உங்கள் வாழ்க்கையை அழிக்காமல் வாழ்க்கையை மாற்றும் மென்பொருளை உருவாக்குவதற்கான படி வழிகாட்டியின் படி

மென்பொருள் தரத்தைப் பற்றி யாரும் கவலைப்படாதபோது உங்கள் நிரலாக்க திறன்களை மேம்படுத்த முடியாது.

புதிய எதிர்காலத்திற்கான பாதையில் மனிதர்கள் மிகவும் உராய்வைக் குறிக்கும். பழைய பழக்கங்கள் கடுமையாக இறக்கின்றன. நிறுவன அமைப்புகளில் மொத்த மாற்றங்களைச் செய்வதில் சி.ஐ.ஓ மிகவும் உற்சாகமாக இருக்கிறார். பாத்திரத்தின் ஒரு மூத்த மூத்த நிர்வாகி கூறினார்: "தனிமையாக இருக்க தயாராகுங்கள்." அந்தக் கருத்தின் ஒரு வருடத்திற்குள், அவர் ஒரு ஆலோசகராக இருந்தார். இது ஒரு சுலபமான பாதை அல்ல, நிறுவன தரவின் குறிப்பிடத்தக்க அளவிலான உலகத்தை நிர்வகிக்க முயற்சிக்கிறது.

நல்ல செய்தி என்னவென்றால், காஃப்கா எதிர்காலத்திற்கு ஒரு வளைவை வழங்குகிறது. இது அதிக சக்தி வாய்ந்த, பன்முகத்தன்மை கொண்ட பஸ்ஸாக செயல்படுவதால், இது மரபு அமைப்புகளுக்கும் அவற்றின் முன்னோக்கு தோற்றங்களுக்கும் இடையே பாலங்களை உருவாக்குகிறது. எனவே, இந்த புதிய வாய்ப்பை திறந்த மனதுடனும், போதுமான வரவு செலவுத் திட்டத்துடனும் ஏற்றுக் கொள்ளும் நிறுவனங்கள் பழையதை விட்டுவிடாமல் புதிய உலகிற்குள் நுழைய முடியும். இது ஒரு பெரிய விஷயம்.

டவுன் டு பிசினஸ்

அப்பாச்சி காஃப்கா ஒரு திறந்த மூல தொழில்நுட்பமாக இருந்தாலும், யாருக்கும் பதிவிறக்கம் செய்து பயன்படுத்த இலவசம், லிங்க்ட்இனுக்காக இந்த மென்பொருளை உருவாக்கிய எல்லோரும் கன்ஃப்ளூயன்ட் என்ற தனி நிறுவனத்தை முடக்கியுள்ளனர், இது நிறுவன பயன்பாட்டிற்கான பிரசாதத்தை கடினப்படுத்துவதில் கவனம் செலுத்துகிறது. கிளவுடெரா, ஹார்டன்வொர்க்ஸ் மற்றும் மேப்ஆர் போன்றவை அப்பாச்சி ஹடூப்பின் திறந்த மூல திட்டத்தைச் சுற்றி தங்கள் வணிகங்களை உருவாக்கியுள்ளன, எனவே காஃப்கா பணமாக்குவதற்கு சங்கமம் முயல்கிறது.

சமீபத்திய இன்சைட்அனாலிசிஸ் நேர்காணலில், சங்கமிக்கப்பட்ட தலைமை நிர்வாக அதிகாரியும் இணை நிறுவனருமான ஜே கிரெப்ஸ் அதன் தோற்றத்தை லிங்க்ட்இனில் விளக்கினார்:

"நாங்கள் அங்கு ஒரு ஜோடி வெவ்வேறு சிக்கல்களைத் தீர்க்க முயற்சித்தோம். ஒன்று, இந்த வெவ்வேறு தரவு அமைப்புகள் அனைத்தையும் வெவ்வேறு வகையான தரவுகளுடன் வைத்திருந்தோம். எங்களிடம் தரவுத்தளங்கள் இருந்தன, எங்களிடம் பதிவுக் கோப்புகள் இருந்தன, சேவையகங்களைப் பற்றிய அளவீடுகள் இருந்தன, பயனர்கள் விஷயங்களைக் கிளிக் செய்தார்கள். எல்லா தரவையும் பெறுவது - அது பெரிதாகிவிட்டது - மிகவும் கடினமாக இருந்தது. நீங்கள் பயன்பாடுகள், அல்லது செயலாக்கம் அல்லது தேவைப்படும் அமைப்புகளுக்கு அதைப் பெற முடிந்தால் மட்டுமே தரவின் சக்தி இருந்தது. அது ஒரு பெரிய பிரச்சினையாக இருந்தது.

"எங்களுக்கு இருந்த மற்ற பிரச்சனை என்னவென்றால், நாங்கள் ஹடூப்பை ஏற்றுக்கொண்டோம், அதுவும் நான் ஈடுபட்டிருந்தேன். இந்த அருமையான ஆஃப்லைன் செயலாக்க தளம் எங்களிடம் இருந்தது, அதை அளவிட முடியும், மேலும் எங்கள் எல்லா தரவையும் வைக்கலாம். இணைக்கப்பட்ட எங்கள் எல்லா தரவுகளும் உண்மையானவை நேரம். தொடர்ச்சியான தலைமுறை தரவு இருந்தது. எங்கள் தரவிலிருந்து வணிகத்தின் முக்கிய பகுதிகளை உண்மையில் உருவாக்க முயற்சித்தபோது இந்த பொருத்தமின்மை எப்போதும் இருந்தது; ஒரு நாளைக்கு ஒரு முறை, இரவில் ஓடி, அடுத்த நாளுக்குள் முடிவுகளை உருவாக்கிய ஒன்றுக்கு இடையில், இந்த வகையான தொடர்ச்சியான தரவு - குறுகிய தொடர்பு நேரங்கள் - நீங்கள் பிடிக்க வேண்டியிருந்தது. கல்வியில் சிறிது காலமாக இருந்த ஒன்றை நாங்கள் செய்ய விரும்பினோம், ஆனால் உண்மையில் ஒரு முக்கிய விஷயம் அல்ல, இது முடியும் தரவின் ஸ்ட்ரீம்களை அவர்கள் உட்கார்ந்திருப்பதை விட, அவை உருவாக்கப்படுவதைத் தட்டவும் செயலாக்கவும். "

சரி. எல்லா வடிவங்கள் மற்றும் அளவுகளின் நிறுவன தரவுகளுடன் சங்கமம் இப்போது செய்ய விரும்புகிறது. நாடகத்தில் வாய்ப்பு? கிரீன்ஃபீல்ட். வெளிப்படையாக, நிறுவன மென்பொருளின் முழு வரலாற்றிலும், இந்த தொழில்நுட்பத்திற்கான முகவரியிடத்தக்க சந்தை முற்றிலும் கேக்கை எடுக்கும் என்று ஒருவர் வாதிடலாம். இந்த தொழில்நுட்பத்திலிருந்து பெரிதும் பயனடையக்கூடிய ஒரு பெரிய அமைப்பு அல்லது தரவு-கனரக சிறு வணிகம் கூட இல்லை.

இந்த தொழில்நுட்பத்தின் நரம்பியல் அம்சத்தின் காரணமாக இது குறிப்பாக உண்மை; சம்பந்தப்பட்ட மனங்கள் மட்டுமல்ல, தகவல் அமைப்புகளுக்கு காஃப்கா என்ன செய்கிறார் என்பதன் தன்மை. ஒரு நிறுவனம் முழுவதும் தரவின் இயக்கத்தை நிர்வகிக்க காஃப்கா பயன்படுத்தப்படலாம் என்பதால், இது ஒரு போக்குவரத்துக் காவலரைக் காட்டிலும் அதிகமாகவே பார்க்க முடியும், மாறாக செயல்பாட்டின் மூளையே. அந்த பார்வையின் ஆரம்ப கட்டங்களில் இருந்தன, ஆனால் மீதமுள்ளவை அதன் உண்மையானவை.

தரவு நிர்வாகத்தை காஃப்கா எவ்வாறு மாற்றும்

தரவு நிர்வாகத்தின் தன்மையை காஃப்கா எவ்வாறு மாற்றும் என்பதைப் புரிந்து கொள்ள, சென்டர் நெட்வொர்க்கிங் மாற்றப்பட்ட வழிகளைப் பற்றி சிந்தியுங்கள். சகாக்களைக் கண்டுபிடிப்பது மிகவும் எளிதானது; மக்களுடன் தொடர்பில் இருப்பது இப்போது ஒரு நொடி. வணிக நபர்களுக்காக லிங்க்ட்இன் என்ன செய்கிறது என்பதை தகவல் அமைப்புகளுக்காக காஃப்கா செய்யும்: அவற்றை இந்த பூமியின் பரந்த எல்லைகளில் இணைக்க வேண்டும்.

மென்பொருள் மேம்பாடு மற்றும் மூடிய-மூல மனநிலையைத் துண்டிப்பதன் மூலம் இயக்கப்படும் இயக்கம், திறந்த-மூல தொழில்நுட்பத்தின் படைப்பாளர்களால் வழிநடத்தப்பட்டு, பெரிய அளவிலான துணிகர மூலதனத்தால் தூண்டப்பட்டு, பணமாக்கப்பட்ட புதிய கண்டுபிடிப்பு என்று நாம் அழைக்கக்கூடிய ஒன்றின் குறியீடாகும். நிறுவனங்களும் மக்களும் தரவை எவ்வாறு உருவாக்குகிறார்கள், சேகரிக்கின்றனர், பகுப்பாய்வு செய்கிறார்கள் மற்றும் அந்நியப்படுத்துகிறார்கள் என்பதை புரட்சிகரமாக்க முற்படும் இலாப நோக்கற்ற நிறுவனங்கள்.

ஃபிரான்ஸ் காஃப்காவை மேற்கோள் காட்ட, "ஒரு குறிப்பிட்ட கட்டத்தில் இருந்து, இனி பின்வாங்குவதில்லை. அதுதான் அடையப்பட வேண்டிய புள்ளி."

நாங்கள் ரூபிகானைக் கடந்துவிட்டோம். இப்போது திரும்பவில்லை.