హడూప్ అంటే ఏమిటి?

హడూప్ అంటే ఏమిటి?

గత (June 2016) బ్లాగులో “భారీ దత్తాంశాలు” (బిగ్ డేటా) అంటే ఏమిటో చెప్పేను.

అంతకు ముందు – October 2015 బ్లాగులో – పరిచారికలు (సెర్వర్స్) అంటే ఏమిటో చెప్పేను. ఇప్పుడు హడూప్ అంటే ఏమిటో – టూకీగా – తెలుసుకుందాం.

హడూప్ గురించి తెలుసుకోవాలంటే అది నెరవేర్చే రెండు ముఖ్యమైన పనుల మీద దృష్టి కేంద్రీకరించాలి: ఒకటి, హడూప్ దస్త్రాలని నిల్వ చేస్తుంది. రెండు, హడూప్ దస్త్రాలలో ఉన్న దత్తాంశాలతో కలనం చేసి వచ్చిన సమాధానాన్ని నిల్వ చేస్తుంది.

ఈ రెండు పనులూ మన ఇళ్లల్లో ఉన్న కంప్యూటర్లు కూడా చేస్తాయి. హడూప్ ప్రత్యేకత ఏమిటి?

మన దగ్గర పెద్ద – పేద్ద – దస్త్రం ఉందనుకుందాం. ఎంత పెద్దది? మన కంప్యూటరులో పట్టనంత పెద్దది. అంత పెద్దది కనుక అది మన కంప్యూటరులో ఉన్న కోష్ఠం (store) లో ఇమడదు. అప్పుడు మనకి హడూప్ కావలసి వస్తుంది. హడూప్ లో పెద్ద పేద్ద దస్త్రాలని సునాయాసంగా దాచుకోవచ్చు. అంతే కాదు. ఇలాంటి పెద్ద పేద్ద దస్త్రాలని – ఒకటి కాదు – చాలా దాచవచ్చు.

అంతేనా?

కాదు. హడూప్ కథ ఇంకా ఉంది. ఇలా హడూప్ లో దాచుకున్న పెద్ద పేద్ద దస్త్రాలలో ఉండే దత్తాంశాలతో కలనం చెయ్యవలసి వచ్చినప్పుడు ఏమి చేస్తాం? ఈ దస్త్రాలని చిన్న చిన్న ముక్కలుగా కత్తిరించి, మన కంప్యూటరులోకి దింపుకుని కలనం చెయ్యవచ్చు. ఇంత పెద్ద దస్త్రాలని అంతర్జాలం ద్వారా దింపుకుందుకి చాల సమయం కావాలి కదా. కనుక పని జరగడానికి ఎంతో సేపు పట్టడమే కాకుండా ఈ దత్తాంశ రవాణాకి బోలెడు ఖర్చు అవుతుంది. అందుకని కలనం చెయ్య గలిగే స్థోమతని దత్తాంశాలు ఎక్కడ ఉంటే అక్కడికే తీసుకెళితే? హడూప్ ఈ పని కూడ చేస్తుంది. ఇలా కలనం చెయ్యగలిగే స్థోమతని దత్తాంశాల దగ్గరకే తీసుకెళ్లడం అనేది “మేప్‌రెడుస్” అనే భాగం చేస్తుంది.

కనుక హడూప్ అంటే పెద్ద దస్త్రాలని దాచుకోడానికి వీలుగా నిర్మించిన పెద్ద పరిచారకి, ఆ దత్తాంశాలతో జోరుగా, సమర్ధవంతంగా కలనం చెయ్యడానికి వీలయిన కలన కలశం. ఈ ప్రత్యేక లక్షణాలు ఉన్న పరిచారికని "హడూప్ ఫైల్ సర్వర్" (HDFS) అంటారు. ఈ ప్రత్యేక కలన కలశాన్ని "మేప్ రెడ్యూస్" (MapReduce) అంటారు. ఈ రెండింటిని కలిపి హడూప్ (Hadoop) అంటారు.

ఈ "హడూప్" అన్న మాటకి ప్రత్యేకం ఏమీ అర్థం లేదు. హడూప్ నిర్మాణశిల్పానికి రూపు దిద్దిన ఆసామీ ఇంట్లో పిల్లలు ఆడుకునే, ఏనుగు ఆకారంలో ఉన్న, ఒక ఆటబొమ్మ పేరు హడూప్. అందుకనే హడూప్ వ్యాపార చిహ్నం కూడ ఏనుగే.