Kas tieši ir hadoop? ciniķa teorija

Viss, kas izskatās pārāk labi, lai būtu patiesība, parasti ir. Tas varētu būt gadījums ar Apache Hadoop, daudz atklātā pirmkoda projektu, par kuru visi turpina runāt. Kas tad īsti ir šī lieta? Labs jautājums!

Eksperti šaubīgi

Trešās dabas analītiķis Marks Madsens to mazliet pavirši piestiprināja pie sienas iekšā InsideAnalysis.com, izmantojot greznu gabalu: "Kas ir Hadoop. Kas nav Hadoop." Tā kā kāds, kurš zina, kā izstrādāt reālās pasaules risinājumus, pēc tam tos faktiski izvietot, nevajadzētu ignorēt viņa padomus.

Bet šeit plūst dziļāka strāva, un ir pienācis laiks atklāt šīs aizraujošās floras saknes, lai redzētu, vai mēs nevaram iegūt kaut kādu perspektīvu par to, kas notiek vairāk makro līmenī. Galu galā pārdevēji turpina teikt, ka tas ir liels darījums, un dalībnieku ir tik daudz.

Nodarbiniet darbiniekus! (?)

Trīs uzņēmumiem šobrīd pieder vairākums topošā tirgus Hadoop: Cloudera, Hortonworks un MapR. Nesenā, diezgan strīdīgā brīfingā, izmantojot Boulder BI Brain Trust (#BBBT), Džims Valkers no Hortonworks izteica šo kuriozo komentāru:

"Jūs nevarat progresēt tehnikas attīstībā, ja nenodarbināt vainīgos!"

Nāc atkal?

Vai tas neizklausās pēc tā, kā senators Palpatīns varētu sacīt filmā Zvaigžņu kari?

Senāts Palpatīns: "Nodarbiniet vainīgos!"

Tuvumā esošais Minions: "Bet, bet, kungs! Padomājiet par bērniem!"

Lai arī nespeciālists, kurš vienkārši mēģina paveikt lietas, izdarītāji ir cilvēki, kuri ir veltīti konkrētam atvērtā koda projektam. Apache fondam ir stingri protokoli, ar kuriem viņu projekti virzās uz priekšu, kas bieži vien ir laba lieta.

Tomēr Valkera komentārs prasa pārbaudi. Viens izteikts jautājums (ar risku uzjautrināt spēļu laukumu dienas) būtu šāds: vai tas ir solījums vai drauds? Vai viņš saka, ka Hortonworks varētu vienkārši paņemt bumbu un doties mājās?

Sadarbība vai konkurence?

Interesants, ja paradoksāls leņķis šeit ir tāds, ka, kā ziņots, vairums Hadoop komandas izdarītāju (apmēram 30 vai apmēram apmēram 30) ir no Hortonworks un Cloudera - tie ir konkurenti. Šis ir ļoti kuriozs konkurences gadījums.

Tātad, kāds ir darījums? Šeit ir pamatots minējums: Hadoop lielā mērā ir parādā savu slavu gudram plānam, ko izstrādājusi Silīcija ielejas riska kapitālistu un inženieru grupa, kuri būtībā cenšas ierobežot savas likmes pret Oracle.

Vispārējā ideja ir izsmidzināt tirgu ar tāda koda pamatiem, kuru var uzlabot un atbalstīt ar izstrādātāju floti, kas ideāli laika gaitā radīs visa veida datu pārvaldības rīkus, ieskaitot datu bāzes produktus. RK kādu dienu var veikt ieguldījumus un veikt naudas izņemšanu. Bet spēlē ir daži nopietni izaicinājumi.

Tāpat kā visi monolītie uzņēmumi, arī Oracle bieži nonāk daudz mazāku spēlētāju krustos. Un kurš gan negribētu tikai daļu no viņu prātojošajiem ieņēmumiem? Tikai pēdējā ceturksnī Oracle rezervēja ~ 9 miljardus USD. Bet izaicināt Big Red un pārspēt viņus ir divas ļoti atšķirīgas realitātes.

Bezmaksas apraide internetā: kas ir Hadoop un kur tā notiek? Pievienojieties Ērikam Kavanagham, Robinam Blooram un Techopedia diskusijai par to, kā Hadoop ievērojami atšķiras no Linux vai SOA un kāpēc tā nākotne lielākoties paliek nerakstīta.

Iesaiņojuma problēmas

Lieta par Hadoop pati par sevi ir tāda, ka tas nekādā veidā nav iesaiņots risinājums. Drīzāk tā ir sarežģīta moduļu kolekcija, kas ļauj augstas kvalitātes programmētājiem izmantot masveida paralēlās apstrādes algoritmus ļoti specifisku lietu veikšanai. Bet nav iedomātā lietotāja saskarnes, un rokasgrāmatas ir brutālas.

Pievienojiet šo izaicinājumu šim kritiskajam šķērslim: jums ir nepieciešami arī biznesa cilvēki, kuriem ir vismaz vispārēja izpratne par to, ko tā var darīt. Šiem ļaudīm jāspēj uzburt idejas par to, kā to izmantot, un pēc tam jāpaziņo izstrādātājiem, kuriem pēc tam jāizgatavo, jāpārbauda, ​​jāievieš un jāatbalsta lietojumprogrammas.

Šīs dejas vadīšana ir tā, kā Kloudera un Hortonworks nopelna lielu daļu savas naudas. Problēma ir tā, ka lielākā daļa risinājumu, kas izveidoti, izmantojot šo metodi, ir unikāli un parasti koncentrējas uz operētājsistēmām, nevis analītiskām. Tulkošana? Šādi sīkumi nav īsti piemēroti iesaiņotiem programmatūras produktiem.

Iepakojuma rentabilitāte!

Kas mūs ved atpakaļ uz Oracle. Lerijs Elisons un zēni veido savu siena pārdošanas datu bāzes tehnoloģiju, aparatūru, pakalpojumus un (pagaidiet to …) iesaiņoto programmatūru. Cloudera to acīmredzot izdomāja, tāpēc viņi koncentrējās uz Impala. Bet Hortonworks?

Viņu modelis, šķiet, vairāk atdarina RedHat modeli, ļaudis, kuri uz Linux operētājsistēmas bāzes uzcēla miljardu dolāru lielu biznesu. Nary, lielākais uzņēmuma programmatūras nozares pārdevējs, neraksta Linux, operētājsistēmu, ar kuru IBM noveda pie Microsoft korporācijas. Bet Hadoop nav Linux, arī ne no tālienes.

Dr Geoffrey Malafsky, bijušais ASV Jūras spēku nanotehnologs, tagad Phasic Systems un PSIKORS institūta datu zinātnieks, Hadoop vērtības ierosinājumu destilē šādi:

"Hadoop ir lieliski piemērots meklēšanai, ļoti liela tendenču analīze stohastiskiem rezultātiem un, iespējams, ļoti lēta, gudra, paralēla apstrāde tādām lietām kā mana bijusī sieva: kvantu mehāniskā viļņa funkcijas aprēķināšana cietā stāvoklī un ķīmiskās reakcijas. Šī reālā zinātne balstās superdatoros un nedaudz pārcēlās uz paralēlo apstrādi, taču tas ir grūti mainīt programmēšanas pieeju. Jauni, gudri, enerģiski maģistranti būs tie, kas to īstenos. Man ir aizdomas, ka pētniecības dotācijas sāk iet šajā virzienā dažām lieljaudas skaitļošanas tehnoloģijām. lietojumprogrammas. "

Jūs pamanīsit, ka tas neizklausās kaut kas līdzīgs datu glabāšanai, biznesa informācijai, datu integrācijai vai pat lieliem datiem. Tas izklausās pēc superdatoriem. Un kāda interesanta iemesla dēļ augstas veiktspējas skaitļošanas un biznesa inteliģences pasaules nekad nav nekādā jēgpilnā veidā sadūries vai saliecies.

Garais ceļš priekšā Hortonworks un Cloudera

Un šeit ir patiešām sliktas ziņas Hortonworks un, iespējams, Cloudera. Lielie pārdevēji, piemēram, IBM un SAP, Oracle un Teradata - maigi izsakoties un citējot Dire Straitsu: "Viņi, puiši, nav mēmi!" Pirms trim un vairāk gadiem visi viņi ieviesa nopietnas Hadoop stratēģijas.

Šajos plānos galvenā uzmanība tiek pievērsta lietām, kuras biznesa lietotāji sagaida: grafiskas lietotāja saskarnes, vilkšanas un nomešanas funkcionalitāte, modelēšanas un atklāšanas rīki, darba plūsma, pārvaldība, drošība; īsi sakot, visi biti un gabali, kas padara uzņēmuma programmatūru izmantojamu. Un, protams, šiem lielajiem pārdevējiem ir milzīgas instalēšanas bāzes.

Protams, gan Cloudera, gan Hortonworks ir ieguvuši labu biznesu, taču tikai neliela daļa no tā, ko šie lielākie spēlētāji iegūst katru gadu. Veiciet matemātiku par to, cik daudz izaicinātāji iekasē no klientiem, salīdzinot ar to, cik liela ir viņu pieskaitāmā cena, un attēls nav tik rožains. Piešķirts, tas ir līdzvērtīgi kursam ar agrīnās stadijas programmatūras problēmām, bet tomēr …

Hadoop nākotne?

Tātad, vai mēs varētu redzēt klasisko iegādes vilni, kā tas bija mums iepriekšējos periodos, kad IBM nopirka Cognos, Oracle ieguva Hyperion un SAP aplauzto BusinessObjects? Varbūt, bet jaunajiem bērniem šajā blokā nepieder Hadoop; viņi to vienkārši aizņemas. Un tikpat daudzsološi kā YARN un Tez, šķiet, ka izlaišanas cikli atpaliek no tā, ko rada smagie hitters.

Tikai citu dienu nozares iekšējais pārstāvis komentēja, ka Apache politika var būt nopietns sašaurinājums. Tas nav šausmīgi pārsteidzoši, it īpaši, ja ņem vērā iesaistītos dolārus - novatoriem ir liela motivācija panākt tā bagātību. Un vai kāds ir pamanījis, kā šķiet, ka pārlūks Chrome pēdējā laikā ir pārspējis Firefox funkcionalitātē un lietojamībā? Vai kāds ir slēgts avots?

Viena lieta ir pārliecināta: šī spēle tiks izspēlēta dažos interesantos veidos. Jā, zīdītāji (lasīt: mazie pārdevēji) bieži var pārspēt dinozaurus; bet visā pasaulē joprojām ir aligatori un krokodili; un, ja jūs paklupt uz vienu nemanot, jūs varētu vienkārši atklāt, cik asi var būt šie zobi. Daži krokļi kopā varētu pat novest ziloni vai divus.