J:
Kādi apstākļi noveda pie lielo datu ekosistēmas pieauguma?
A:Ir daudz faktoru, kas veicināja mūsdienu lielo datu ekosistēmas parādīšanos, taču pastāv vispārēja vienprātība, ka lieli dati radās aparatūras un programmatūras dizaina klāsta dēļ, kas vienkārši ļāva eksistēt lieliem datiem.
| Tīmekļa seminārs: Big Iron, Iepazīstieties ar Big Data: Mainframe datu atbrīvošana ar Hadoop & Spark Reģistrējieties šeit |
Lielo datu parastā definīcija ir šāda: Datu kopas, kas ir pietiekami lielas un sarežģītas, lai tās atvairītu vieglu iteratīvu pārvaldību vai pārvaldību ar roku. Lielās datu kopas bieži tiek identificētas kā datu kopas, kuras nevar ietilpt vienkāršā datu bāzu tīklā, jo to analīze prasa pārāk daudz darba serveriem, kuri apstrādā datus.
Paturot to prātā, liela daļa no tā, kas radīja lielos datus, ir ideja, ko mēs pazīstam kā Mūra likumu, vai tranzistoru dubultošana ķēdē ik pēc diviem gadiem, izveidojot arvien mazākas aparatūras un datu glabāšanas ierīces (kā arī jaudīgākus mikroprocesorus). . Saistībā ar Mūra likumu un, iespējams, tā dēļ, pieejamās programmatūras sistēmu skaitļošanas iespējas arvien palielinājās līdz vietai, kurā pat personālie datori varēja apstrādāt daudz lielāku datu daudzumu, un biznesa un avangardiskās sistēmas sāka rīkoties ar datu izmēriem. nav iedomājams tikai vairākus gadus iepriekš. Personiskās sistēmas no kilobaitiem tika pārvietotas uz megabaitiem un pēc tam uz gigabaitiem patērētājiem pārskatāmā procesā. Vanguard sistēmas pārcēlās no gigabaitiem uz terabaitiem un petabaitiem un pēc lieluma pakāpes kā zetabytes tādā veidā, kas vidējam iedzīvotājam bija daudz mazāk caurspīdīgs.
Vēl viens liels datu ietilpības uzlabojums bija izmaiņas veidos, kā apstrādātāji apstrādā datu kopas. Tā vietā, lai veiktu lineāru apstrādi, izmantojot parasto relāciju datu bāzes dizainu, apstrādātāji sāka izmantot tādus rīkus kā Apache Hadoop un saistītās aparatūras pārvaldības vienības, lai novērstu sastrēgumus datu procesos.
Rezultāts ir lielo datu pasaule, kurā mēs dzīvojam, kur masveida datu kopas tiek glabātas un uzturētas datu centros, un tām arvien vairāk piekļūst plašs tehnoloģiju klāsts visdažādākajām vajadzībām. Sākot no komercijas līdz ekoloģijai, no sabiedrības plānošanas līdz medicīnai, lielie dati kļūst arvien pieejamāki. Tikmēr valdības aģentūras un citas lielākas organizācijas joprojām virzās uz lielo datu apjomu robežas un ievieš vēl modernākus risinājumus.
