Big Data je zadnja poveznica u predviđanju vremenskih uvjeta. Diljem svijeta tisuće tvrtki, znanstvenih centara, institucija itd. Koriste Big Data kako bi pronašli uzorke gdje god se nalazili, velike podatke. U meteorologiji, znanosti koja također ima ogromnu i ogromnu količinu podataka, Big Data također ima svoje korisne primjene. Je Moderan i moćan alat, može se koristiti na više načina. Iako je imenovan kao jedno, može postići mnogo različitih predviđanja, ovisno o tome što tražite. Naravno, došlo je i do meteorologije, a ovdje ćemo vam reći što to čini i kako.
Prije svega, sjetimo se toga predviđanje vremena uvijek je bila jedna od primarnih potreba ljudi. Prije tisuće godina, vremenske prognoze bile su vrlo važne, čak i više nego danas, za preživljavanje. Tehnološki razvoj nije bio toliko vrhunski, svaka nestabilnost mogla bi imati ozbiljne posljedice. Iako je uvijek postojala ta potreba za sprečavanjem vremenskih prilika, tek dolaskom Aristotela mogli smo smisliti termin meteorologija. Nazvao ga je "meteorološkim", imenom koje je dao svojoj knjizi, oko 340. pr.
Veliki podaci u prognozama
Logika atmosferskog ponašanja nije se prestala razvijati od tada. Svaki put brže. Prolazeći kroz termometar koji je Galileo izumio 1607. godine, do računalnih simulacija iz podataka prikupljenih od satelita. Trenutno smo suočeni s velikim podacima, mnogi se s tim slažu to je najrevolucionarniji alat otkad postoji Internet i nije za manje. Kao da je to budućnost znanstvene fantastike, danas možemo reći da je stvarna.
Kao što smo komentirali, Big Data danas počinje preuzimati odgovornost za davanje tog drugog gledišta meteorolozima. Tamo gdje nisu mogli ići ili su vjerovali da su u pravu a da nisu, Veliki podaci pokazuju vam što je bilo skriveno ili nezapaženo, također s nikad dosegnutom razinom preciznosti. Postoje tvrtke koje već danas nude ove usluge. Institucije, vlade i tvrtke koje koriste velike podatke za predviđanje klime. Ali kako je cijeli taj proces? Kako se to radi? Kako koristimo? Dalje ćemo vidjeti i razumjeti kako je cijeli ovaj proces tehnoloških inovacija moguć.
Kako funkcioniraju Big Data?
Grubo, Big Data stavlja više od gledanja u nebo da bi se usredotočio na podatke, te da su ispravno obrađeni. Da biste mogli shvatiti više po veličini implikacije meteorologije, prvo je potrebno objasniti kako ona djeluje.
Big Data ima srž djelovanja u onome što se naziva 4 V.
volumen
To znači količinu podataka. Sva ta količina prikupljenih podataka je ono što je poznato kao volumen. Može se razlikovati ovisno o tome što se primjenjuje, ponekad imamo puno podataka, a drugi put "manje". Odnosno, od 1.000 milijuna podataka možemo prijeći na nekoliko bilijuna, ovisno o tome koji se analizira.
Ubrzati
To jest, brzina generiranja podataka. Dolaze iz potrebe da ih se uhvati, pohrani i obradi. Što je više podataka, brže se pohranjuju, ima više za analizu. Brzina je dvostruko važna u vremenskim prognozama, jer se događaji događaju u stvarnom vremenu i moraju se obraditi što je prije moguće.
raznovrsnost
Ponekad postoji format načina na koji ti podaci dolaze, drugi put drugi. Svaka vrsta podataka ima svoju klasifikaciju. Ponekad nedostaju neke (postoje tehnike da se to popravi ili bi pogreške bile ogromne), a ponekad čak i u video oblicima. Postoji vrlo različita masa podataka koja je u Big Datau zadužena za naručivanje, logiku koju treba dobro analizirati. Na primjer, mjerenja temperature pomoću termometra "ne mogu se staviti u isti paket kao satelitska mjerenja s prednje strane.
Istinitost
Povezano sa zagradom prethodne točke. To znači da podaci konačno postaju čisti, bez "čudnih" stvari. Timovi za upravljanje velikim podacima moraju imati nepristrani tim obučen za održavanje dobre strukture. Posljedice loše istinitosti podataka imaju vrlo negativne učinke. Da biste dobili ideju, to bi bilo kao da je skupina mehaničara završila popravak automobila, a oni su zaboravili zavrnuti dva kotača.
Primjer o istinitosti podataka
Imamo mnogo zapisa iz mnogih područja. Zamislimo da imamo temperature, razinu vlage, vjetrove itd. Ali, imamo kvara i nedostaju nam neki temperaturni zapisi za neko područje, iz bilo kojeg razloga, i ne možemo pristupiti saznanju koje temperature je zabilježeno. Imamo ukupno 30 podataka, i to dva, napokon bez temperature.
Ono što bi se, na primjer, moglo učiniti, izračunati prosječnu temperaturu tih regija kako bi se precizno utvrdila moguća temperatura na koju se može računati u zapisu koji nedostaje, ali i s vrlo malim granicama pogreške. Vrijednosti su rezervni dijelovi, i tada se izračun može primijeniti u praksi. Da ti podaci nedostaju, računala ih ne bi prepoznala, stvaranje crne rupe u podacima i potpuno pogrešna predviđanja.
Kako se to postiže?
U meteorologiji, kao i u bilo kojem polju, podaci dolaze u obliku varijabli. Odnosno, svaka se obrađuje na način na koji pripada. I premda se sve čini vrlo zamršenim i složenim, zadatak analitičarima Big Data postaje "lak". Varijable koje možemo zabilježiti u meteorologiji, iako su to još uvijek podaci, mogu pripadati različitim obiteljima. Odnosno, varijabla je bilo koji podatak koji se može klasificirati, ali nije uvijek isti.
Gornja slika, koju je osigurala NASA, prikazuje primjer strujanja oko planeta. U slučaju NASA-e, oni imaju velik broj satelita koji im omogućuju promatranje i mjerenje pojava širom svijeta u stvarnom vremenu.
Big Data mogu pročitati svaki trag koji nešto ostavlja o nečemu, a to se može smatrati podacima. Mnogi kada razmišljaju o Big Datau, brzo će razmisliti kada koristimo mobilne telefone, surfamo internetom, kliknemo na stranicu, kupimo neki predmet na mreži ili ga "lajkamo" na Facebooku. To je samo "mali", ali gusti dio, da, vrlo je pouzdan i dobro kodiran. Ali zauzvrat ostavljamo fizički / virtualni trag, poput GPS lokacije gdje se nalazimo, zahvaljujući mobilnim telefonima. Ovdje već počinjemo miješati virtualni svijet s onim fizičkim. I naravno, fizički pokreti, fizičke kupnje, prema dobi, ono što odaberemo, sve se to uvijek arhivira, i naravno, može se prevesti u sve više podataka.
Varijable mogu biti kategorične
Kategorijske varijable su one koje predstavljaju ograničene vrijednosti ili varijable koje ne znače nužno određenu veličinu. Oni predstavljaju kvalitetu nečega što opisuju. U osnovi je njihova posebnost ograničenje onoga što predstavljaju. Mogu se razvrstati u dva polja.
Nominalne kategorijalne varijable
Jesu li to oni predstavljaju stvari u istom polju bez logičke veze svaki. Na primjer: Naziv regija koje pokazuju odakle su zapisi, poput grada, autonomne zajednice, poštanskog broja itd.
Redne kategorijalne varijable
Jesu li to oni može predstavljati veličinu nečega, poput Douglasove ljestvice u razini bubrenja, razine skale s kojom se tornadi mogu klasificirati prema njihovoj veličini itd.
Varijable mogu biti numeričke
Numeričke varijable su one koje predstavljaju vrijednosti ili varijable unutar veličine i mogu biti mjerljive. Oni predstavljaju kvantitativne vrijednosti. Njihova je posebnost što mogu predstavljati vrlo velik raspon mjerenja u meteorološkim pojavama. Klasificirani su na dva načina
Neprekidne numeričke varijable
Neprekidne varijable su one koje zaduženi su za mjerenje nečega utvrđenog. Primjeri bi bili indeks vlažnosti, temperatura, brzina vjetra, količina kiše itd.
Diskretne numeričke varijable
To su one prate nešto utvrđeno. Odnosno, koliko je puta kišilo u godini u nekoj regiji, koliko je puta pao snijeg itd.
Sve varijable se obrađuju
Jednom kada su sve varijable klasificirane, obrađuju se zahvaljujući računalima, uvijek pod nadzorom analitičara velikih podataka. Do prije nekoliko godina, količina podataka koja je bila dostupna, iako je bila vrlo velika, nije bilo problema za analizu analitičara podataka. Analiza velikih podataka, međutim, odgovorna je za analizu ovih masovnih podataka, gdje procesi analize koji su do danas bili uobičajeni, trebali bi dugo (čak razgovaramo i o danima) da damo odgovor. I ne samo to, Big Data je učinkovitiji i precizniji, "igrajući se" s varijablama između njih.
Sve ovo potječe ono što smo prethodno komentirali na 4 V velikih podataka, postižući brzinu, pouzdanost i vremenski modeli koji daju nevjerojatno točne prognoze u super kratkom vremenskom razdoblju.
Veliki podaci kao nova disciplina
Dobar primjer bio bi razgovor o tvrtki ACCIONA koja ima tvrtku Centar za kontrolu obnovljive energije (CECOER). To je najveće središte na svijetu gdje je cilj pružiti rješenja u realnom vremenu, za milijune podataka prikupljenih iz njegovih postrojenja, kako biomase, energije vjetra i sunca. Izrađuje oko 3000 godišnjih rasporeda koji uzimaju sve ove podatke kako bi se prilagodili potrebnoj potražnji. Još jedna prednost CECOER-a je primanje incidenata koje imaju iz svojih objekata, pa se 50% njih rješava daljinski. Preostalih 50% fizički popravljaju operateri. Na ovaj način, Acciona dobiva svoju obnovljivu energiju, više nego što je alternativna energija, biti rješenje danas.
Još jedna važna činjenica o velikim podacima danas je nedostatak znanstvenika za obradu podataka. To je novonastalo polje, a to je naišlo na određene unaprijed stvorene standarde. Mogu li Big Data doista toliko pomoći u evoluciji predviđanja, prijaviti koristi tvrtkama, moći predvidjeti toliko stvari i opravdati troškove analize velikih podataka? Da, ali to je nešto što se malo-pomalo viđalo. Rastuća potražnja za znanstvenicima podataka uspoređivala je rezultate i razumijevanjem potrebe za njima na svim mjestima. Istina je da već radi mnogo timova za Big Data sa spektakularnim rezultatima, ali upravo sada nalazimo da postoji veća potražnja. Veoma su traženi analitičari velikih podataka.
Prema tome, živimo revoluciju koju oni podrazumijevaju u razvoju, ali od početka. Kao i svaka industrija, i sada svjedočimo njenom potencijalu, ali on nije u potpunosti razvijen, to je nešto što nam vrijeme sprema. Jedno je već očito, njegov trenutni potencijal, drugo, dokle može ići. Vaši nas rezultati neće ostaviti ravnodušnima.
IBM-ova tvrtka The Weather je privatna tvrtka koja nudi do 26 milijuna dnevnih prognoza o vremenu. IBM se od samog početka, zajedno s Googleom, istakao kao jedna od najpionirskijih tvrtki na tom području. Tvrtka Weather posvećena je pomaganju ljudima u donošenju informiranih odluka o vremenu. To je najveća mreža na svijetu osobnih meteoroloških postaja. Najveći svjetski brendovi u zrakoplovstvu, energetici, osiguranju, medijima i vladi ovise o tvrtki The Weather Company za podatke, tehnološke platforme i usluge.
Veliki podaci protiv klimatskih promjena
Globalni puls Ujedinjenih naroda, inicijativa za velike podatke Ujedinjeni narodi i Western Digital Corporation, potpisali su savez za zajedničku borbu protiv klimatskih promjena. Ovaj projekt su vodili UN i Western Digital Corp., okupiti znanstvenike za digitalne inovacije iz cijelog svijeta da napadnu problem na učinkovitiji način. Među njima nalazimo suradnike iz vrlo različitih sektora. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ... neki su od onih koji sudjeluju u ovom projektu.
Također nalazimo i Barcelona superračunalni centar (BSC), To je četvrti model u seriji MareNostrum. Superračunalo za analizu velikih podataka ključna na mnogim poljima, među njima je i borba za klimatske promjene. Pušten je u rad krajem lipnja ove 2017. godine. To je treće najbrže računalo u Europi, u njega je uloženo Ministarstvo gospodarstva, industrije i konkurentnosti Španjolske za njegovu instalaciju od 34 milijuna eura. Kapaciteta je 14 petabajta, odnosno 14 milijuna gigabajta. Dostiže 11,1 Petaflops, odnosno barbarstvo od 11.100 XNUMX milijardi operacija u sekundi.
Veliki podaci u budućnosti meteorologije i u našem životu
U svijetu koji se mijenja, gdje su promjene sve brže i sve iznenađujuće, teško je predvidjeti budućnost nečega. Ono što sigurno znamo je to Big Data je ostao da ostane, te da nas prognoze vremenske prilike i za ostala područja zbunjuju. Neki će ostati sumnjičavi, drugi će to poricati, treći će to doživljavati kao nešto daleko. Ali istina je da već živimo s tim.
Danas znamo da Big Data predviđa mnoge kiše, sezone uragana, pa čak i s velikom preciznošću broj medalja koje neka zemlja može osvojiti na Olimpijskim igrama. Također predviđa tko će, gdje i kada počiniti zločin (ako je netko gledao film "Izvještaj manjina", prošlo mu je kroz glavu, zar ne?). Veliki podaci ubrzano se kreće prema predviđanju budućnosti mnogih područja, a to je da ga čak i Amazon počinje predviđati, a nedavno je počeo isporučivati i prije nego što kupci izvrše kupnju. Budućnost je bila do danas, često neizvjesna. Ali mijenja se budućnost je predvidljiva.
Znamo da će njegov potencijal rasti. Tko zna, možda je ishitreno predvidjeti tko nešto predviđa (Big Data). Ali s dovoljno podataka, Hoće li Big Data moći predvidjeti globalnu klimu s ogromnim iščekivanjem? Da, baš kao što možete predvidjeti da će naše akcije dati različite scenarije onima koji su prethodno dani, jer svaka akcija ima svoj odjek u budućnosti, a Big Data to znaju i preispituju, dajući novi scenarij.
Sve se može predvidjeti. Hoćemo li u bliskoj budućnosti moći znati što će se s nama dogoditi? S kojim ćemo se problemima suočiti? Kada i gdje će udariti uragan? Što ćemo morati nastaviti rješavati? Kako se tehnike poboljšavaju, računala poboljšavaju učinkovitost i brzinu, ovo se polje nastavlja razvijati ... Najvjerojatnije jest da će umjesto odgovora "tko zna", možda najprikladnije biti reći "pitajmo velike podatke".
BA partneri | Willis ažuriranje | LONAC