Big Data je zadnja veza u predviđanju vremenskih prilika. Širom svijeta hiljade kompanija, naučnih centara, institucija itd. Koriste velike podatke kako bi pronašli obrasce gdje god se nalazili, velike podatke. U meteorologiji, nauci koja također ima ogromnu i ogromnu količinu podataka, Big Data također ima svoje korisne primjene. Ovo moderan i moćan alat, može se koristiti na više načina. Iako je imenovan kao jedna stvar, može postići mnogo različitih predviđanja, ovisno o tome što tražite. Naravno, došlo je i do meteorologije, a ovdje ćemo vam reći šta to čini i kako.
Prije svega, sjetimo se toga predviđanje vremena oduvijek je bila jedna od primarnih potreba ljudi. Prije hiljade godina, vremenske prognoze bile su vrlo važne, čak i više nego danas, za preživljavanje. Tehnološki razvoj nije bio toliko vrhunski, svaka nestabilnost mogla bi imati ozbiljne posljedice. Iako je oduvijek postojala ta potreba za sprečavanjem vremenskih prilika, tek dolaskom Aristotela mogli smo sročiti pojam meteorologija. Nazvao ga je "meteorološkim", imenom koje je dao svojoj knjizi, oko 340. pne.
Veliki podaci u prognozama
Logika atmosferskog ponašanja nije se prestala razvijati od tada. Svaki put brže. Prolazeći kroz termometar koji je Galileo izumio 1607. godine, do računarskih simulacija na osnovu podataka prikupljenih od satelita. Trenutno smo suočeni s velikim podacima, mnogi se s tim slažu to je najrevolucionarniji alat otkad postoji Internet i nije za manje. Kao da je to budućnost naučne fantastike, danas možemo reći da je stvarna.
Kao što smo prokomentirali, Big Data danas počinje preuzimati odgovornost za davanje tog drugog gledišta meteorolozima. Tamo gdje nisu mogli ići ili su vjerovali da su u pravu a da nisu, Veliki podaci pokazuju vam šta je bilo skriveno ili nezapaženo, takođe sa nivoom preciznosti koji nikada nije dostignut. Postoje kompanije koje već danas nude ove usluge. Institucije, vlade i kompanije koje koriste velike podatke za predviđanje klime. Ali kako je cijeli ovaj proces? Kako se to radi? Kako koristimo? Dalje ćemo vidjeti i razumjeti kako je čitav ovaj proces tehnoloških inovacija moguć.
Kako funkcioniraju Big Data?
Grubo, Big Data napušta pogled u nebo da bi se usredotočio na podatke, te da su ispravno obrađeni. Da biste mogli shvatiti više po veličini implikacije meteorologije, prvo je potrebno objasniti kako to funkcionira.
Big Data ima srž rada u onome što se naziva 4 V.
zapremina
To znači količinu podataka. Sva ova količina prikupljenih podataka je ono što je poznato kao volumen. Može se razlikovati ovisno o tome što se primjenjuje, ponekad imamo puno podataka, a drugi put "manje". Odnosno, možemo prijeći od 1.000 miliona podataka do nekoliko bilijuna, ovisno o tome koji se analizira.
Brzina
Mislim brzina kojom se generiraju podaci. Dolaze iz potrebe da ih uhvate, uskladište i obrade. Što više podataka ima, brže se pohranjuju, ima više za analizu. Brzina je dvostruko važna u vremenskim prognozama, jer se događaji događaju u stvarnom vremenu i moraju se što prije obraditi.
Raznovrsnost
Ponekad postoji format kako ti podaci dolaze, drugi put drugi. Svaka vrsta podataka ima svoju klasifikaciju. Ponekad neke nedostaju (postoje tehnike da se to popravi ili bi greške bile ogromne), a ponekad čak i u video oblicima. Postoji vrlo različita masa podataka koja je u Big Datau zadužena za naručivanje, što je logika koju treba dobro analizirati. Na primjer, mjerenja temperature pomoću termometra "ne mogu se staviti u isti paket kao satelitska mjerenja s prednje strane.
Istinitost
Vezano za zagradu prethodne tačke. To znači da podaci konačno postaju čisti, bez "čudnih" stvari. Timovi za upravljanje velikim podacima moraju imati nepristrasan tim obučen za održavanje dobre strukture. Posljedice loše istinitosti podataka imaju vrlo negativne efekte. Da biste dobili ideju, to bi bilo kao da je grupa mehaničara završila popravak automobila, a zaboravili su zeznuti dva točka.
Primjer o istinitosti podataka
Imamo mnogo zapisa iz mnogih područja. Zamislimo da imamo temperature, nivo vlažnosti, vjetrove itd. Ali, imamo kvara i nedostaju nam neki temperaturni zapisi za neko područje, iz bilo kojeg razloga, i ne možemo pristupiti kako bismo znali koja je temperatura zabilježena. Imamo ukupno 30 podataka, i to dva, napokon bez temperature.
Na primjer, moglo bi se izračunati prosječna temperatura tih regija kako bi se precizno utvrdila moguća temperatura na koju se može računati u evidenciji koja nedostaje, ali također uz vrlo male greške. Vrijednosti su rezervni dijelovi, i tada se proračun može primijeniti u praksi. Da ovi podaci nedostaju, računari ih ne bi prepoznali, stvaranje crne rupe u podacima i potpuno pogrešna predviđanja.
Kako se to postiže?
U meteorologiji, kao i u bilo kojem polju, podaci dolaze u obliku varijabli. Odnosno, svaka se obrađuje na način na koji pripada. Iako se čini vrlo zamršenim i složenim, zadatak postaje "lak" za analitičare velikih podataka. Varijable koje možemo zabilježiti u meteorologiji, iako su to još uvijek podaci, mogu pripadati različitim porodicama. Odnosno, varijabla je bilo koji podatak koji se može klasificirati, ali nije uvijek isti.
Gornja slika, koju je osigurala NASA, prikazuje primer strujanja oko planete. U slučaju NASA-e, oni imaju veliki broj satelita koji im omogućavaju da u stvarnom vremenu promatraju i mjere pojave širom svijeta.
Big Data mogu pročitati svaki trag koji nešto ostavi o nečemu, a to se može smatrati podacima. Mnogi kada razmišljaju o Big Datau, brzo će razmisliti kada koristimo mobilne telefone, surfamo internetom, kliknemo na stranicu, kupimo neki predmet na mreži ili ga "lajkamo" na Facebooku. To je samo "mali", ali gusti dio, da, vrlo je pouzdan i dobro kodiran. Ali zauzvrat ostavljamo fizički / virtualni trag, poput GPS lokacije gdje se nalazimo, zahvaljujući mobilnim telefonima. Ovdje već počinjemo miješati virtualni svijet sa fizičkim. I naravno, fizički pokreti, fizičke kupovine, prema dobi koju odaberemo, sve se to uvijek arhivira, i naravno, može se prevesti u sve više podataka.
Varijable mogu biti kategorične
Kategorijske varijable su one koje predstavljaju vrijednosti ili ograničene varijable koje ne znače nužno određenu veličinu. Oni predstavljaju kvalitet nečega što opisuju. U osnovi je njihova posebnost ograničenje onoga što predstavljaju. Mogu se klasificirati u dva polja.
Nominalne kategorijalne varijable
Oni su to predstavljaju stvari u istom polju bez logičke veze svaki. Na primjer: Naziv regija koje označavaju odakle su evidencije, poput grada, autonomne zajednice, poštanskog broja itd.
Redne kategorijalne varijable
Oni su to može predstavljati veličinu nečega, poput Douglasove skale u nivou nabreknuća, nivoa skale s kojom se tornadi mogu klasificirati prema njihovoj veličini itd.
Varijable mogu biti numeričke
Numeričke varijable su one koje predstavljaju vrijednosti ili varijable unutar veličine i mogu biti mjerljive. Oni predstavljaju kvantitativne vrijednosti. Njihova je posebnost u tome što mogu predstavljati vrlo širok spektar mjerenja u meteorološkim pojavama. Klasificirani su na dva načina
Kontinuirane numeričke varijable
Neprekidne varijable su one koje oni su zaduženi da mjere nešto utvrđeno. Primjeri bi bili indeks vlažnosti, temperatura, brzina vjetra, količina kiše itd.
Diskretne numeričke varijable
To su one oni prate nešto utvrđeno. Odnosno, koliko je puta kišilo u godini u nekoj regiji, koliko je puta pao snijeg itd.
Sve varijable se obrađuju
Jednom kada su sve varijable klasificirane, one se obrađuju zahvaljujući računalima, uvijek pod nadzorom analitičara velikih podataka. Do prije nekoliko godina, količina podataka koja je bila dostupna, iako je bila vrlo velika, nije bilo problema za analizu od strane analitičara podataka. Analiza velikih podataka, međutim, odgovorna je za analizu ovih masovnih podataka, gdje procesi analize koji su do danas bili uobičajeni, trebali bi dugo (čak razgovaramo i o danima) da damo odgovor. I ne samo to, Big Data je učinkovitiji i precizniji, "poigravanjem" s varijablama između njih.
Sve ovo potiče ono što smo prethodno komentirali na 4 V velikih podataka, postižući brzinu, pouzdanost i vremenski modeli koji daju nevjerovatno tačne prognoze u super kratkom vremenskom periodu.
Veliki podaci kao nova disciplina
Dobar primjer bi bio razgovor o kompaniji ACCIONA koja ima Centar za kontrolu obnovljive energije (CECOER). To je najveći centar na svijetu gdje je cilj pružiti rješenja u realnom vremenu, za milione podataka prikupljenih iz njegovih postrojenja, kako biomase, energije vjetra i sunca. Izrađuje oko 3000 godišnjih rasporeda koji uzimaju sve ove podatke kako bi se prilagodili potrebnoj potražnji. Još jedna prednost CECOER-a je primanje incidenata koje imaju iz svojih objekata, pa se 50% njih rješava daljinski. Preostalih 50% fizički popravljaju operateri. Na ovaj način, Acciona dobiva svoju obnovljivu energiju, više nego što je alternativna energija, biti rješenje danas.
CECOER ACTION
Još jedna važna činjenica o velikim podacima danas je nedostatak naučnika za podatke. To je novo polje, a to je naišlo na određene unaprijed stvorene standarde. Mogu li veliki podaci zaista toliko pomoći u evoluciji prognoza, prijaviti koristi kompanijama, biti u stanju predvidjeti toliko stvari i opravdati troškove analize velikih podataka? Da, ali to je nešto što se malo-pomalo viđalo. Rastuća potražnja za naučnicima podataka paralelna je s rezultatima i razumijevanjem potrebe za njima na svim mjestima. Tačno je da već radi mnogo timova za Big Data sa spektakularnim rezultatima, ali upravo sada nalazimo da postoji veća potražnja. Veoma su traženi analitičari velikih podataka.
Prema tome živimo revoluciju koju oni podrazumijevaju u razvoju, ali od početka. Kao i svaka industrija, i sada svjedočimo njenom potencijalu, ali on nije u potpunosti razvijen, to je nešto što nam vrijeme sprema. Jedno je već očito, njegov trenutni potencijal, drugo, dokle može ići. Vaši rezultati nas neće ostaviti ravnodušnima.
Mapa IBM modela
IBM-ova kompanija The Weather je privatna kompanija koja nudi do 26 miliona dnevnih prognoza o vremenu. IBM se od početka istakao, zajedno s Googleom, kao jedna od najpionirskijih kompanija na tom polju. Kompanija Weather je izuzetno posvećena pomaganju ljudima u donošenju informiranih odluka o vremenu. To je najveća mreža na svijetu sa ličnih meteoroloških stanica. Najveći svjetski brendovi u zrakoplovstvu, energetici, osiguranju, medijima i vladi ovise o kompaniji The Weather za podatke, tehnološke platforme i usluge.
Veliki podaci protiv klimatskih promjena
Globalni puls Ujedinjenih nacija, inicijativa za velike podatke Ujedinjene nacije i Western Digital Corporation, potpisali su savez za zajedničku borbu protiv klimatskih promjena. Ovaj projekt su vodile UN i Western Digital Corp., okupiti naučnike za digitalne inovacije iz cijelog svijeta da napadnu problem na efikasniji način. Među njima nalazimo saradnike iz vrlo različitih sektora. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ... neki su od onih koji učestvuju u ovom projektu.
Takođe smo pronašli Barselonski superračunarski centar (BSC), to je četvrti model u seriji MareNostrum. Superračunalo za analizu velikih podataka ključna na mnogim poljima, među njima je i borba za klimatske promjene. Pušten je u rad krajem juna ove 2017. godine. To je treće najbrže računalo u Evropi, u njega je uloženo Ministarstvo ekonomije, industrije i konkurentnosti Španije za njegovu instalaciju od 34 miliona eura. Kapacitet je 14 petabajta, odnosno 14 miliona gigabajta. Dostiže 11,1 Petaflops, odnosno barbarstvo od 11.100 XNUMX milijardi operacija u sekundi.
Veliki podaci u budućnosti meteorologije i u našem životu
U svijetu koji se mijenja, gdje su promjene sve brže i sve iznenađujuće, teško je predvidjeti budućnost nečega. Ono što sigurno znamo je to Veliki podaci su ostali, i da nas prognoze čine i meteorološkim i za druga područja, zbunjeni. Neki će i dalje biti skeptični, drugi će to poricati, treći će to doživljavati kao nešto daleko. Ali istina je da mi već živimo s tim.
Danas znamo da Big Data predviđa mnoge kiše, sezone uragana, pa čak i s velikom preciznošću broj medalja koje neka zemlja može osvojiti na Olimpijskim igrama. Takođe predviđa ko će, gdje i kada počiniti zločin (ako je neko gledao film "Izveštaj manjina", prošlo mu je kroz glavu, zar ne?). Veliki podaci ubrzano se kreće prema predviđanju budućnosti mnogih područja, a to je da čak i Amazon počinje da ga predviđa, a nedavno je počeo da vrši isporuke i prije nego što kupci izvrše kupovinu. Budućnost je bila do danas, često neizvjesna. Ali mijenja se budućnost je predvidljiva.
Znamo da će njegov potencijal rasti. Ko zna, možda je ishitreno predviđati ko nešto predviđa (Big Data). Ali s dovoljno podataka, Hoće li Big Data moći predvidjeti globalnu klimu s ogromnim iščekivanjem? Da, baš kao što možete predvidjeti da će naše akcije dati različite scenarije onima koji su prethodno dati, jer svaka akcija ima svoj odjek u budućnosti, a Big Data to znaju i preispituju, dajući novi scenarij.
Sve se može predvidjeti. Hoćemo li znati što će se s nama dogoditi u bliskoj budućnosti? Sa kojim problemima ćemo se suočiti? Kada i gdje će udariti uragan? Što ćemo morati nastaviti rješavati? Kako se tehnike poboljšavaju, računari poboljšavaju efikasnost i brzinu, ovo se polje nastavlja razvijati ... Najvjerovatnije je da će umjesto odgovora "ko zna", možda najprikladnije biti reći "pitajmo velike podatke".
BA Partneri | Willis Update | POT