„Big Data“ yra paskutinė sąsaja prognozuojant oro sąlygas. Visame pasaulyje tūkstančiai įmonių, mokslo centrų, institucijų ir kt. Naudoja „Big Data“, kad surastų modelius, kad ir kur jie būtų, didieji duomenys. Meteorologijoje - moksle, kuriame taip pat yra didžiulis ir didžiulis duomenų kiekis, „Big Data“ taip pat turi naudingų programų. Tai modernus ir galingas įrankis, jį galima naudoti įvairiais būdais. Nepaisant to, kad jis įvardijamas kaip vienas dalykas, jis gali pasiekti daug skirtingų prognozių, priklausomai nuo to, ko ieškote. Žinoma, tai atėjo ir į meteorologiją, ir čia mes jums pasakysime, ką ir kaip ji veikia.
Pirmiausia prisiminkime tai laiko numatymas visada buvo vienas iš pagrindinių žmonių poreikių. Prieš tūkstančius metų orų prognozės buvo labai svarbios, net labiau nei šiandien, norint išgyventi. Technologijų plėtra nebuvo tokia pažangi, bet koks nestabilumas gali turėti rimtų pasekmių. Nors visada reikėjo užkirsti kelią orams, tik Aristoteliui atvykus galime sugalvoti meteorologijos terminą. Apie 340 m. Pr. Kr. Jis pavadino tai „meteorologiniu“, pavadinimu, kurį davė savo knygai.
Dideli duomenys prognozėse
Nenustojo vystytis atmosferos elgesio logika nuo tada. Kiekvieną kartą greičiau. Perėjus termometrą, kurį „Galileo“ išrado 1607 m., Prie kompiuterinių modeliavimų, pagrįstų palydovų surinktais duomenimis. Šiuo metu susiduriame su „Big Data“, daugelis su tuo sutinka tai yra pats revoliucingiausias įrankis, nes egzistuoja internetas ir nėra už mažiau. Tarsi tai būtų mokslinės fantastikos ateitis, šiandien galime sakyti, kad ji yra tikra.
Kaip mes pakomentavome, „Big Data“ šiandien pradeda perimti atsakomybę, kad meteorologams suteiktų tą kitą požiūrį. Kur jie negalėjo eiti arba tikėjo, kad yra teisūs, nebūdami, Dideli duomenys rodo, kas buvo paslėpta ar nepastebėta, taip pat niekada nepasiektas tikslumo lygis. Yra bendrovių, kurios šias paslaugas jau siūlo šiandien. Institucijos, vyriausybės ir įmonės, kurios naudoja didelius duomenis klimatui numatyti. Bet kaip vyksta visas šis procesas? Kaip tai daroma? Kuo mes naudingi? Toliau mes pamatysime ir suprasime, kaip įmanoma visas šis technologinių naujovių procesas.
Kaip veikia „Big Data“?
Apytiksliai, „Big Data“ sutelkia dėmesį į duomenis ne tik į dangųir kad jie tvarkomi teisingai. Kad galėtumėte daugiau suprasti savo įtaką meteorologijai, pirmiausia reikia paaiškinti, kaip tai veikia.
„Big Data“ pagrindinė veikimo sritis yra vadinamieji 4 V.
Kiekis
Tai reiškia duomenų kiekį. Visas šis surinktų duomenų kiekis yra tai, kas vadinama tūriu. Jis gali skirtis priklausomai nuo to, kas taikoma, kartais mes turime daug duomenų, o kartais - „mažiau“. Tai yra, mes galime pereiti nuo 1.000 XNUMX milijonų duomenų iki kelių trilijonų, priklausomai nuo to, kuris yra analizuojamas.
Pagreitinti
Turiu galvoje, duomenų generavimo greitis. Jie kyla dėl poreikio juos užfiksuoti, laikyti ir apdoroti. Kuo daugiau duomenų užfiksuota, tuo greičiau jie saugomi, tuo daugiau reikia analizuoti. Greitis orų prognozėse yra dvigubai svarbus, nes įvykiai vyksta realiu laiku ir turi būti apdoroti kuo greičiau.
Veislė
Kartais yra formatas, kaip tie duomenys ateina, kartais kiti. Kiekvienas duomenų tipas turi savo klasifikaciją. Kitais atvejais jų trūksta (yra būdų tai išspręsti, arba klaidos būtų didžiulės), o kartais jie pateikiami net vaizdo formomis. Yra labai skirtinga duomenų masė, kuri „Big Data“ yra atsakinga už užsakymo pateikimą, logika, kurią reikia gerai išanalizuoti. Pavyzdžiui, termometro temperatūros matavimų „negalima“ įdėti į tą pačią pakuotę, kaip palydovo matavimus iš priekio.
Tikrumas
Susijęs su ankstesnio punkto skliaustais. Tai reiškia, kad duomenys pagaliau tampa švarūs, be „keistų“ dalykų. Didžiųjų duomenų valdymo grupės turi turėti nešališką komandą, apmokytą išlaikyti gerą struktūrą. Blogo duomenų teisingumo pasekmės turi labai neigiamą poveikį. Norint sužinoti idėją, tarsi grupė mechanikų baigtų automobilio remontą, ir jie pamiršo prisukti du ratus.
Duomenų tikrumo pavyzdys
Mes turime daug įrašų iš daugelio sričių. Įsivaizduokime, kad turime temperatūrą, drėgmės lygį, vėją ir kt. Bet mums įvyko gedimas ir dėl kokių nors priežasčių trūksta kai kurių vietovių temperatūros įrašų ir negalime sužinoti, kokia temperatūra buvo užregistruota. Iš viso turime 30 duomenų ir du iš jų, be temperatūros pagaliau.
Pavyzdžiui, būtų galima apskaičiuoti vidutinę tų regionų temperatūrą, kad būtų galima tiksliai nustatyti galimą temperatūrą, į kurią galima atsižvelgti trūkstant įrašo, bet taip pat ir su labai mažomis klaidų ribomis. Vertybės yra atsarginės dalys, tada skaičiavimą galima pritaikyti praktiškai. Jei šių duomenų nebūtų, kompiuteriai jų nebūtų atpažinę, sukurti juodąją skylę duomenyse ir visiškai neteisingas prognozes.
Kaip tai gauti?
Meteorologijoje, kaip ir bet kurioje srityje, duomenys pateikiami kintamųjų pavidalu. Tai yra, kiekvienas iš jų yra apdorojamas taip, kaip priklauso. Nors atrodo, kad tai yra labai sudėtinga ir sudėtinga, „Big Data“ analitikams užduotis tampa „lengva“. Kintamieji, kuriuos galime įrašyti meteorologijoje, nors jie vis dar yra duomenys, jie gali priklausyti skirtingoms šeimoms. Tai yra, kintamasis yra bet kokie duomenys, kuriuos galima klasifikuoti, tačiau jie ne visada yra vienodi.
Aukščiau pateiktame paveikslėlyje, kurį pateikė NASA, matyti srovių aplink planetą pavyzdys. NASA atveju jie turi daug palydovų, leidžiančių realiuoju laiku stebėti ir matuoti Žemės rutulio reiškinius.
„Big Data“ gali nuskaityti kiekvieną pėdsaką, kurį kažkas palieka apie ką nors, ir tai gali būti laikoma duomenimis. Daugelis galvodami apie „Big Data“, jie greitai pagalvos, kai mes naudosimės mobiliaisiais telefonais, naršysime internete, spustelėsime puslapį, įsigysime daiktą internete ar „patiksime“ „Facebook“. Tai tik „maža“, bet tanki dalis, taip, ji yra labai patikima ir gerai užkoduota. Savo ruožtu mobiliųjų telefonų dėka paliekame fizinį / virtualų taką, pvz., GPS vietą ten, kur esame. Čia mes jau pradedame maišyti virtualų pasaulį su fiziniu. Ir, žinoma, fiziniai judesiai, fiziniai pirkiniai, atsižvelgiant į amžių, ką mes pasirenkame, visa tai visada archyvuojamair, žinoma, tai gali paversti vis daugiau duomenų.
Kintamieji gali būti kategoriški
Kategoriniai kintamieji yra tie, kurie rodo ribotas vertes, arba kintamieji, kurie nebūtinai reiškia konkretų dydį. Jie atspindi aprašyto dalyko kokybę. Iš esmės jų ypatumas yra tai, ką jie atstovauja, ribojimas. Jas galima suskirstyti į dvi sritis.
Nominalūs kategoriniai kintamieji
Jie yra tokie vaizduoti daiktus toje pačioje srityje be loginio ryšio kiekvienas. Pvz .: Regionų, nurodančių įrašų kilmę, pavadinimas, pavyzdžiui, miestas, autonominė bendruomenė, pašto kodas ir kt.
Eiliniai kategoriniai kintamieji
Jie yra tokie gali atspindėti kažko dydį, pavyzdžiui, Douglaso skalė bangos lygyje, skalės lygis, pagal kurį tornadus galima klasifikuoti pagal jų dydį ir kt.
Kintamieji gali būti skaitiniai
Skaitmeniniai kintamieji yra tie, kurie reikšmės ar kintamieji per dydį ir gali būti išmatuojami. Jie atspindi kiekybines vertes. Jų ypatumas yra tas, kad jie gali atspindėti labai didelį meteorologinių reiškinių matavimų diapazoną. Jie klasifikuojami dviem būdais
Nuolatiniai skaitiniai kintamieji
Nuolatiniai kintamieji yra tie, kurie yra atsakingi už tai, kad pamatuotų ką nors nusistovėjusį. Jų pavyzdžiai gali būti drėgmės indeksas, temperatūra, vėjo greitis, kritulių kiekis ir kt.
Diskretūs skaitiniai kintamieji
Tai yra tie jie seka ką nors įsitvirtinę. Tai yra, kiek kartų per metus regione lijo, kiek kartų snigo ir t.
Apdorojami visi kintamieji
Kai visi kintamieji bus suklasifikuoti, jie bus apdorojami kompiuterių dėka, visada prižiūri analitikai „Big Data“. Dar prieš kelerius metus turimas duomenų kiekis, nepaisant labai didelio skaičiaus, nekėlė problemų, kurias turėtų analizuoti duomenų analitikai. „Big Data“ analizė yra atsakinga už šių masinių duomenų analizę, kur analizės procesai, kurie buvo įprasti iki šiol, užtruktų ilgai (mes net kalbame apie dienas) atsakyti. Maža to, „Big Data“ yra efektyvesnė ir tikslesnė, „žaidžiant“ su kintamaisiais tarp jų.
Visa tai kyla ką anksčiau komentavome apie 4 V „Big Data“, kad pasiektume greitį, patikimumą ir orų modeliai, pateikiantys nepaprastai tikslias prognozes per itin trumpą laiko tarpą.
Didieji duomenys kaip besiformuojanti disciplina
Geras pavyzdys būtų kalbėti apie „ACCIONA“ įmonę, kuri turi Atsinaujinančios energijos valdymo centras (CECOER). Tai didžiausias centras pasaulyje kai siekiama realiu laiku pateikti milijonų duomenų, surinktų iš jos įrenginių, tiek biomasės, tiek vėjo, tiek saulės energijos, sprendimus. Ji sukuria apie 3000 metinių tvarkaraščių, pagal kuriuos visi šie duomenys pritaikomi prie reikiamos paklausos. Kitas CECOER privalumas yra įvykių, kuriuos jie patiria iš savo įrenginių, priėmimas, taigi 50% jų sprendžiami nuotoliniu būdu. Likusius 50% operatoriai fiziškai nustato. Šiuo būdu, Acciona gauna atsinaujinančią energiją, daugiau nei yra alternatyvi energija, yra šiandien sprendimas.
„CECOER ACCIONA“
Kitas svarbus faktas apie „Big Data“ šiandien yra duomenų mokslininkų trūkumas. Tai gimstantis laukas, ir tai atitinka tam tikrus išankstinius standartus. Ar iš tikrųjų „Big Data“ gali labai padėti prognozių raidai, pranešti apie naudą įmonėms, sugebėti numatyti tiek daug dalykų ir pagrįsti didelių duomenų analizės kainą? Taip. Bet tai yra kažkas, kas buvo pastebėta po truputį. Didėjanti duomenų mokslininkų paklausa prilygsta rezultatams ir suprasdamas jų poreikį visose vietose. Tiesa, kad jau dirba daug „Big Data“ komandų, kurių rezultatai yra įspūdingi, tačiau būtent dabar pastebime, kad yra didesnė paklausa. „Big Data“ analitikai yra labai ieškomi.
Taigi, mes gyvename revoliucijoje, kurią jie reiškia vystydamiesi, bet nuo pat pradžių. Kaip ir bet kuri pramonė, mes dabar stebime jos potencialą, tačiau ji nebuvo sukurta maksimaliai, tai yra laikas, kurio mums yra skirtas. Vienas dalykas jau yra akivaizdus, jo dabartinis potencialas, kitas - kiek jis gali nueiti. Jūsų rezultatai nepaliks mūsų abejingų.
IBM modelio žemėlapis
IBM „The Weather Company“ yra privati įmonė, kuri siūlo iki 26 milijonų dienos prognozių apie orą. IBM nuo pat pradžių išsiskyrė kartu su „Google“ tuo, kad yra viena novatoriškiausių kompanijų šioje srityje. „Weather Company“ yra labai įsipareigojusi padėti žmonėms priimti pagrįstus sprendimus dėl oro sąlygų. Tai didžiausias tinklas pasaulyje iš asmeninių meteorologinių stočių. Didžiausi pasaulyje aviacijos, energetikos, draudimo, žiniasklaidos ir vyriausybės prekių ženklai priklauso nuo „The Weather Company“ duomenų, technologijų platformų ir paslaugų.
Dideli duomenys prieš klimato pokyčius
Jungtinių Tautų pasaulinis pulsas, didelių duomenų iniciatyva Jungtinių Tautų ir „Western Digital Corporation“, pasirašė aljansą kartu kovoti su klimato kaita. Šis JT ir „Western Digital Corp.“ vadovaujamas projektas suburti skaitmeninių inovacijų mokslininkus iš viso pasaulio efektyviau pulti į problemą. Tarp jų randame bendradarbių iš labai skirtingų sektorių. BBVA, „Orange“, „Planet“, „Plume Labs“, „Nielsen“, „Schneider Electric“, „Waze“ ... yra keletas iš tų, kurie dalyvauja šiame projekte.
Mes taip pat randame Barselonos superkompiuterių centras (BSC), Tai 4-asis „MareNostrum“ serijos modelis. Superkompiuteris, skirtas didelių duomenų analizei daugelyje sričių, tarp jų yra ir kova dėl klimato kaitos. Jis buvo pradėtas eksploatuoti šių 2017 metų birželio pabaigoje. Tai trečias greičiausias kompiuteris Europoje, Ispanijos ekonomikos, pramonės ir konkurencingumo ministerija į ją investavo 34 mln. eurų sumą. Jo talpa yra 14 petabaitų, tai yra, 14 milijonų gigabaitų. Tai pasiekia 11,1 „Petaflops“, tai yra 11.100 XNUMX milijardų operacijų per sekundę barbariškumą.
Didieji duomenys meteorologijos ateityje ir mūsų gyvenime
Besikeičiančiame pasaulyje, kur pokyčiai tampa vis spartesni ir vis labiau stebina, sunku nuspėti kažko ateitį. Tai mes tikrai žinome „Big Data“ atėjo pasiliktiir kad dėl meteorologinių ir kitų sričių padarytos prognozės mus glumina. Vieni išliks skeptiški, kiti neigs, kiti matys tai kaip toli. Tačiau tiesa ta, kad mes jau gyvename su ja.
Šiandien mes žinome, kad „Big Data“ numato daugybę lietų, uraganų sezonus ir net labai tiksliai medalių, kuriuos šalis gali iškovoti olimpinėse žaidynėse, skaičių. Tai taip pat numato, kas, kur ir kada bus įvykdytas nusikaltimas (jei kas nors matė filmą „Mažumos ataskaita“, tai jiems į galvą šovė, tiesa?). Dideli duomenys sparčiai juda link daugelio sričių ateities numatymo, ir tai, kad net „Amazon“ pradeda to numatyti ir neseniai pradėjo gabenti, kol klientai net neperka. Ateitis buvo iki šiol, dažnai neaiški. Bet tai keičiasi ateitis yra nuspėjama.
Mes žinome, kad jo potencialas augs. Kas žino, gali būti nemalonu numatyti, kas ką nors numato („Big Data“). Bet turint pakankamai duomenų, Ar „Big Data“ sugebės nepaprastai numatyti pasaulinį klimatą? Taip, lygiai taip pat, kaip jūs galite numatyti, kad mūsų veiksmai suteiks skirtingus scenarijus tiems, kurie buvo pateikti anksčiau, nes bet kuris veiksmas turi savo atgarsį ateityje, o „Big Data“ tai žino ir iš naujo įvertina, pateikdamas kitą naują scenarijų.
Visko galima numatyti. Ar artimiausiu metu galėsime žinoti, kas nutiks mums? Su kokiomis problemomis susidursime? Kada ir kur smogs uraganas? Ką turėsime toliau spręsti? Tobulėjant technikai, tobulėjant kompiuterių efektyvumui ir greičiui, ši sritis toliau vystosi ... Greičiausiai yra tai, kad užuot atsakius „kas žino“, galbūt tinkamiausia bus pasakyti „paklauskime„ Big Data ““.
BA partneriai Willis atnaujinimas | POT