Big Data ir pēdējā saite laika apstākļu prognozēšanā. Visā pasaulē tūkstošiem uzņēmumu, zinātnisko centru, institūciju utt. Izmanto lielos datus, lai atrastu modeļus, lai kur tie atrastos, lielos datus. Meteoroloģijā, zinātnē, kurai ir arī milzīgs un milzīgs datu daudzums, lielajiem datiem ir arī noderīgas lietojumprogrammas. Šis moderns un spēcīgs rīks, to var izmantot dažādos veidos. Neskatoties uz to, ka tas tiek nosaukts kā viena lieta, tas var sasniegt daudz un dažādas prognozes atkarībā no tā, ko meklējat. Protams, tas ir nonācis arī pie meteoroloģijas, un šeit mēs jums pastāstīsim, ko un kā tā dara.
Vispirms atcerēsimies to laika paredzēšana vienmēr ir bijusi viena no cilvēku galvenajām vajadzībām. Pirms tūkstošiem gadu laika prognozes bija ļoti svarīgas, pat vairāk nekā šodien, lai izdzīvotu. Tehnoloģiskā attīstība nebija tik progresīva, jebkurai nestabilitātei varētu būt nopietnas sekas. Lai arī laika apstākļu novēršana vienmēr bija vajadzīga, terminu meteoroloģija var izveidot tikai līdz Aristoteļa ierašanās brīdim. Viņš to sauca par "meteoroloģisko", vārdu, kuru viņš deva savai grāmatai, ap 340. gadu pirms mūsu ēras.
Lielie dati prognozēs
Atmosfēras uzvedības loģika nav apstājusies kopš tā laika. Katru reizi ātrāk. Pārejot caur termometru, kuru Galileo izgudroja 1607. gadā, līdz datorsimulācijām no satelītu savāktajiem datiem. Pašlaik mēs saskaramies ar lielajiem datiem, daudzi tam piekrīt tas ir revolucionārākais rīks kopš pastāv internets un nav par mazāku. It kā tā būtu zinātniskās fantastikas nākotne, šodien mēs varam teikt, ka tā ir reāla.
Kā mēs esam komentējuši, Big Data šodien sāk uzņemties atbildību par šī cita viedokļa sniegšanu meteorologiem. Kur viņi nevarēja iet vai uzskatīja, ka viņiem ir taisnība, ja viņi nav, Lielie dati parāda, kas tika paslēpts vai nepamanīts, arī ar precizitātes līmeni, kas nekad nav sasniegts. Ir uzņēmumi, kas jau šodien piedāvā šos pakalpojumus. Institūcijas, valdības un uzņēmumi, kas izmanto lielos datus, lai paredzētu klimatu. Bet kā notiek viss šis process? Kā tas tiek darīts? Kāds mums labums? Tālāk mēs redzēsim un sapratīsim, kā ir iespējams viss šis tehnoloģisko inovāciju process.
Kā darbojas Big Data?
Aptuveni, Big Data atsakās skatīties debesīs, lai koncentrētos uz datiemun ka tie tiek pareizi apstrādāti. Lai jūs pēc apjoma varētu vairāk saprast ietekmi uz meteoroloģiju, vispirms jums jāpaskaidro, kā tā darbojas.
Lielo datu darbības pamatprincipi ir tā sauktie 4 V.
Tilpums
Tas nozīmē datu apjomu. Viss šis savākto datu apjoms ir tas, kas ir pazīstams kā apjoms. Tas var atšķirties atkarībā no tā, kas tiek piemērots, dažreiz mums ir daudz datu, bet citreiz "mazāk". Tas ir, mēs varam pāriet no 1.000 miljoniem datu līdz vairākiem triljoniem, atkarībā no tā, kurš tiek analizēts.
Ātrums
Tas ir, datu ģenerēšanas ātrums. Tie rodas no nepieciešamības tos sagūstīt, uzglabāt un apstrādāt. Jo vairāk datu uzņem, jo ātrāk tie tiek glabāti, jo vairāk ir analizējams. Ātrumam ir divkārša nozīme laika prognozēs, jo notikumi notiek reāllaikā, un tie ir jāapstrādā pēc iespējas ātrāk.
Šķirne
Dažreiz pastāv formāts, kā šie dati nāk, citreiz citi. Katram datu tipam ir sava klasifikācija. Citreiz dažu trūkst (ir paņēmieni, kā to novērst, vai arī kļūdas būtu milzīgas), un citreiz tie ir pat video formātā. Ir ļoti atšķirīga datu masa, kas lielajos datos ir atbildīga par pasūtījuma sagatavošanu, loģika, kas ir labi jāanalizē. Piemēram, temperatūras mērījumus no termometra "nevar" ievietot vienā iepakojumā ar satelīta mērījumiem no priekšpuses.
Patiesība
Saistīts ar iepriekšējā punkta iekavām. Tas nozīmē, ka dati beidzot ir tīri, bez "dīvainām" lietām. Lielo datu pārvaldības komandām jābūt objektīvai komandai, kas apmācīta, lai uzturētu labu struktūru. Sliktas datu patiesuma sekas ir ļoti negatīvas. Lai iegūtu ideju, būtu tā, it kā mehāniķu grupa pabeigtu automašīnas remontu, un viņi aizmirsa ieskrūvēt divus riteņus.
Datu patiesuma piemērs
Mums ir daudz ierakstu no daudzām jomām. Iedomāsimies, ka mums ir temperatūra, mitruma līmenis, vēji utt. Bet mums ir neveiksme, un mums kāda iemesla dēļ trūkst dažu temperatūras datu, un mēs nevaram piekļūt, lai uzzinātu, kāda temperatūra ir reģistrēta. Mums ir kopumā 30 dati, un divi no tiem, bez temperatūras beidzot.
Varētu, piemēram, aprēķināt šo reģionu vidējo temperatūru, lai precīzi noteiktu iespējamo temperatūru, uz kuru var rēķināties trūkstošajā ierakstā, bet arī ar ļoti mazām kļūdu robežām. Vērtības ir rezerves daļas, un pēc tam aprēķinu var izmantot praksē. Ja šie dati nebūtu pazuduši, datori tos nebūtu atpazinuši, radot melno caurumu datos un pilnīgi nepareizas prognozes.
Kā jūs to iegūstat?
Meteoroloģijā, tāpat kā jebkurā jomā, dati nāk mainīgo formā. Tas ir, katrs no tiem tiek apstrādāts tā, kā tas pieder. Lai gan tas šķiet ļoti samocīts un sarežģīts, Big Data analītiķiem uzdevums kļūst "viegls". Mainīgie, kurus mēs varam ierakstīt meteoroloģijā, kaut arī tie joprojām ir dati, viņi var piederēt dažādām ģimenēm. Tas ir, mainīgais ir visi dati, kurus var klasificēt, taču tie ne vienmēr ir vienādi.
Iepriekš redzamajā NASA sniegtajā attēlā redzams straumes piemērs ap planētu. NASA gadījumā viņiem ir liels skaits satelītu, kas ļauj reāllaikā novērot un izmērīt parādības visā pasaulē.
Big Data var nolasīt visas pēdas, kuras kaut kas atstāj par kaut ko, un to var uzskatīt par datiem. Daudzi, domājot par lielajiem datiem, ātri padomās par to, kad mēs izmantojam mobilos tālruņus, sērfojam internetā, noklikšķinām uz lapas, pērkam preci tiešsaistē vai “patīkam” Facebook. Tā ir tikai "maza", bet blīva daļa, jā, tā ir ļoti uzticama un labi kodēta. Bet mēs, pateicoties mobilajiem tālruņiem, atstājam fizisku / virtuālu pēdu, piemēram, GPS atrašanās vietu, kur atrodamies. Šeit mēs jau sākam jaukt virtuālo pasauli ar fizisko. Un, protams, fiziskas kustības, fiziski pirkumi atbilstoši vecumam, ko mēs izvēlamies, tas viss vienmēr tiek arhivēts, un, protams, tas var pārtapt arvien vairāk un vairāk datu.
Mainīgie var būt kategoriski
Kategoriskie mainīgie ir tie, kas atspoguļo ierobežotas vērtības vai mainīgos, kas ne vienmēr nozīmē noteiktu lielumu. Tie atspoguļo kaut ko aprakstīto kvalitāti. Būtībā viņu īpatnība ir ierobežojums tam, ko viņi pārstāv. Tos var klasificēt divos laukos.
Nominālie kategoriskie mainīgie
Viņi ir tie, kas pārstāv lietas vienā laukā bez loģiskas saiknes katrs. Piemēram: to reģionu nosaukums, kas norāda ierakstu izcelsmi, piemēram, pilsēta, autonoma kopiena, pasta indekss utt.
Kārtējie kategoriskie mainīgie
Viņi ir tie, kas var attēlot kaut ko lielumu, piemēram, Duglasa skala viļņu līmenī, skalas līmenis, ar kuru tornado var klasificēt pēc to lieluma utt.
Mainīgie var būt skaitliski
Skaitliskie mainīgie ir tie, kas attēlo vērtības vai mainīgos lieluma robežās, un to var izmērīt. Tie atspoguļo kvantitatīvās vērtības. Viņu īpatnība ir tā, ka tie var pārstāvēt ļoti lielu mērījumu diapazonu meteoroloģiskajās parādībās. Tos klasificē divos veidos
Nepārtraukti skaitliskie mainīgie
Nepārtraukti mainīgie ir tie, kas ir atbildīgi par kaut kā izveidota mērīšanu. To piemēri varētu būt mitruma indekss, temperatūra, vēja ātrums, nokrišņu daudzums utt.
Diskrēti skaitliskie mainīgie
Tie ir tie viņi izseko kaut ko izveidotu. Tas ir, cik reižu gadā gadā ir lijis kādā reģionā, cik reizes ir snidzis utt.
Visi mainīgie tiek apstrādāti
Kad visi mainīgie ir klasificēti, tie tiek apstrādāti, pateicoties datoriem, vienmēr uzrauga analītiķi no lielajiem datiem. Vēl pirms dažiem gadiem pieejamo datu apjoms, neskatoties uz to, ka to skaits bija ļoti liels, datu analītiķiem nebija problēmu, ko analizēt. Tomēr lielo datu analīze ir atbildīga par šo masveida datu analīzi, kur analīzes procesi, kas bija izplatīti līdz mūsdienām, aizņemtu ilgu laiku (mēs pat runājam par dienām), lai sniegtu atbildi. Ne tikai tas, ka lielie dati ir efektīvāki un precīzāki, "spēlējot" ar mainīgajiem starp tiem.
Tas viss rodas ko mēs iepriekš komentējām par 4 V lielo datu, sasniedzot ātrumu, uzticamību un laika apstākļu modeļi, kas sniedz neticami precīzas prognozes ļoti īsā laika posmā.
Lielie dati kā topošā disciplīna
Labs piemērs būtu runāt par uzņēmumu ACCIONA, kuram ir Atjaunojamās enerģijas vadības centrs (CECOER). Tas ir lielākais centrs pasaulē kur mērķis ir reāllaikā sniegt risinājumus no miljoniem datu, kas tiek savākti no tās iekārtām, gan biomasas, gan vēja, gan saules enerģijas. Tas rada apmēram 3000 gada grafikus, kas ņem visus šos datus, lai pielāgotos vajadzīgajam pieprasījumam. Vēl viena CECOER priekšrocība ir negadījumu uzņemšana, kas viņiem rodas no viņu iekārtām, tādējādi 50% no tiem tiek atrisināti attālināti. Pārējos 50% operatori fiziski fiksē. Pa šo ceļu, Acciona iegūst atjaunojamo enerģiju, kas ir vairāk nekā alternatīva enerģija, šodien ir risinājums.
CECOER DARBĪBA
Vēl viens svarīgs fakts par lielajiem datiem mūsdienās ir datu zinātnieku trūkums. Tas ir topošais lauks, un tam ir zināmi iepriekš pieņemti standarti. Vai Big Data tiešām var tik daudz palīdzēt prognožu attīstībā, ziņot par ieguvumiem uzņēmumiem, spēt paredzēt tik daudz lietu un pamatot lielo datu analīzes izmaksas? Jā. Bet tas ir kaut kas, kas ir redzēts pamazām. Pieaugošais pieprasījums pēc datu zinātniekiem ir līdzvērtīgs rezultātiem un saprotot to nepieciešamību visās vietās. Ir taisnība, ka jau tagad strādā daudzas Big Data komandas, kuru rezultāti ir iespaidīgi, taču tieši tagad mēs atklājam, ka ir lielāks pieprasījums. Lielo datu analītiķi tiek ļoti meklēti.
Līdz ar to mēs dzīvojam revolūcijā, ko viņi nozīmē attīstībā, bet no sākuma. Tāpat kā jebkura nozare, arī tagad mēs esam liecinieki tās potenciālam, taču tā nav maksimāli attīstīta, tas ir laiks, ko mums ir paredzēts. Viena lieta jau ir acīmredzama, tās pašreizējais potenciāls, otra - cik tālu tā var iet. Jūsu rezultāti neatstās mūs vienaldzīgus.
IBM modeļa karte
IBM The Weather Company ir privāts uzņēmums, kas piedāvā līdz pat 26 miljoniem dienas prognožu par laika apstākļiem. IBM no paša sākuma ir izcēlies arī ar Google, jo ir viens no vadošajiem uzņēmumiem šajā jomā. Laika kompānija ir ārkārtīgi apņēmusies palīdzēt cilvēkiem pieņemt apzinātus lēmumus par laika apstākļiem. Tas ir lielākais tīkls pasaulē personīgo meteoroloģisko staciju. Pasaulē lielākie aviācijas, enerģētikas, apdrošināšanas, plašsaziņas līdzekļu un valdības zīmoli ir atkarīgi no The Weather Company datu, tehnoloģiju platformu un pakalpojumu jomā.
Lielie dati pret klimata pārmaiņām
Apvienoto Nāciju Organizācijas globālais pulss, lielo datu iniciatīva Apvienoto Nāciju Organizācija un Western Digital Corporation, ir parakstījuši aliansi, lai kopīgi cīnītos pret klimata pārmaiņām. Šis projekts, kuru vadīja ANO un Western Digital Corp, pulcē digitālās inovācijas zinātniekus no visas pasaules lai uzbruktu problēmai efektīvāk. Starp tiem mēs atrodam sadarbības partnerus no ļoti dažādām nozarēm. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ... ir daži no tiem, kas piedalās šajā projektā.
Mēs arī atrodam Barselonas superdatoru centrs (BSC), tas ir 4. modelis MareNostrum sērijā. Superdators lielo datu analīzei atslēga daudzās jomās, starp tām ir arī cīņa par klimata pārmaiņām. Tas tika nodots ekspluatācijā šī 2017. gada jūnija beigās. Tas ir trešais ātrākais dators Eiropā, tajā ir veikts ieguldījums Spānijas Ekonomikas, rūpniecības un konkurētspējas ministrijas 34 miljonu eiro uzstādīšanai. Tās ietilpība ir 14 petabaiti, tas ir, 14 miljoni gigabaitu. Tas sasniedz 11,1 Petaflops, tas ir, 11.100 XNUMX miljardu operāciju sekundē barbarismu.
Lielie dati meteoroloģijas nākotnē un mūsu dzīvē
Mainīgajā pasaulē, kur pārmaiņas kļūst arvien ātrākas un pārsteidzošākas, ir grūti paredzēt kaut ko nākotni. Tas, ko mēs droši zinām, ir tas Big Data ir ieradies paliktun tas, ka prognozes, kas veiktas gan meteoroloģiskajās, gan citās jomās, liek mums būt neizpratnē. Daži paliks skeptiski, citi to noliegs, citi to redzēs kā kaut ko tālu. Bet patiesība ir tāda, ka mēs jau dzīvojam ar to.
Šodien mēs zinām, ka Big Data paredz daudzas lietavas, viesuļvētru sezonas un pat ar lielu precizitāti to medaļu skaitu, kuras valsts var izcīnīt olimpiskajās spēlēs. Tas paredz arī to, kurš, kur un kad tiks izdarīts noziegums (ja kāds ir redzējis filmu "Minority Report", kurai tas ir ienācis prātā, vai ne?). Lieli dati strauji virzās uz daudzu jomu nākotnes paredzēšanu, un tas ir tas, ka pat Amazon sāk to paredzēt, un nesen tas ir sūtījis sūtījumus pat pirms klienti veic pirkumus. Nākotne bija līdz šodienai, bieži vien neskaidra. Bet tas mainās nākotne ir paredzama.
Mēs zinām, ka tā potenciāls pieaugs. Kas zina, var būt pārsteidzīgi paredzēt, kas kaut ko paredz (Big Data). Bet ar pietiekamu datu daudzumu Vai Big Data spēs paredzēt globālo klimatu ar milzīgu gaidīšanu? Jā. Tāpat kā jūs varat paredzēt, ka mūsu darbības sniegs atšķirīgus scenārijus iepriekš dotajiem, jo jebkurai darbībai ir sava atbalss nākotnē, un Big Data to zina un pārvērtē, sniedzot vēl vienu jaunu scenāriju.
Visu var sagaidīt. Vai mēs varēsim uzzināt, kas ar mums notiks tuvākajā nākotnē? Ar kādām problēmām mēs saskaramies? Kad un kur notiks viesuļvētra? Kas mums būs jāturpina, lai to atrisinātu? Uzlabojoties tehnikām, uzlabojot datoru efektivitāti un ātrumu, šī joma turpina attīstīties ... Visticamāk ir tas, ka, nevis atbildot uz "kas zina", iespējams, vispiemērotākais būs pateikt "pajautāsim Big Data".
BA partneri Willis Update | POT