A Big Data az utolsó link az időjárási körülmények előrejelzésében. Világszerte több ezer vállalat, tudományos központ, intézmény stb. Használja a Big Data-t, hogy megtalálja a mintákat, bárhol is legyenek, big data. A meteorológiában, egy olyan tudományban, amely szintén hatalmas és hatalmas mennyiségű adattal rendelkezik, a Big Data-nak is vannak hasznos alkalmazásai. Is Modern és hatékony eszköz, többféle módon használható. Annak ellenére, hogy egy dolognak nevezték, sokféle jóslatot érhet el, attól függően, hogy mit keres. Természetesen a meteorológiához is eljutott, és itt el fogjuk mondani, mit és hogyan csinál.
Először is emlékezzünk erre az idő előrejelzése mindig is az emberi lények egyik elsődleges szükséglete volt. Több ezer évvel ezelőtt az időjárás-előrejelzések nagyon fontosak voltak, még a mainál is fontosabbak a túlélés szempontjából. A technológiai fejlődés nem volt olyan élvonalbeli, minden instabilitás súlyos következményekkel járhat. Bár mindig is szükség volt az időjárás megakadályozására, Arisztotelész megérkezéséig érhetjük el a meteorológia kifejezést. Kr. E. 340 körül nevezte "meteorológiai" néven, ezt a nevet adta könyvének.
Big Data az előrejelzésekben
A légköri viselkedés logikája nem állt le azóta. Minden alkalommal gyorsabban. A Galileo által 1607-ben kitalált hőmérőn át a műholdak által gyűjtött adatokból származó számítógépes szimulációkig. Jelenleg a Big Data-val állunk szemben, sokan egyetértenek ebben ez a leginkább forradalmi eszköz az internet létezése óta és nem kevesebbért. Mintha egy tudományos-fantasztikus jövő lenne, ma azt mondhatjuk, hogy valóságos.
Amint megjegyeztük, a Big Data ma kezdi átvenni a felelősséget, hogy ezt a másik nézőpontot átadja a meteorológusoknak. Ahová nem mehettek, vagy hitték, hogy igazuk van anélkül, hogy lennének, A nagy adatok megmutatják, hogy mit rejtettek vagy nem vettek észre, szintén soha nem elérhető pontossággal. Vannak olyan vállalatok, amelyek ma már kínálják ezeket a szolgáltatásokat. Intézmények, kormányok és vállalatok, amelyek nagy adatok felhasználásával próbálják kiszámítani a klímát. De hogy van ez az egész folyamat? Hogyan történik? Mi hasznunk? Ezután meglátjuk és megértjük, hogyan lehetséges a technológiai innováció egész folyamata.
Hogyan működik a Big Data?
Nagyjából, A Big Data nem csak az égre néz, hanem az adatokra összpontosít, és hogy helyesen vannak feldolgozva. Ahhoz, hogy nagyságrendjében jobban megértse a meteorológiával járó következményeket, először meg kell magyarázni a működését.
A Big Data működésének alapja az úgynevezett 4 V.
Kötet
Ez az adatmennyiséget jelenti. Ennyi összegyűjtött adat az a kötet néven ismert. Ez az alkalmazott alkalmazástól függően változhat, néha sok adatunk van, máskor pedig "kevesebb". Vagyis 1.000 millió adatról több billióra léphetünk, attól függően, hogy melyiket elemezzük.
Sebesség
Értem az adatok létrehozásának sebessége. Azok származnak, hogy meg kell ragadni, tárolni és feldolgozni őket. Minél több adatrögzítés van, annál gyorsabban tárolódnak, annál többet kell elemezni. A sebesség kettős jelentőséggel bír az időjárás-előrejelzésekben, mivel az események valós időben fordulnak elő, és azokat a lehető leghamarabb fel kell dolgozni.
fajta
Néha van egy formátum, hogy ezek az adatok hogyan jönnek létre, máskor mások. Minden adattípusnak megvan a maga osztályozása. Máskor egyesek hiányoznak (vannak technikák ennek kijavítására, vagy a hibák óriásiak lennének), máskor pedig még video formában is. Nagyon más az adattömeg, amely a Big Data-ban felelős a megrendelés leadásáért, egy logikának, amelyet jól elemezni kell. Például a hőmérővel végzett hőmérsékleti méréseket "nem lehet" ugyanabba a csomagba helyezni, mint a szemből történő műholdas méréseket.
Igazság
Az előző pont zárójelével kapcsolatos. Ez azt jelenti, hogy az adatok végül tiszták lesznek, "furcsa" dolgok nélkül. A nagy adatkezelő csapatoknak pártatlan csapatnak kell lenniük, amely képzett a jó struktúra fenntartására. Az adatok helytelenségének következményei nagyon negatív hatással járnak. Hogy ötletet szerezzünk, olyan lenne, mintha egy szerelőcsoport befejezné egy autó javítását, és elfelejtettek volna két kereket csavarni.
Példa az adatok valódiságára
Sok feljegyzésünk van számos területről. Képzeljük el, hogy van hőmérsékletünk, páratartalom, szél stb. De van egy meghibásodásunk, és valamilyen oknál fogva hiányoznak bizonyos hőmérsékleti rekordok bizonyos területekről, és nem tudunk hozzáférni ahhoz, hogy megtudjuk, milyen hőmérsékletet regisztráltunk. Összesen 30 adat áll rendelkezésünkre, és ezek közül kettő, hőmérséklet nélkül.
Megtehető például az, hogy kiszámítja ezen régiók átlaghőmérsékletét, hogy pontosan meghatározza a hiányzó rekordban számolható lehetséges hőmérsékletet, de nagyon kis hibahatárokkal is. Az értékek alkatrészek, és akkor a számítás a gyakorlatban is megvalósítható. Ha ezek az adatok hiányoztak volna, a számítógépek nem ismerték volna fel őket, fekete lyuk keletkezik az adatokban, és teljesen rossz előrejelzések vannak.
Hogy kapod meg?
A meteorológiában, mint minden területen, az adatok változók formájában érkeznek. Vagyis mindegyiket a hozzá tartozó módon dolgozzák fel. És bár minden nagyon kuszának és bonyolultnak tűnik, a feladat „könnyűvé” válik a Big Data elemzői számára. Azok a változók, amelyeket rögzíthetünk a meteorológiábanbár ezek még mindig adatok, különböző családokhoz tartozhatnak. Vagyis változó minden olyan adat, amely besorolható, de ezek nem mindig ugyanazok.
A fenti képen, amelyet a NASA adott, a a bolygó körüli áramok példája. A NASA esetében nagyszámú műhold áll rendelkezésükre, amelyek lehetővé teszik számukra, hogy valós időben megfigyeljék és mérjék a földgolyó körüli jelenségeket.
A Big Data minden nyomot el tud olvasni, amit valami elhagy valamiről, és ez adatnak tekinthető. Sokan, amikor a Big Data-ra gondolnak, gyorsan átgondolják, amikor mobiltelefont használunk, internetezünk, rákattintunk egy oldalra, online vásárolunk egy elemet, vagy „lájkoljuk” a Facebookon. Ez csak egy "kicsi", de sűrű rész, igen, nagyon megbízható és jól kódolt. Viszont egy fizikai / virtuális nyomot hagyunk, például a GPS helyét, ahol vagyunk, a mobiltelefonoknak köszönhetően. Itt már elkezdjük keverni a virtuális világot a fizikai világgal. És természetesen fizikai mozgások, fizikai vásárlások életkor szerint, amit választunk, mindezt mindig archiválják, és természetesen egyre több adatra képes fordítani.
A változók lehetnek kategorikusak
A kategorikus változók azok, amelyek korlátozott értékeket képviselnek, vagy olyan változók, amelyek nem feltétlenül jelentenek konkrét nagyságot. Valaminek a minőségét képviselik, amit leírnak. Alapvetően sajátosságuk korlátja annak, amit képviselnek. Két mezőbe sorolhatók.
Névleges kategorikus változók
Ők azok logikai kapcsolat nélkül ábrázolják ugyanazon a területen a dolgokat minden egyes. Például: A régiók neve, amelyek jelzik a nyilvántartások származási helyét, például város, autonóm közösség, irányítószám stb.
Rendes kategorikus változók
Ők azok képviselheti valaminek a nagyságát, mint például a Douglas-skála a duzzadás szintjén, annak a skálának a szintje, amellyel a tornádók nagyságuk szerint osztályozhatók stb.
A változók lehetnek numerikusak
A numerikus változók azok, amelyek értékeket vagy változókat jelentenek egy nagyságrenden belül, és mérhetőek. Kvantitatív értékeket képviselnek. Különlegességük, hogy a meteorológiai jelenségek nagyon nagy mérési tartományát képviselik. Kétféleképpen osztályozzák őket
Folyamatos numerikus változók
Folyamatos változók azok, amelyek ők felelnek a megalapozott dolgok méréséért. Ilyen például a páratartalom-index, a hőmérséklet, a szél sebessége, a csapadék mennyisége stb.
Diszkrét numerikus változók
Ezek azok nyomon követik a kialakult dolgokat. Vagyis hányszor esett egy évben egy régióban, hányszor esett stb.
Minden változó feldolgozásra kerül
Miután az összes változó besorolt, a számítógépeknek köszönhetően feldolgozásra kerülnek, mindig elemzők felügyelik a Big Data. Néhány évvel ezelőttig a rendelkezésre álló adatok mennyisége annak ellenére, hogy nagyon sok volt, nem voltak olyan problémák, amelyeket az elemzők elemezhettek volna. A Big Data elemzése azonban felelős e hatalmas adatok elemzéséért, ahol a mai napig általános elemzési folyamatok sokáig tartanának (még napokról is beszélünk), hogy választ adjak. Nem csak a Big Data hatékonyabb és pontosabb, ha "játszik" a köztük lévő változókkal.
Mindez ered amit korábban kommentáltunk a 4 V-os Big Data-ról, elérve a sebességet, a megbízhatóságot és hihetetlenül pontos előrejelzéseket nyújtó időjárási modellek szuper rövid idő alatt.
A Big Data mint kialakuló tudományág
Jó példa lenne az ACCIONA cégről beszélni, amelynek a Megújuló Energia Ellenőrző Központ (CECOER). Ez a világ legnagyobb központja ahol a cél valós idejű megoldások biztosítása a létesítményeiből összegyűjtött adatok milliói közül, biomassza, szél és napenergia egyaránt. Körülbelül 3000 éves ütemtervet készít, amelyek az összes adatot figyelembe veszik, hogy alkalmazkodjanak a szükséges igényekhez. A CECOER további előnye, hogy a létesítményeikből származó eseményeket fogadnak, így 50% -ukat távolról oldják meg. A fennmaradó 50% -ot az üzemeltetők fizikailag rögzítik. Ily módon Acciona megkapja megújuló energiáját, nem csupán alternatív energia, legyen ma megoldás.
CECOER AKCIÓ
A Big Data mai fontos ténye az adatkutatók hiánya. Ez egy kialakuló mező, és ez bizonyos előzetes normákba ütközött. Vajon a Big Data valóban ennyit tud segíteni az előrejelzések alakulásában, jelentheti az előnyöket a vállalatok számára, képes-e ennyit előre látni és igazolni a nagy adatok elemzésének költségeit? Igen, de apránként látták. Az adatkutatók iránti növekvő igény párhuzamos az eredményekkel és megértve, hogy mindenhol szükség van rájuk. Igaz, hogy már most is sok Big Data csapat dolgozik, látványos eredményekkel, de éppen most tapasztaljuk, hogy nagyobb az igény. A Big Data elemzőit nagyon keresik.
Ennek megfelelően, éljük azt a forradalmat, amelyet a fejlődésben rejtenek magukban, de kezdettől fogva. Mint minden iparág, most is tanúi vagyunk a benne rejlő lehetőségeknek, de nem fejlesztették ki maximálisan, ezt tartogatja számunkra az idő. Az egyik már nyilvánvaló, a jelenlegi lehetőségei, a másik, hogy meddig mehet el. Eredményei nem hagynak minket közömbösek.
IBM modelltérkép
Az IBM The Weather Company egy magáncég, amely akár napi 26 millió előrejelzést kínál az időjárásról. Az IBM kezdettől fogva kiemelkedik, a Google-lal együtt azzal is, hogy a piac egyik úttörő vállalata. A Weather Company rendkívül elkötelezett amellett, hogy segítsen az embereknek megalapozott döntéseket hozni az időjárással kapcsolatban. Ez a világ legnagyobb hálózata a személyes időjárási állomások száma. A világ legnagyobb márkái a repülés, az energia, a biztosítás, a média és a kormányzat számára a The Weather Company-tól függenek az adatok, a technológiai platformok és a szolgáltatások terén.
Nagy adatok az éghajlatváltozás ellen
ENSZ globális impulzus, a nagy adatkezelési kezdeményezés ENSZ és a Western Digital Corporation, szövetséget kötöttek az éghajlatváltozás elleni közös küzdelem érdekében. Ez a projekt, amelyet az ENSZ és a Western Digital Corp. vezetett, hívja össze a digitális innováció tudósait a világ minden tájáról hogy hatékonyabban támadja meg a problémát. Közülük nagyon különböző szektorok munkatársait találjuk közöttük. A BBVA, az Orange, a Planet, a Plume Labs, a Nielsen, a Schneider Electric, a Waze ... azok, akik részt vesznek ebben a projektben.
Megtaláljuk a Barcelonai szuperszámítógépes központ (BSC), ez a MareNostrum sorozat 4. modellje. Szuperszámítógép a Big Data elemzéshez kulcs számos területen, köztük az éghajlatváltozásért folytatott harc is. 2017. június végén állították üzembe. Ez a harmadik leggyorsabb számítógép Európában, beruházást hajtottak végre benne a spanyol gazdasági, ipari és versenyképességi minisztérium 34 millió eurós telepítésére. Kapacitása 14 petabájt, azaz 14 millió gigabájt. Eléri a 11,1 Petaflops-ot, vagyis másodpercenként 11.100 XNUMX milliárd művelet barbárságát.
Big Data a meteorológia jövőjében és az életünkben
Egy változó világban, ahol a változások egyre gyorsabbak és egyre meglepőbbek, nehéz megjósolni valaminek a jövőjét. Amit biztosan tudunk, az az A Big Data azért maradt, hogy maradjonés hogy az időjárással és más területekkel kapcsolatos előrejelzések zavarba hoznak minket. Néhányan továbbra is szkeptikusak maradnak, mások tagadják, mások valami távoli dolognak fogják tekinteni. De az az igazság, hogy már élünk is vele.
Ma már tudjuk, hogy a Big Data sok esőre, hurrikán-szezonra számít, és még nagy pontossággal az érmek számát is elnyerheti egy ország az olimpiai játékokon. Arra is számít, hogy ki, hol és mikor követ el bűncselekményt (ha valaki látta a "Kisebbségi jelentés" filmet, ez eszébe jutott, igaz?). Nagy adat gyorsan halad számos terület jövőjének előrejelzése felé, és még az Amazon is kezdi előre látni, és a közelmúltban elkezdett szállítmányozni még azelőtt, hogy az ügyfelek vásároltak volna. A jövő a mai napig volt, gyakran bizonytalan. De ez változik a jövő kiszámítható.
Tudjuk, hogy növekedni fog a lehetőségei. Ki tudja, kiütéses lehet arra számítani, hogy ki számít valamire (Big Data). De elegendő adat mellett Képes lesz-e a Big Data óriási várakozással előrevetíteni a globális éghajlatot? Igen. Ahogy arra is számíthat, hogy a cselekvéseink eltérő forgatókönyveket adnak a korábban megadottaknak, mert minden cselekedet visszhangzik a jövőben, a Big Data ismeri és újraértékeli, újabb új forgatókönyvet adva.
Mindenre számítani lehet. Tudjuk-e tudni, hogy mi lesz velünk a közeljövőben? Milyen problémákkal kell szembenéznünk? Mikor és hol fog hurrikán sztrájkolni? Mit kell majd folytatnunk a megoldás érdekében? A technikák fejlődésével, a számítógépek hatékonyságának és sebességének javulásával ez a terület tovább fejlődik ... Valószínűleg az, hogy ahelyett, hogy válaszolna "ki tudja", talán a legmegfelelőbb az, hogy "kérdezzük meg a Big Data-t".
BA Partnerek Willis frissítés | FAZÉK