Big Data to ostatnie ogniwo w przewidywaniu warunków pogodowych. Na całym świecie tysiące firm, ośrodków naukowych, instytucji itp. Korzysta z Big Data, aby znaleźć wzorce, gdziekolwiek się znajdują - Big Data. W meteorologii, nauce, która również ma ogromne i ogromne ilości danych, Big Data ma również swoje przydatne zastosowania. To nowoczesne i potężne narzędzie, które może być używane na wiele sposobów. Pomimo tego, że jest nazywany pojedynczą rzeczą, może osiągnąć wiele różnych prognoz w zależności od tego, czego szukasz. Oczywiście dotarł również do meteorologii i tutaj powiemy Ci, co robi i jak.
Przede wszystkim pamiętajmy o tym Przewidywanie czasu zawsze było jedną z podstawowych potrzeb człowieka. Tysiące lat temu prognozy pogody były bardzo ważne, nawet bardziej niż dzisiaj, dla przetrwania. Rozwój technologiczny nie był tak przełomowy, jakakolwiek niestabilność może mieć poważne konsekwencje. Chociaż zawsze istniała potrzeba zapobiegania pogodzie, dopiero po przybyciu Arystotelesa możemy ukuć termin meteorologia. Nazwał ją „meteorologiczną”, taką nazwę nadał swojej książce około 340 rpne.
Big Data w prognozach
Logika zachowań atmosferycznych nie przestała się rozwijać od tamtej pory. Za każdym razem szybciej. Przejście przez termometr, który Galileo wynalazł w 1607 roku, do symulacji komputerowych opartych na danych zebranych przez satelity. W tej chwili mamy do czynienia z Big Data, wielu się z tym zgadza jest to najbardziej rewolucyjne narzędzie od czasu istnienia internetu i nie za mniej. Jakby to była przyszłość science fiction, dziś możemy powiedzieć, że jest realna.
Jak już wspomnieliśmy, Big Data zaczyna dzisiaj przejmować kontrolę nad przedstawieniem meteorologom innego punktu widzenia. Gdzie nie mogli iść lub wierzyli, że mają rację, nie będąc, Big data pokazuje, co było ukryte lub niezauważone, również z niespotykaną dotąd precyzją. Są firmy, które już dziś oferują te usługi. Instytucje, rządy i firmy, które wykorzystują duże zbiory danych do przewidywania klimatu. Ale jak wygląda ten cały proces? Jak to jest zrobione? Jak odnosimy korzyści? Następnie zobaczymy i zrozumiemy, jak ten cały proces innowacji technologicznych jest możliwy.
Jak działa Big Data?
W przybliżeniu, Big Data porzuca patrzenie w niebo, aby skupić się na danychi że są prawidłowo przetwarzane. Abyś mógł lepiej zrozumieć jej znaczenie w kontekście meteorologii, najpierw należy wyjaśnić, jak ona działa.
Big Data ma swój rdzeń działania w tzw. 4 V.
Volumen
Oznacza to ilość danych. Cała ta ilość zebranych danych jest tak zwana głośnością. Może się różnić w zależności od tego, co jest stosowane, czasami mamy dużo danych, a innym razem „mniej”. Oznacza to, że możemy przejść od 1.000 XNUMX milionów danych do kilku bilionów, w zależności od tego, który z nich jest analizowany.
Prędkość
Oznacza to, że szybkość, z jaką generowane są dane. Wynikają z potrzeby ich wychwytywania, przechowywania i przetwarzania. Im więcej przechwyconych danych, tym szybciej są one przechowywane, tym więcej jest do analizy. Prędkość ma podwójne znaczenie w prognozach pogody, ponieważ zdarzenia zachodzą w czasie rzeczywistym i muszą zostać przetworzone tak szybko, jak to możliwe.
Różnorodność
Czasami istnieje format, w jaki sposób te dane przychodzą, innym razem. Każdy typ danych ma swoją własną klasyfikację. Innym razem brakuje niektórych (istnieją techniki, aby to naprawić lub błędy byłyby ogromne), a innym razem pojawiają się nawet w formie wideo. Istnieje bardzo różna masa danych, które w Big Data są odpowiedzialne za porządkowanie, logika, którą należy dobrze przeanalizować. Na przykład pomiarów temperatury z termometru „nie można” umieścić w tym samym pakiecie, co pomiary satelitarne z przodu.
Prawdziwość
Związane z nawiasami z poprzedniego punktu. Oznacza to, że dane w końcu są czystebez „dziwnych” rzeczy. Zespoły zarządzające Big Data muszą mieć bezstronny zespół przeszkolony w utrzymaniu dobrej struktury. Konsekwencje złej prawdziwości danych mają bardzo negatywne skutki. Aby się zorientować, to tak, jakby grupa mechaników zakończyła naprawę samochodu i zapomnieli skręcić dwa koła.
Przykład prawdziwości danych
Mamy wiele rekordów z wielu dziedzin. Wyobraźmy sobie, że mamy temperatury, poziomy wilgotności, wiatry itp. Ale mamy awarię i brakuje nam niektórych zapisów temperatury dla jakiegoś obszaru, z jakiegokolwiek powodu, i nie możemy uzyskać dostępu do informacji, jaka temperatura została zarejestrowana. Mamy w sumie 30 danych, w tym dwa, bez temperatury.
Można na przykład obliczyć średnią temperaturę tych regionów, aby dokładnie określić możliwą temperaturę, na którą można liczyć w brakującym zapisie, ale także z bardzo małymi marginesami błędu. Wartości to części zamienne, a następnie obliczenia można zastosować w praktyce. Gdyby brakowało tych danych, komputery by ich nie rozpoznały, tworzenie czarnej dziury w danych i całkowicie błędnych prognoz.
Jak to otrzymujesz?
W meteorologii, jak w każdej dziedzinie, dane mają postać zmiennych. Oznacza to, że każdy jest przetwarzany w sposób, w jaki należy. I choć wydaje się to bardzo zawiłe i skomplikowane, zadanie dla analityków Big Data staje się „łatwe”. Zmienne, które możemy zarejestrować w meteorologiichociaż nadal są danymi, mogą należeć do różnych rodzin. Oznacza to, że zmienna to dowolne dane, które można sklasyfikować, ale nie zawsze są takie same.
Powyższy obraz, dostarczony przez NASA, przedstawia przykład prądów na całej planecie. W przypadku NASA mają dużą liczbę satelitów, które pozwalają im obserwować i mierzyć zjawiska na całym świecie w czasie rzeczywistym.
Big Data może odczytać każdy ślad, który coś zostawia o czymś, a to można uznać za dane. Wiele osób, myśląc o Big Data, szybko pomyśli o tym, kiedy korzystamy z telefonów komórkowych, surfujemy po Internecie, klikamy stronę, kupujemy przedmiot online lub „polubimy” Facebooka. To tylko „mała”, ale gęsta część, tak, jest bardzo niezawodna i dobrze zakodowana. Ale z kolei pozostawiamy fizyczny / wirtualny ślad, taki jak lokalizacja GPS, gdzie jesteśmy, dzięki telefonom komórkowym. Tutaj zaczynamy już mieszać świat wirtualny ze światem fizycznym. I oczywiście ruchy fizyczne, zakupy fizyczne, w zależności od wieku, co wybieramy, wszystko to jest zawsze archiwizowanei oczywiście może przełożyć się na coraz więcej danych.
Zmienne mogą być kategorialne
Zmienne kategorialne to takie, które reprezentują ograniczone wartości lub zmienne, które niekoniecznie oznaczają określoną wielkość. Reprezentują jakość czegoś, co opisują. Zasadniczo ich specyfika jest ograniczeniem tego, co reprezentują. Można je podzielić na dwie dziedziny.
Nominalne zmienne kategorialne
Oni są tymi, którzy reprezentują rzeczy w tym samym polu bez logicznego połączenia każdy. Na przykład: nazwy regionów wskazujących, skąd pochodzą rekordy, takie jak miasto, społeczność autonomiczna, kod pocztowy itp.
Porządkowe zmienne kategorialne
Oni są tymi, którzy może reprezentować wielkość czegoś, takie jak skala Douglasa w poziomie fal, poziom skali, w której tornada można sklasyfikować według ich wielkości itp.
Zmienne mogą być numeryczne
Zmienne numeryczne to takie reprezentują wartości lub zmienne w ramach wielkości i mogą być mierzalne. Reprezentują wartości ilościowe. Ich cechą szczególną jest to, że mogą reprezentować bardzo szeroki zakres pomiarów zjawisk meteorologicznych. Są klasyfikowane na dwa sposoby
Ciągłe zmienne liczbowe
Zmienne ciągłe to te, które są odpowiedzialni za zmierzenie czegoś ustalonego. Przykładami mogą być wskaźnik wilgotności, temperatura, prędkość wiatru, ilość opadów itp.
Dyskretne zmienne numeryczne
To są te śledzą coś ustalonego. Oznacza to, ile razy w roku padał deszcz w regionie, ile razy padał śnieg itp.
Wszystkie zmienne są przetwarzane
Po sklasyfikowaniu wszystkich zmiennych są one przetwarzane dzięki komputerom, zawsze nadzorowane przez analityków Big Data. Jeszcze kilka lat temu ilość dostępnych danych, mimo że była bardzo duża, nie miała problemów z analizą przez analityków danych. Analiza Big Data jest jednak odpowiedzialna za analizę tych ogromnych danych, gdzie procesy analityczne, które były powszechne do dziś, zajęłyby dużo czasu (mówimy nawet o dniach), aby udzielić odpowiedzi. Co więcej, Big Data jest bardziej wydajne i dokładne dzięki „zabawie” ze zmiennymi między nimi.
Wszystko to pochodzi co wcześniej skomentowaliśmy na temat 4 V Big Data, osiągając szybkość, niezawodność i modele pogodowe, które dają niezwykle dokładne prognozy w bardzo krótkim czasie.
Big Data jako rodząca się dyscyplina
Dobrym przykładem może być rozmowa o firmie ACCIONA, która ma Centrum Sterowania Energią Odnawialną (CEKOER). To największy ośrodek na świecie gdzie celem jest dostarczanie rozwiązań w czasie rzeczywistym, z milionów danych, które są zbierane z jej obiektów, zarówno z biomasy, jak i energii wiatrowej i słonecznej. Tworzy około 3000 rocznych harmonogramów, które wykorzystują wszystkie te dane, aby dostosować się do wymaganego zapotrzebowania. Kolejnym atutem CECOER jest odbiór incydentów, które mają ze swoich obiektów, więc 50% z nich jest rozwiązywanych zdalnie. Pozostałe 50% jest fizycznie naprawianych przez operatorów. W ten sposób, Acciona otrzymuje energię odnawialnąwięcej niż bycie alternatywną energią, bądź rozwiązaniem już dziś.
AKCJA CECOER
Innym ważnym faktem dotyczącym dzisiejszych Big Data jest brak naukowców zajmujących się danymi. To rodzące się pole, a to spełniło pewne z góry przyjęte standardy. Czy Big Data naprawdę może tak bardzo pomóc w ewolucji prognoz, raportowaniu korzyści dla firm, być w stanie przewidzieć tak wiele rzeczy i uzasadnić koszty analizy dużych zbiorów danych? Tak, ale jest to coś, co widać stopniowo. Rosnące zapotrzebowanie na analityków danych zbiega się z wynikami i rozumiejąc ich potrzebę we wszystkich miejscach. Co prawda pracuje już wiele zespołów Big Data, które osiągają spektakularne rezultaty, ale teraz okazuje się, że jest większe zapotrzebowanie. Analitycy Big Data są bardzo poszukiwani.
W związku z tym przeżywamy rewolucję, którą implikują w rozwoju, ale od początku. Jak każda branża, teraz jesteśmy świadkami jej potencjału, ale nie został on w pełni rozwinięty, to jest coś, co czeka nas w czasie. Jedno jest już oczywiste, jego obecny potencjał, a drugie, jak daleko może zajść. Twoje wyniki nie pozostawiają nas obojętnymi.
Mapa modeli IBM
IBM's The Weather Company to prywatna firma oferuje do 26 milionów prognoz dziennych o pogodzie. IBM od początku wyróżniał się, obok Google, jedną z najbardziej pionierskich firm w tej dziedzinie. The Weather Company jest niezwykle zaangażowana w pomaganie ludziom w podejmowaniu świadomych decyzji dotyczących pogody. Jest to największa sieć na świecie z osobistych stacji pogodowych. Największe światowe marki w branży lotniczej, energetycznej, ubezpieczeniowej, medialnej i rządowej polegają na The Weather Company w zakresie danych, platform technologicznych i usług.
Big Data wobec zmian klimatycznych
Globalny puls ONZ, inicjatywa dotycząca dużych zbiorów danych Organizacja Narodów Zjednoczonych i Western Digital Corporation, podpisały sojusz na rzecz wspólnej walki ze zmianami klimatycznymi. Projekt prowadzony przez ONZ i Western Digital Corp., gromadzą naukowców zajmujących się innowacjami cyfrowymi z całego świata skuteczniej atakować problem. Wśród nich znajdujemy współpracowników z bardzo różnych branż. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ... to tylko niektóre z tych, które uczestniczą w tym projekcie.
Znajdujemy również Centrum Superkomputerowe w Barcelonie (BSC), to czwarty model z serii MareNostrum. Superkomputer do analizy Big Data kluczowy w wielu dziedzinach, wśród nich jest także walka ze zmianami klimatycznymi. Został oddany do użytku pod koniec czerwca br. To trzeci najszybszy komputer w Europie, zainwestowano w niego inwestycję w wysokości 34 mln euro przez Ministerstwo Gospodarki, Przemysłu i Konkurencyjności Hiszpanii. Ma pojemność 14 petabajtów, czyli 14 milionów gigabajtów. Osiąga 11,1 petaflopa, czyli barbarzyństwo 11.100 miliardów operacji na sekundę.
Big Data w przyszłości meteorologii i naszym życiu
W zmieniającym się świecie, w którym zmiany stają się szybsze i coraz bardziej zaskakujące, trudno jest przewidzieć przyszłość czegoś. To, co wiemy na pewno, to to Big Data pozostałoi że prognozy uwzględniają zarówno warunki meteorologiczne, jak i inne obszary, wprawiają nas w zakłopotanie. Niektórzy pozostaną sceptyczni, inni będą temu zaprzeczać, inni będą postrzegać to jako coś odległego. Ale prawda jest taka, że już z tym żyjemy.
Dziś wiemy, że Big Data przewiduje wiele deszczów, okresów huraganów, a nawet z dużą precyzją liczbę medali, które kraj może zdobyć na igrzyskach olimpijskich. Przewiduje również, kto, gdzie i kiedy zostanie popełnione przestępstwo (jeśli ktoś widział film „Raport mniejszości”, to przyszło mu do głowy, prawda?). Big data szybko zmierza w kierunku przewidywania przyszłości wielu dziedzin, i to właśnie Amazon zaczyna to przewidywać, a ostatnio zaczął realizować przesyłki, jeszcze zanim klienci dokonają zakupów. Przyszłość do dziś była często niepewna. Ale to się zmienia przyszłość jest przewidywalna.
Wiemy, że jego potencjał będzie rósł. Kto wie, przewidywanie, kto coś przewiduje (Big Data) może być pochopne. Ale przy wystarczającej ilości danych Czy Big Data będzie w stanie przewidzieć globalny klimat z ogromnym wyprzedzeniem? Tak, tak jak można się spodziewać, że nasze działania dałyby inne scenariusze niż te podane wcześniej, ponieważ każde działanie ma swoje echo w przyszłości, a Big Data je zna i ponownie ocenia, dając kolejny nowy scenariusz.
Wszystko można przewidzieć. Czy będziemy mogli wiedzieć, co stanie się z nami w najbliższej przyszłości? Jakie problemy napotkamy? Kiedy i gdzie uderzy huragan? Co będziemy musieli kontynuować, aby go rozwiązać? Wraz z rozwojem technik, poprawą wydajności i szybkości komputerów, ta dziedzina nadal się rozwija ... Najprawdopodobniej jest to, że zamiast odpowiadać „kto wie”, być może najwłaściwszą rzeczą będzie powiedzenie „zapytajmy Big Data”.
Partnerzy BA | Aktualizacja Willisa | GARNEK