Великі дані - це остання ланка прогнозування погодних умов. У всьому світі тисячі компаній, наукових центрів, установ тощо використовують великі дані, щоб знайти закономірності, де б вони не були, великі дані. У метеорології, науці, яка також має величезний і величезний обсяг даних, Big Data також має свої корисні програми. Це сучасний та потужний інструмент, його можна використовувати різними способами. Незважаючи на те, що вас називають єдиною річчю, ви можете досягти багатьох різних передбачень залежно від того, що шукаєте. Звичайно, справа дійшла і до метеорології, і тут ми розповімо вам, що це робить і як.
Перш за все, давайте це пам’ятати передбачення часу завжди було однією з головних потреб людини. Тисячі років тому прогнози погоди були дуже важливі, навіть більше, ніж сьогодні, для виживання. Технологічний розвиток був не таким передовим, будь-яка нестабільність може мати серйозні наслідки. Хоча завжди існувала така необхідність запобігати погоді, лише до приходу Арістотеля ми могли назвати термін метеорологія. Він назвав це "метеорологічним", ім'я, яке він дав своїй книзі, приблизно в 340 р. До н.
Великі дані в прогнозах
Логіка атмосферної поведінки не переставала розвиватися Відтоді. Кожного разу швидше. Пройшовши через термометр, який винайшов Галілей у 1607 році, до комп’ютерного моделювання на основі даних, зібраних супутниками. Зараз ми стикаємося з великими даними, багато хто погоджується з цим це найреволюційніший інструмент з тих пір, як існує Інтернет і не менше. Як би це було науково-фантастичне майбутнє, сьогодні ми можемо сказати, що воно справжнє.
Як ми вже коментували, Big Data починає брати на себе відповідальність за надання іншої точки зору метеорологам. Там, де вони не могли піти або повірили, що мають рацію, не будучи, Великі дані показують, що було прихованого чи непоміченого, також з рівнем точності, якого ніколи не досягали. Є компанії, які вже сьогодні пропонують ці послуги. Установи, уряди та компанії, які використовують великі дані для прогнозування клімату. Але як проходить весь цей процес? Як це робиться? Яку користь ми отримуємо? Далі ми побачимо і зрозуміємо, як можливий весь цей процес технологічних інновацій.
Як працює Big Data?
Приблизно, Великі дані відмовляються від погляду на небо, щоб зосередитись на даних, і що вони оброблені правильно. Щоб ви могли більше зрозуміти за своєю величиною наслідки для метеорології, спочатку необхідно пояснити, як це працює.
Big Data має основне функціонування в тому, що називається 4 В.
Volumen
Це означає обсяг даних. Весь цей обсяг зібраних даних це те, що відоме як обсяг. Це може відрізнятися залежно від того, що застосовується, іноді ми маємо багато даних, а інколи - "менше". Тобто ми можемо перейти від 1.000 мільйонів даних до кількох трильйонів, залежно від того, який аналізується.
Швидкість
Я маю на увазі, швидкість, з якою генеруються дані. Вони походять від необхідності їх фіксувати, зберігати та обробляти. Чим більше даних відбувається, тим швидше вони зберігаються, тим більше є для аналізу. Швидкість має подвійне значення в прогнозах погоди, оскільки події відбуваються в режимі реального часу, і їх потрібно обробляти якомога швидше.
Різноманітність
Іноді існує формат того, як ці дані надходять, інший раз - інші. Кожен тип даних має свою класифікацію. Інший раз деякі відсутні (існують методи, щоб це виправити, або помилки були б величезними), а інколи вони трапляються навіть у відеоформах. Існує зовсім інша маса даних, яка у Big Data відповідає за порядок - логіку, яку слід добре проаналізувати. Наприклад, вимірювання температури за допомогою термометра "не можна" поміщати в ту саму упаковку, що і супутникові вимірювання спереду.
Правдивість
Пов’язані з дужками попереднього пункту. Це означає, що дані нарешті стають чистими, без "дивних" речей. Команди управління великими даними повинні мати неупереджену команду, навчену підтримувати хорошу структуру. Наслідки поганої правдивості даних мають дуже негативні наслідки. Щоб отримати уявлення, це було б так, ніби група механіків закінчила ремонт автомобіля, і вони забули вкрутити два колеса.
Приклад достовірності даних
У нас є багато записів з багатьох областей. Уявімо, що у нас температура, рівень вологості, вітер тощо. Але у нас є помилка, і нам з якоїсь причини бракує деяких температурних записів для певної області, і ми не можемо отримати доступ до інформації про те, яка температура була записана. Ми маємо в цілому 30 даних, і два з них, без остаточної температури.
Наприклад, можна розрахувати середню температуру в цих регіонах, щоб точно визначити можливу температуру, на яку можна розраховувати у відсутньому записі, але також з дуже малими похибками. Цінності - це запасні частини, і тоді розрахунок можна застосувати на практиці. Якби ці дані були відсутні, комп'ютери не впізнали б їх, створення чорної діри в даних і абсолютно неправильні прогнози.
Як ти це отримуєш?
У метеорології, як і в будь-якій галузі, дані надходять у вигляді змінних. Тобто кожен з них обробляється так, як йому належить. І хоча все здається дуже заплутаним і складним, завдання стає для аналітиків Big Data "легким". Змінні, які ми можемо записати в метеорології, хоча це все ще дані, вони можуть належати до різних сімей. Тобто, змінна - це будь-які дані, які можна класифікувати, але вони не завжди однакові.
На зображенні вище, наданому НАСА, показано приклад течій навколо планети. У випадку з НАСА вони мають велику кількість супутників, які дозволяють їм спостерігати та вимірювати явища по всьому світу в режимі реального часу.
Big Data може прочитати кожен слід, який щось залишає про щось, і це можна вважати даними. Багато, думаючи про Big Data, вони швидко замислюються про те, коли ми користуємось мобільними телефонами, займаємося серфінгом в Інтернеті, натискаємо на сторінку, купуємо товар в Інтернеті або ставимо "лайк" у Facebook. Це лише "маленька", але щільна частина, так, вона дуже надійна і добре закодована. Але в свою чергу, ми залишаємо фізичний / віртуальний слід, такий як GPS, де ми знаходимось, завдяки мобільним телефонам. Тут ми вже починаємо змішувати віртуальний світ з фізичним. І звичайно, фізичні рухи, фізичні покупки, відповідно до віку, що ми обираємо, все це завжди архівується, і звичайно, це може перетворюватись на все більше і більше даних.
Змінні можуть бути категоричними
Категоричні змінні - це ті, що представляють значення або обмежені змінні, які не обов'язково означають конкретну величину. Вони представляють якість того, що вони описують. В основному їх особливість полягає в обмеженні того, що вони представляють. Їх можна класифікувати за двома полями.
Номінальні категоріальні змінні
Вони ті, що представляти речі в одному полі без логічного зв’язку кожен. Наприклад: Назва регіонів, які вказують, звідки беруться записи, наприклад місто, автономна громада, поштовий індекс тощо.
Порядкові категоріальні змінні
Вони ті, що може представляти величину чогось, такі як шкала Дугласа на рівні хвилі, рівень шкали, за допомогою якого торнадо можна класифікувати за їх величиною тощо.
Змінні можуть бути числовими
Числові змінні - це ті, які представляють значення або змінні в межах величини і можуть бути вимірюваними. Вони представляють кількісні величини. Їх особливість полягає в тому, що вони можуть представляти дуже великий спектр вимірювань в метеорологічних явищах. Вони класифікуються двома способами
Неперервні числові змінні
Безперервними змінними є ті, які відповідають за вимірювання чогось встановленого. Прикладами їх можуть бути індекс вологості, температура, швидкість вітру, кількість опадів тощо.
Дискретні числові змінні
Це ті вони відстежують щось встановлене. Тобто, скільки разів за рік в регіоні йшов дощ, скільки разів випадав сніг тощо.
Всі змінні обробляються
Після класифікації всіх змінних вони обробляються завдяки комп’ютерам, завжди під наглядом аналітиків великих даних. До кількох років тому кількість даних, яка була доступна, незважаючи на дуже велику кількість, не мала проблем для аналізу аналітиками даних. Однак аналіз великих даних відповідає за аналіз цих масивних даних, де процеси аналізу, які були звичними до сьогодні, зайняли б багато часу (ми навіть говоримо про дні), щоб дати відповідь. Мало того, Big Data є більш ефективним і точним, "граючи" зі змінними між ними.
Все це бере свій початок те, що ми раніше коментували щодо 4 В великих даних, досягаючи швидкості, надійності та моделі погоди, які дають неймовірно точні прогнози за надзвичайно короткий проміжок часу.
Великі дані як дисципліна, що зароджується
Хорошим прикладом може бути розмова про компанію ACCIONA, яка має Центр управління відновлюваною енергією (CECOER). Це найбільший центр у світі де мета полягає у наданні рішень у режимі реального часу з мільйонів даних, які збираються з його потужностей, як біомаси, вітру та сонячної енергії. Він виробляє близько 3000 річних графіків, які беруть усі ці дані, щоб пристосуватись до необхідного попиту. Ще однією перевагою CECOER є прийом інцидентів, що виникають у них із своїх закладів, тому 50% з них вирішуються дистанційно. Решта 50% фізично фіксуються операторами. Таким чином, Acciona отримує свою відновлювану енергію, більше ніж альтернативна енергетика, бути рішенням сьогодні.
CECOER АКЦІЯ
Іншим важливим фактом щодо великих даних сьогодні є дефіцит науковців з обробки даних. Це зароджується поле, і це натрапило на певні заздалегідь прийняті стандарти. Чи можуть великі дані справді так сильно допомогти в розвитку прогнозів, повідомити про переваги компаніям, уміти передбачити стільки речей і виправдати витрати на аналіз великих даних? Так, але це те, що бачили потроху. Зростаючий попит на вчених-дослідників даних поєднує результати і розуміючи потребу в них у всіх місцях. Це правда, що вже працює багато команд великих даних, які мають вражаючі результати, але саме зараз ми виявляємо, що попит більший. Аналітики великих даних дуже популярні.
Отже, ми живемо революцією, яку вони означають у розвитку, але з самого початку. Як і будь-яка індустрія, ми зараз спостерігаємо її потенціал, але він ще не до кінця розроблений, це те, що нам чекає час. Одне вже очевидно, його поточний потенціал, інше - як далеко воно може зайти. Ваші результати не залишать нас байдужими.
Карта моделі IBM
Компанія IBM The Weather є приватною компанією, яка пропонує до 26 мільйонів щоденних прогнозів про погоду. IBM з самого початку виділялася, разом із Google, однією з найбільш новаторських компаній у цій галузі. Компанія "Погода" надзвичайно віддана людям для прийняття обґрунтованих рішень щодо погоди. Це найбільша мережа у світі від персональних метеостанцій. Найбільші світові бренди в галузі авіації, енергетики, страхування, засобів масової інформації та уряду залежать від The Weather Company щодо даних, технологічних платформ та послуг.
Великі дані проти зміни клімату
Глобальний пульс ООН, ініціатива "великих даних" ООН та Western Digital Corporation, підписали союз для спільної боротьби зі зміною клімату. Цей проект під керівництвом ООН та Western Digital Corp., об’єднати вчених з цифрових інновацій з усього світу атакувати проблему більш ефективно. Серед них ми знаходимо співробітників із самих різних секторів. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ... - деякі з тих, хто бере участь у цьому проекті.
Ми також знаходимо Центр суперкомп'ютерів Барселони (BSC), Це четверта модель серії MareNostrum. Суперкомп'ютер для аналізу великих даних Ключовим у багатьох сферах, серед них є також боротьба за зміну клімату. Він був введений в експлуатацію в кінці червня 2017 року. Це третій за швидкістю комп'ютер у Європі, в нього було вкладено інвестиції у встановлення 34 мільйонів євро Міністерством економіки, промисловості та конкурентоспроможності Іспанії. Він має ємність 14 петабайт, тобто 14 мільйонів гігабайт. Він досягає 11,1 петафлоп, тобто варварство в 11.100 XNUMX мільярдів операцій в секунду.
Великі дані в майбутньому метеорології та в нашому житті
У мінливому світі, де зміни стають все швидшими і дедалі дивнішими, важко передбачити майбутнє чогось. Що ми точно знаємо, це те Великі дані залишилися, і що прогнози, зроблені як метеорологічними, так і в інших областях, залишають нас здивованими. Одні залишаться скептично налаштовані, інші заперечуватимуть це, інші сприйматимуть це як щось далеко. Але правда в тому, що ми вже живемо з цим.
Сьогодні ми знаємо, що Big Data передбачає багато дощів, сезонів ураганів і навіть з великою точністю кількість медалей, які країна може виграти на Олімпійських іграх. Він також передбачає, хто, де і коли буде скоєний злочин (якщо хтось дивився фільм "Звіт про меншини", це вже пройшло в голові, так?). Великі дані швидко рухається до передбачення майбутнього багатьох областей, і це полягає в тому, що навіть Amazon починає це передбачати, і останнім часом вона почала здійснювати поставки ще до того, як клієнти здійснять покупки. Майбутнє було до сьогодні, часто непевне. Але це змінюється майбутнє передбачуване.
Ми знаємо, що його потенціал буде зростати. Хто знає, може бути необдуманим передбачати, хто щось передбачає (Великі дані). Але маючи достатньо даних, Чи зможуть Big Data передбачити глобальний клімат із величезним очікуванням? Так, так само, як ви можете передбачити, що наші дії дадуть різні сценарії попереднім, оскільки будь-яка дія має своє відлуння в майбутньому, і Big Data це знає і переоцінює, даючи інший новий сценарій.
Все можна передбачити. Чи зможемо ми знати, що буде з нами найближчим часом? З якими проблемами ми зіткнемось? Коли і куди вдарить ураган? Що нам доведеться продовжувати вирішувати? У міру вдосконалення техніки комп'ютери покращують ефективність та швидкість, це поле продовжує розвиватися ... Швидше за все полягає в тому, що замість відповіді "хто знає", мабуть, найбільш доречним буде сказати "давайте запитаємо великі дані".
BA Partners | Оновлення Вілліса | ПОТ