Büyük Veri, hava koşullarını tahmin etmedeki son halkadır. Dünyanın dört bir yanında binlerce şirket, bilim merkezi, kurum vb. Nerede olurlarsa olsunlar kalıpları, büyük veriyi bulmak için Büyük Veriyi kullanıyor. Büyük ve çok miktarda veriye sahip bir bilim dalı olan meteorolojide, Büyük Veri'nin de faydalı uygulamaları vardır. Bu Modern ve güçlü araç, birden çok şekilde kullanılabilir. Tek bir şey olarak adlandırılmasına rağmen, aradığınız şeye bağlı olarak birçok farklı tahmin gerçekleştirebilir. Elbette meteorolojiye de geldi ve burada size ne yaptığını ve nasıl yaptığını anlatacağız.
Öncelikle şunu hatırlayalım zamanı tahmin etmek her zaman insanoğlunun temel ihtiyaçlarından biri olmuştur. Binlerce yıl önce, hava durumu tahminleri hayatta kalmak için bugün olduğundan çok daha önemliydi. Teknolojik gelişme o kadar keskin değildi, herhangi bir istikrarsızlığın ciddi sonuçları olabilirdi. Her zaman havayı önlemek için bu ihtiyaç olmasına rağmen, Aristoteles'in gelişine kadar meteoroloji terimini kullanabileceğimiz değildi. MÖ 340'larda kitabına verdiği isim olan meteorolojik adını verdi.
Tahminlerde Büyük Veri
Atmosferik davranışın mantığı gelişmeyi durdurmadı o zamandan beri. Her seferinde daha hızlı. Galileo'nun 1607'de icat ettiği termometreden uydular tarafından toplanan verilerden bilgisayar simülasyonlarına geçiliyor. Şu anda Büyük Veri ile karşı karşıyayız, birçok kişi İnternet var olduğundan beri en devrimci araçtır ve daha azı için değil. Sanki bilim kurgu bir gelecekmiş gibi, bugün gerçek olduğunu söyleyebiliriz.
Daha önce de belirttiğimiz gibi, bugün Büyük Veri, bu başka bakış açısını meteorologlara vermekle görev almaya başlıyor. Gidemeyecekleri veya haklı olduklarına inandıkları yere, Büyük veri size neyin gizli veya fark edilmediğini gösterir, ayrıca asla ulaşılamayan bir hassasiyet düzeyiyle. Zaten bugün bu hizmetleri sunan şirketler var. İklimi tahmin etmek için büyük veriden yararlanan kurumlar, hükümetler ve şirketler. Ama tüm bu süreç nasıl? Nasıl oldu? Nasıl yararlanıyoruz? Daha sonra, tüm bu teknolojik yenilik sürecinin nasıl mümkün olduğunu göreceğiz ve anlayacağız.
Büyük Veri nasıl çalışır?
Kabaca Büyük Veri, verilere odaklanmak için gökyüzüne bakmaktan fazlasını koyarve doğru şekilde işlendiklerini. Meteorolojinin ne anlama geldiğini büyüklüğünde daha iyi anlayabilmeniz için, önce nasıl çalıştığını açıklamak gerekir.
Büyük Veri, 4 V adı verilen işlemin özüne sahiptir.
Cilt
Bu, veri miktarı anlamına gelir. Toplanan tüm bu miktarda veri hacim olarak bilinen şeydir. Neyin uygulandığına göre değişebilir, bazen çok fazla veriye sahibiz ve bazen "daha az". Yani, hangisinin analiz edildiğine bağlı olarak 1.000 milyon veri parçasından birkaç trilyon veriye gidebiliriz.
Hızlandırmak
Demek istediğim verinin üretildiği hız. Onları yakalama, saklama ve işleme ihtiyacından gelirler. Ne kadar çok veri yakalanırsa, o kadar hızlı depolanır, analiz edilecek daha çok şey vardır. Olaylar gerçek zamanlı olarak gerçekleştiğinden ve mümkün olan en kısa sürede işlenmesi gerektiğinden, hava tahminlerinde hız iki kat önemlidir.
varyete
Bazen bu verilerin nasıl geldiğine dair bir format vardır, bazen diğerleri. Her veri türünün kendi sınıflandırması vardır. Diğer zamanlarda bazıları eksiktir (bunu düzeltmek için teknikler vardır veya hatalar çok büyük olabilir) ve bazen de video formlarında gelirler. Büyük Veri'de bir sipariş vermekten sorumlu, iyi analiz edilmesi gereken bir mantık olan çok farklı bir veri kütlesi var. Örneğin, bir termometreden alınan sıcaklık ölçümleri, önden uydu ölçümleriyle aynı pakete "konulamaz".
Doğruluk
Önceki noktanın paranteziyle ilgili. Bu, verilerin nihayet temiz olduğu anlamına gelir"tuhaf" şeyler olmadan. Büyük Veri yönetimi ekipleri, iyi bir yapıyı korumak için eğitilmiş tarafsız bir ekibe sahip olmalıdır. Verilerin yanlış doğruluğunun sonuçlarının çok olumsuz etkileri vardır. Bir fikir edinmek için, bir grup tamirci bir arabanın onarımını bitirmiş ve iki tekerleği vidalamayı unutmuş gibi olurdu.
Verilerin doğruluğu ile ilgili örnek
Birçok alandan çok sayıda sicilimiz var. Sıcaklıklar, nem seviyeleri, rüzgarlar vb. Olduğunu hayal edelim. Ancak, bir arızamız var ve herhangi bir nedenle, bazı bölgeler için bazı sıcaklık kayıtlarını kaçırıyoruz ve hangi sıcaklığın kaydedildiğini bilemiyoruz. Elimizde toplam 30 veri var ve bunlardan ikisi, nihayet sıcaklıksız.
Örneğin, yapılabilecek olan şey, eksik kayıtta hesaba katılabilecek olası sıcaklığı kesin olarak belirlemek için bu bölgelerin ortalama sıcaklığını hesaplamaktır, ancak aynı zamanda çok küçük hata paylarıyla. Değerler yedek parçalardır, ve sonra hesaplama uygulamaya konulabilir. Bu veriler eksik olsaydı, bilgisayarlar onu tanımazdı, verilerde bir kara delik yaratmak ve tamamen yanlış tahminler.
Nasıl anladın
Meteorolojide, her alanda olduğu gibi, veriler değişkenler biçiminde gelir. Yani her biri ait olduğu şekilde işlenir. Ve her şey çok karmaşık ve karmaşık görünse de, görev Büyük Veri analistleri için "kolay" hale geliyor. Meteorolojide kaydedebileceğimiz değişkenler, yine de veri olmalarına rağmen farklı ailelere ait olabilirler. Yani değişken, sınıflandırılabilen herhangi bir veridir, ancak bunlar her zaman aynı değildir.
NASA tarafından sağlanan yukarıdaki görüntü, Gezegendeki akıntılara örnek. NASA söz konusu olduğunda, dünya çapındaki olayları gerçek zamanlı olarak gözlemlemelerine ve ölçmelerine olanak tanıyan çok sayıda uyduları vardır.
Büyük Veri, bir şeyin bıraktığı her izi okuyabilir bir şey hakkında ve bu veri olarak kabul edilebilir. Çoğu kişi Büyük Veri'yi düşünürken, cep telefonlarını kullandığımızda, internette gezinirken, bir sayfaya tıkladığımızda, çevrimiçi bir ürün satın aldığımızda veya Facebook'ta "beğendiğimizde" hızlıca düşünecekler. Bu sadece "küçük" ama yoğun bir kısım, evet, çok güvenilir ve iyi kodlanmış. Ama sırayla, cep telefonları sayesinde, bulunduğumuz yerin GPS konumu gibi fiziksel / sanal bir iz bırakıyoruz. Burada sanal dünyayı fiziksel olanla karıştırmaya başladık. Ve tabii ki, fiziksel hareketler, fiziksel satın alımlar, yaşa göre seçtiğimiz şey, bunların hepsi her zaman arşivlenirve elbette, daha fazla veriye dönüşebilir.
Değişkenler kategorik olabilir
Kategorik değişkenler, belirli bir büyüklük anlamına gelmeyen sınırlı değerleri veya değişkenleri temsil eden değişkenlerdir. Tanımladıkları bir şeyin kalitesini temsil ederler. Temelde onların tikellikleri, temsil ettikleri şeyin sınırlandırılmasıdır. İki alana sınıflandırılabilirler.
Nominal kategorik değişkenler
Onlar mantıksal bir bağlantı olmadan aynı alandaki şeyleri temsil eder her biri. Örneğin: Şehir, özerk topluluk, posta kodu vb. Gibi kayıtların nereden geldiğini gösteren bölgelerin adı.
Sıralı kategorik değişkenler
Onlar bir şeyin büyüklüğünü temsil edebilirDalga seviyesindeki Douglas ölçeği, kasırgaların büyüklüklerine göre sınıflandırılabileceği ölçeğin seviyesi, vb.
Değişkenler sayısal olabilir
Sayısal değişkenler Bir büyüklükteki değerleri veya değişkenleri temsil eder ve ölçülebilir. Nicel değerleri temsil ederler. Onların özelliği, meteorolojik olaylarda çok geniş bir ölçüm aralığını temsil edebilmeleridir. İki şekilde sınıflandırılırlar
Sürekli sayısal değişkenler
Sürekli değişkenler, yerleşik bir şeyi ölçmekten sorumludurlar. Bunlara örnek olarak nem indeksi, sıcaklık, rüzgar hızı, yağış miktarı vb. Verilebilir.
Ayrık sayısal değişkenler
Bunlar kurulmuş bir şeyin kaydını tutuyorlar. Yani bir bölgede bir yılda kaç defa yağmur yağdığı, kaç defa kar yağdığı vb.
Tüm değişkenler işlenir
Tüm değişkenler sınıflandırıldıktan sonra bilgisayarlar sayesinde işlenirler, her zaman analistler tarafından denetlenir Büyük Veri. Birkaç yıl öncesine kadar mevcut olan veri miktarı çok büyük olmasına rağmen veri analistleri tarafından analiz edilmesi gereken bir sorun yoktu. Bununla birlikte, Büyük Veri analizi, bu büyük verilerin analizinden sorumludur. Bugüne kadar yaygın olan analiz süreçleri uzun zaman alacaktı (günler hakkında bile konuşuyoruz) bir cevap vermek için. Sadece bu da değil, Büyük Veri aralarındaki değişkenlerle "oynayarak" daha verimli ve doğrudur.
Bütün bunlar ortaya çıkıyor Daha önce 4 V Büyük Veri hakkında yorumladığımız, hız, güvenilirlik ve İnanılmaz derecede doğru tahminler veren hava durumu modelleri çok kısa bir süre içinde.
Gelişmekte olan bir disiplin olarak Büyük Veri
İyi bir örnek, ACCIONA şirketi hakkında konuşmak olabilir. Yenilenebilir Enerji Kontrol Merkezi (ÇEKOER). Dünyanın en büyük merkezi amaç, tesislerinden toplanan milyonlarca veriden biyokütle, rüzgar ve güneş enerjisi olmak üzere gerçek zamanlı çözümler sunmaktır. Tüm bu verileri gerekli talebe göre ayarlamak için yaklaşık 3000 yıllık program üretir. CECOER'in bir diğer avantajı da tesislerinden aldıkları olayların alınmasıdır, böylece bunların% 50'si uzaktan çözülür. Kalan% 50 fiziksel olarak operatörler tarafından sabitlenir. Böylece, Acciona yenilenebilir enerjisini alıyoralternatif bir enerji olmaktan daha fazlası, bugün çözüm ol.
CECOER EYLEMİ
Günümüzde Büyük Veri ile ilgili bir diğer önemli gerçek, veri bilimci eksikliğidir. Yeni oluşan bir alanve bu, önceden belirlenmiş bazı standartlarla karşılaşmıştır. Büyük Veri, tahminlerin evriminde gerçekten bu kadar çok yardımcı olabilir mi, şirketlere faydaları bildirebilir, pek çok şeyi öngörebilir ve büyük veriyi analiz etmenin maliyetini haklı çıkarabilir mi? Evet, ama yavaş yavaş görülen bir şey. Veri bilimcilere yönelik artan talep, sonuçlarla paralellik gösterdi ve her yerde onlara olan ihtiyacı anlayarak. Şimdiden muhteşem sonuçlarla çalışan birçok Büyük Veri ekibinin olduğu doğru, ancak şu anda daha büyük bir talep olduğunu bulduğumuz yer burası. Büyük Veri analistleri çok aranıyor.
Bu duruma göre, kalkınmada ima ettikleri devrimi yaşıyoruzama başından beri. Her sektör gibi biz de potansiyeline şahit oluyoruz, ancak maksimumda geliştirilmedi, bu bizim için zamanın sakladığı bir şey. Bir şey zaten açıktır, mevcut potansiyeli, diğeri ne kadar ileri gidebileceği. Sonuçlarınız bizi kayıtsız bırakmayacak.
IBM model haritası
IBM'in Hava Durumu Şirketi özel bir şirkettir 26 milyona kadar günlük tahmin sunar hava hakkında. Başından beri IBM, Google ile birlikte bu alandaki en öncü şirketlerden biri olarak öne çıktı. The Weather Company, insanların hava durumu hakkında bilinçli kararlar vermelerine yardımcı olmaya son derece kararlıdır. Dünyanın en büyük ağıdır kişisel hava istasyonlarından. Havacılık, enerji, sigorta, medya ve devlet sektörlerinde dünyanın en büyük markaları veri, teknoloji platformları ve hizmetler için The Weather Company'ye güveniyor.
İklim Değişikliğine Karşı Büyük Veri
Birleşmiş Milletler Küresel Nabız, büyük veri girişimi Birleşmiş Milletler ve Western Digital Corporation, iklim değişikliğine karşı birlikte mücadele etmek için bir ittifak imzaladılar. BM ve Western Digital Corp. tarafından yürütülen bu proje, dünyanın dört bir yanından dijital inovasyon bilim adamlarını bir araya getirin soruna daha verimli bir şekilde müdahale etmek. Bunların arasında çok farklı sektörlerden işbirlikçiler buluyoruz. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ... bu projeye katılanlardan bazıları.
Ayrıca buluyoruz Barselona Süper Bilgisayar Merkezi (BSC), MareNostrum serisinin 4. modelidir. Büyük Veri analizi için bir süper bilgisayar Birçok alanda anahtar nokta, bunların arasında İklim Değişikliği mücadelesi de var. 2017 yılının Haziran ayı sonunda faaliyete geçmiştir. Avrupa'nın en hızlı üçüncü bilgisayarıİspanya Ekonomi, Sanayi ve Rekabet Bakanlığı tarafından 34 milyon Euro'luk kurulum için yatırım yapılmıştır. 14 Petabayt yani 14 milyon Gigabayt kapasiteye sahiptir. 11,1 Petaflop'a, yani saniyede 11.100 milyar işlemin barbarlığına ulaşıyor.
Meteorolojinin geleceğinde ve hayatımızda büyük veri
Değişimlerin hızlandığı ve giderek şaşırtıcı hale geldiği değişen bir dünyada, bir şeyin geleceğini tahmin etmek zordur. Kesin olarak bildiğimiz şey bu Büyük Veri kalmaya geldive hem meteorolojik hem de diğer alanlarda yapılan tahminlerin bizi şaşırtması. Bazıları şüpheci kalacak, bazıları inkar edecek, bazıları ise uzak bir şey olarak görecek. Ama gerçek şu ki, biz zaten onunla yaşıyoruz.
Bugün Big Data'nın birçok yağmur, kasırga mevsimi ve hatta bir ülkenin Olimpiyat Oyunlarında kazanabileceği madalya sayısını büyük bir hassasiyetle öngördüğünü biliyoruz. Aynı zamanda bir suçun kim, nerede ve ne zaman işleneceğini de tahmin ediyor (eğer birisi "Azınlık Raporu" filmini izlediyse, bu onların aklından geçti, değil mi?). Büyük veri birçok alanın geleceğini tahmin etme yolunda hızla ilerliyorve Amazon bile bunu tahmin etmeye başladı ve son zamanlarda müşteriler satın alma yapmadan önce sevkiyatları yapmaya başladı. Gelecek bugüne kadardı, genellikle belirsizdi. Ama değişiyor gelecek tahmin edilebilir.
Potansiyelinin artacağını biliyoruz. Kim bilir, kimin (Büyük Veri) bir şey beklediğini tahmin etmek acelecilik olabilir. Ancak yeterli veriyle, Büyük Veri, muazzam bir beklentiyle küresel iklimi öngörebilecek mi? Evet, eylemlerimizin daha önce verilenlere farklı senaryolar vereceğini tahmin edebileceğiniz gibi, çünkü gelecekte herhangi bir eylemin yankısı olur ve Büyük Veri bunu bilir ve yeniden değerlendirerek yeni bir senaryo verir.
Her şey öngörülebilir. Yakın gelecekte bize ne olacağını öğrenebilecek miyiz? Ne tür sorunlarla karşılaşacağız? Bir kasırga ne zaman ve nerede vuracak? Bunu çözmeye devam etmek için neye ihtiyacımız var? Teknikler geliştikçe, bilgisayarlar verimlilik ve hızda geliştikçe, bu alan gelişmeye devam ediyor ... Büyük olasılıkla "Kim bilir" cevabını vermek yerine, belki de en uygun şey "Büyük Veriye soralım" demek olacaktır.
BA Ortakları | Willis Güncellemesi | TENCERE