Dữ liệu lớn là liên kết cuối cùng trong việc dự đoán điều kiện thời tiết. Trên khắp thế giới, hàng nghìn công ty, trung tâm khoa học, tổ chức, v.v., đang sử dụng Dữ liệu lớn để tìm ra các mẫu dữ liệu lớn cho dù họ ở đâu. Trong khí tượng học, một ngành khoa học cũng có lượng dữ liệu khổng lồ và khổng lồ, Big Data cũng có những ứng dụng hữu ích của nó. Điều này Công cụ hiện đại và mạnh mẽ, nó có thể được sử dụng theo nhiều cách. Mặc dù được đặt tên là một thứ, nó có thể đạt được nhiều dự đoán khác nhau tùy thuộc vào những gì bạn đang tìm kiếm. Tất nhiên, nó cũng liên quan đến khí tượng học, và ở đây chúng tôi sẽ cho bạn biết nó hoạt động như thế nào và như thế nào.
Trước hết, hãy nhớ rằng dự đoán thời gian luôn là một trong những nhu cầu hàng đầu của con người. Hàng ngàn năm trước, dự báo thời tiết là rất quan trọng, thậm chí hơn ngày nay, để tồn tại. Sự phát triển công nghệ không quá vượt trội, bất kỳ sự bất ổn nào cũng có thể gây ra hậu quả nghiêm trọng. Mặc dù luôn có nhu cầu đề phòng thời tiết, nhưng phải đến khi Aristotle xuất hiện, chúng ta mới có thể đặt ra thuật ngữ khí tượng học. Ông gọi nó là "khí tượng", cái tên mà ông đặt cho cuốn sách của mình, vào khoảng năm 340 trước Công nguyên.
Dữ liệu lớn trong dự báo
Logic của hành vi khí quyển đã không ngừng phát triển kể từ đó. Mỗi lần nhanh hơn. Đi qua nhiệt kế mà Galileo phát minh vào năm 1607, đến mô phỏng máy tính từ dữ liệu thu thập được bởi vệ tinh. Hiện tại, chúng ta đang đối mặt với Dữ liệu lớn, nhiều người đồng ý rằng nó là công cụ mang tính cách mạng nhất kể từ khi internet tồn tại và không phải là ít hơn. Như thể đó là một tương lai khoa học viễn tưởng, ngày nay chúng ta có thể nói rằng nó là có thật.
Như chúng tôi đã nhận xét, Dữ liệu lớn bắt đầu có trách nhiệm vào ngày hôm nay, đưa ra quan điểm khác cho các nhà khí tượng học. Nơi họ không thể đến, hoặc tin rằng họ đã đúng nếu không tồn tại, Dữ liệu lớn cho bạn biết những gì bị ẩn hoặc không được chú ý, cũng với mức độ chính xác chưa từng đạt đến. Có những công ty đã cung cấp các dịch vụ này ngày hôm nay. Các tổ chức, chính phủ và các công ty sử dụng dữ liệu lớn để dự đoán khí hậu. Nhưng toàn bộ quá trình này như thế nào? Nó được thực hiện như thế nào? Chúng ta được lợi như thế nào? Tiếp theo, chúng ta sẽ xem và hiểu làm thế nào toàn bộ quá trình đổi mới công nghệ này có thể thực hiện được.
Dữ liệu lớn hoạt động như thế nào?
Đại khái, Dữ liệu lớn không chỉ tập trung vào dữ liệu mà nhìn vào bầu trờivà chúng được xử lý chính xác. Để bạn có thể hiểu thêm về mức độ ảnh hưởng của nó đối với khí tượng, trước tiên bạn phải giải thích cách thức hoạt động của nó.
Dữ liệu lớn có cốt lõi hoạt động của nó trong cái được gọi là 4 V.
Âm lượng
Điều này có nghĩa là số lượng dữ liệu. Tất cả lượng dữ liệu này được thu thập là những gì được gọi là khối lượng. Nó có thể khác nhau tùy thuộc vào những gì được áp dụng, đôi khi chúng ta có nhiều dữ liệu và những lần khác "ít hơn". Tức là, chúng ta có thể đi từ 1.000 triệu dữ liệu đến vài nghìn tỷ, tùy thuộc vào dữ liệu được phân tích.
Velocidad
Ý tôi là tốc độ dữ liệu được tạo ra. Chúng xuất phát từ nhu cầu nắm bắt, lưu trữ và xử lý chúng. Càng có nhiều dữ liệu được chụp, chúng được lưu trữ càng nhanh, càng có nhiều thứ để phân tích. Tốc độ có tầm quan trọng gấp đôi trong dự báo thời tiết, vì các sự kiện xảy ra trong thời gian thực và phải được xử lý càng sớm càng tốt.
Giống
Đôi khi có một định dạng về cách dữ liệu đó đến, những lần khác. Mỗi loại dữ liệu có cách phân loại riêng. Những lần khác, một số bị thiếu (có những kỹ thuật để sửa lỗi này, nếu không các lỗi sẽ rất lớn) và những lần khác, chúng còn ở dạng video. Có một khối lượng dữ liệu rất khác, trong Dữ liệu lớn phụ trách đặt ra một thứ tự, một logic cần được phân tích tốt. Ví dụ, các phép đo nhiệt độ từ nhiệt kế "không thể" được đặt trong cùng một gói với phép đo vệ tinh từ phía trước.
Tính xác thực
Liên quan đến dấu ngoặc của điểm trước đó. Nó có nghĩa là dữ liệu cuối cùng cũng sạch, không có những thứ "kỳ cục". Các nhóm quản lý Dữ liệu lớn phải có một nhóm công bằng được đào tạo để duy trì một cấu trúc tốt. Hậu quả của việc dữ liệu có tính xác thực không tốt có những tác động rất tiêu cực. Để có một ý tưởng, sẽ giống như một nhóm thợ sửa chữa xong một chiếc ô tô, và họ quên vặn hai bánh xe.
Ví dụ về tính xác thực của dữ liệu
Chúng tôi có nhiều hồ sơ từ nhiều lĩnh vực. Hãy tưởng tượng chúng ta có nhiệt độ, độ ẩm, gió, v.v. Nhưng, chúng tôi gặp sự cố, và chúng tôi đang thiếu một số bản ghi nhiệt độ cho một số khu vực, vì bất kỳ lý do gì, và chúng tôi không thể truy cập để biết nhiệt độ đã được ghi lại. Chúng tôi có tổng cộng 30 dữ liệu, và hai trong số đó, cuối cùng không có nhiệt độ.
Ví dụ, điều có thể làm là tính toán nhiệt độ trung bình của các vùng đó để xác định chính xác nhiệt độ có thể có thể được tính vào hồ sơ bị thiếu, nhưng cũng với sai số sai số rất nhỏ. Giá trị là phụ tùng thay thế, và sau đó tính toán có thể được đưa vào thực tế. Nếu dữ liệu này bị thiếu, máy tính sẽ không nhận ra nó, tạo ra một lỗ đen trong dữ liệu và những dự đoán sai hoàn toàn.
Làm thế nào để bạn có được nó?
Trong khí tượng học, cũng như trong bất kỳ lĩnh vực nào, dữ liệu ở dạng các biến. Đó là, mỗi cái được xử lý theo cách mà nó thuộc về. Và mặc dù có vẻ rất rắc rối và phức tạp, nhiệm vụ này trở nên "dễ dàng" đối với các nhà phân tích Dữ liệu lớn. Các biến mà chúng tôi có thể ghi lại trong khí tượng học, mặc dù chúng vẫn là dữ liệu, họ có thể thuộc các gia đình khác nhau. Nghĩa là, một biến là bất kỳ dữ liệu nào có thể được phân loại, nhưng chúng không phải lúc nào cũng giống nhau.
Hình ảnh trên, do NASA cung cấp, cho thấy ví dụ về dòng điện xung quanh hành tinh. Trong trường hợp của NASA, họ có một số lượng lớn các vệ tinh cho phép họ quan sát và đo lường các hiện tượng trên toàn cầu trong thời gian thực.
Dữ liệu lớn có thể đọc mọi dấu vết mà thứ gì đó để lại về điều gì đó, và đó có thể được coi là dữ liệu. Nhiều người khi nghĩ về Dữ liệu lớn, họ sẽ nhanh chóng nghĩ đến khi chúng ta sử dụng điện thoại di động, lướt internet, nhấp vào một trang, mua một mặt hàng trực tuyến hoặc “thích” nó trên Facebook. Đó chỉ là một phần "nhỏ" nhưng dày đặc, vâng, nó rất đáng tin cậy và được mã hóa tốt. Nhưng ngược lại, chúng ta để lại một đường mòn thực / ảo, như vị trí GPS của nơi chúng ta đang ở, nhờ vào điện thoại di động. Ở đây chúng ta đã bắt đầu trộn thế giới ảo với thế giới thực. Và tất nhiên, các chuyển động thể chất, mua sắm vật chất, theo độ tuổi, những gì chúng ta chọn, tất cả điều này luôn được lưu trữvà tất nhiên, nó có thể chuyển thành ngày càng nhiều dữ liệu.
Các biến có thể được phân loại
Các biến phân loại là những biến đại diện cho các giá trị giới hạn hoặc các biến không nhất thiết có nghĩa là một độ lớn cụ thể. Chúng đại diện cho chất lượng của một cái gì đó mà chúng mô tả. Về cơ bản, tính đặc biệt của chúng là giới hạn của những gì chúng đại diện. Chúng có thể được phân thành hai lĩnh vực.
Các biến phân loại danh nghĩa
Họ là những người mà đại diện cho những thứ trong cùng một trường mà không có kết nối logic mỗi. Ví dụ: Tên của các khu vực cho biết nguồn gốc của hồ sơ, chẳng hạn như thành phố, cộng đồng tự trị, mã bưu điện, v.v.
Các biến phân loại thông thường
Họ là những người mà có thể đại diện cho tầm quan trọng của một cái gì đó, chẳng hạn như thang đo Douglas trong mức sóng, mức của thang mà lốc xoáy có thể được phân loại theo độ lớn của chúng, v.v.
Các biến có thể là số
Biến số là những biến đại diện cho các giá trị hoặc biến trong một cường độ và có thể đo lường được. Chúng đại diện cho các giá trị định lượng. Điểm đặc biệt của chúng là chúng có thể đại diện cho một phạm vi rất lớn các phép đo trong các hiện tượng khí tượng. Chúng được phân loại theo hai cách
Biến số liên tục
Các biến liên tục là những biến phụ trách đo lường một cái gì đó được thiết lập. Ví dụ về chúng sẽ là chỉ số độ ẩm, nhiệt độ, tốc độ gió, lượng mưa, v.v.
Các biến số rời rạc
Đây là những họ theo dõi một cái gì đó đã được thiết lập. Đó là, số lần trời mưa trong năm ở một vùng, số lần tuyết rơi, v.v.
Tất cả các biến đều được xử lý
Khi tất cả các biến đã được phân loại, chúng sẽ được xử lý nhờ máy tính, luôn được giám sát bởi các nhà phân tích dữ liệu lớn. Cho đến một vài năm trước, lượng dữ liệu có sẵn, mặc dù là một con số rất lớn, nhưng không có vấn đề gì phải phân tích bởi các nhà phân tích dữ liệu. Tuy nhiên, phân tích Dữ liệu lớn chịu trách nhiệm phân tích dữ liệu khổng lồ này, trong đó các quy trình phân tích phổ biến cho đến ngày nay, sẽ mất nhiều thời gian (chúng tôi thậm chí nói về ngày) để đưa ra câu trả lời. Không chỉ vậy, Dữ liệu lớn còn hiệu quả và chính xác hơn bằng cách "chơi" với các biến giữa chúng.
Tất cả điều này bắt nguồn những gì chúng tôi đã nhận xét trước đây về 4 V của Dữ liệu lớn, đạt được tốc độ, độ tin cậy và các mô hình thời tiết đưa ra dự báo cực kỳ chính xác trong một khoảng thời gian siêu ngắn.
Dữ liệu lớn như một kỷ luật mới ra đời
Một ví dụ điển hình là nói về công ty ACCIONA, có Trung tâm kiểm soát năng lượng tái tạo (CECOER). Nó là trung tâm lớn nhất trên thế giới trong đó mục tiêu là cung cấp các giải pháp trong thời gian thực, trong số hàng triệu dữ liệu được thu thập từ các cơ sở của nó, cả sinh khối, gió và năng lượng mặt trời. Nó tạo ra khoảng 3000 lịch trình hàng năm lấy tất cả dữ liệu này để điều chỉnh theo nhu cầu cần thiết. Một ưu điểm khác của CECOER là tiếp nhận các sự cố từ cơ sở của họ, do đó 50% trong số đó được giải quyết từ xa. 50% còn lại được cố định vật lý bởi các nhà khai thác. Bằng cách này, Acciona có năng lượng tái tạo, không chỉ là một năng lượng thay thế, ngày nay là một giải pháp.
HÀNH ĐỘNG CECOER
Một thực tế quan trọng khác về Dữ liệu lớn ngày nay là sự thiếu hụt các nhà khoa học dữ liệu. Đó là một lĩnh vực non trẻ, và điều đó đã đi vào các tiêu chuẩn định sẵn nhất định. Liệu Big Data có thể thực sự giúp ích rất nhiều cho quá trình phát triển của các dự báo, báo cáo lợi ích cho các công ty, có thể lường trước được rất nhiều thứ và biện minh cho chi phí phân tích dữ liệu lớn không? Có, nhưng nó là một cái gì đó đã được nhìn thấy từng chút một. Nhu cầu ngày càng tăng đối với các nhà khoa học dữ liệu đã song song với các kết quả và bằng cách hiểu nhu cầu về chúng ở mọi nơi. Đúng là đã có rất nhiều nhóm Dữ liệu lớn đang làm việc, với những kết quả ngoạn mục, nhưng ngay bây giờ chúng tôi nhận thấy rằng có một nhu cầu lớn hơn. Các nhà phân tích Dữ liệu lớn đang được săn đón rất nhiều.
Do đó, chúng ta đang sống cuộc cách mạng mà họ ám chỉ là phát triển, nhưng ngay từ đầu. Giống như bất kỳ ngành công nghiệp nào, chúng ta hiện đang chứng kiến tiềm năng của nó, nhưng nó vẫn chưa được phát triển hết, đây là điều mà thời gian có sẵn cho chúng ta. Một điều đã được chứng minh rõ ràng, tiềm năng hiện tại của nó, thứ khác, nó có thể đi bao xa. Kết quả của bạn sẽ không khiến chúng tôi thờ ơ.
Bản đồ mô hình IBM
Công ty Thời tiết của IBM là một công ty tư nhân đưa ra tới 26 triệu dự báo hàng ngày về thời tiết. IBM ngay từ đầu đã nổi bật, cùng với Google, là một trong những công ty tiên phong nhất trong lĩnh vực này. Công ty Thời tiết cực kỳ cam kết giúp mọi người đưa ra quyết định sáng suốt về thời tiết. Nó là mạng lớn nhất trên thế giới từ các trạm thời tiết cá nhân. Các thương hiệu lớn nhất thế giới về hàng không, năng lượng, bảo hiểm, truyền thông và chính phủ phụ thuộc vào The Weather Company về dữ liệu, nền tảng công nghệ và dịch vụ.
Dữ liệu lớn chống lại biến đổi khí hậu
Liên hợp quốc toàn cầu, một sáng kiến dữ liệu lớn của United Nations và Western Digital Corporation, đã ký kết một liên minh để cùng nhau chống lại biến đổi khí hậu. Dự án này do UN và Western Digital Corp., tập hợp các nhà khoa học đổi mới kỹ thuật số từ khắp nơi trên thế giới để tấn công vấn đề theo cách hiệu quả hơn. Trong số đó, chúng tôi tìm thấy các cộng tác viên từ các lĩnh vực rất khác nhau. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ... là một số trong số những người tham gia vào dự án này.
Chúng tôi cũng tìm thấy Trung tâm Siêu máy tính Barcelona (BSC), Đây là mô hình thứ 4 trong loạt MareNostrum. Một siêu máy tính để phân tích Dữ liệu lớn then chốt trong nhiều lĩnh vực, trong đó có lĩnh vực chống Biến đổi khí hậu. Nó được đưa vào hoạt động vào cuối tháng 2017 năm XNUMX này. Nó là máy tính nhanh thứ ba ở châu Âu, một khoản đầu tư đã được Bộ Kinh tế, Công nghiệp và Cạnh tranh Tây Ban Nha thực hiện để lắp đặt 34 triệu euro. Nó có dung lượng 14 Petabyte, tức là 14 triệu Gigabyte. Nó đạt 11,1 Petaflops, tức là, độ ngạnh của 11.100 tỷ hoạt động mỗi giây.
Dữ liệu lớn trong tương lai của khí tượng và trong cuộc sống của chúng ta
Trong một thế giới đang thay đổi, nơi mà những thay đổi ngày càng nhanh và ngày càng đáng ngạc nhiên, rất khó để dự đoán tương lai của một điều gì đó. Điều chúng tôi biết chắc là Dữ liệu lớn đã tồn tại, và rằng các dự báo về khí tượng và các khu vực khác khiến chúng tôi bối rối. Một số sẽ vẫn hoài nghi, những người khác sẽ phủ nhận nó, những người khác sẽ xem nó như một điều gì đó xa vời. Nhưng sự thật là chúng ta đã và đang sống chung với nó.
Ngày nay, chúng ta biết rằng Dữ liệu lớn dự đoán nhiều trận mưa, các mùa bão và thậm chí rất chính xác số lượng huy chương mà một quốc gia có thể giành được trong Thế vận hội Olympic. Nó cũng đoán trước được ai, ở đâu và khi nào một tội ác sẽ được thực hiện (nếu ai đã xem bộ phim "Báo cáo về người thiểu số" thì điều đó đã nghĩ ngay đến họ, phải không?). Dữ liệu lớn đang nhanh chóng tiến tới dự đoán tương lai của nhiều lĩnh vực, và ngay cả Amazon cũng bắt đầu dự đoán điều đó, và gần đây họ đã bắt đầu thực hiện các chuyến hàng ngay cả trước khi khách hàng mua hàng. Tương lai cho đến tận ngày nay, thường không chắc chắn. Nhưng nó đang thay đổi tương lai có thể đoán trước được.
Chúng tôi biết rằng tiềm năng của nó sẽ phát triển. Ai biết được, có thể hấp tấp khi đoán trước ai đó dự đoán (Dữ liệu lớn) điều gì đó. Nhưng với đủ dữ liệu, Liệu Big Data có thể dự đoán được khí hậu toàn cầu với những dự đoán lớn không? Đúng. Cũng như bạn có thể dự đoán rằng các hành động của chúng tôi sẽ đưa ra các kịch bản khác với những hành động đã đưa ra trước đó, bởi vì bất kỳ hành động nào cũng có dư âm trong tương lai và Dữ liệu lớn biết điều đó và đánh giá lại nó, đưa ra một kịch bản mới khác.
Mọi thứ đều có thể lường trước được. Liệu chúng ta có thể biết được trong tương lai gần điều gì sẽ xảy ra với chúng ta không? Chúng ta sẽ phải đối mặt với những vấn đề gì? Khi nào và ở đâu một cơn bão sẽ tấn công? Chúng ta sẽ có gì để tiếp tục giải quyết nó? Khi kỹ thuật cải tiến, máy tính cải thiện về hiệu quả và tốc độ, lĩnh vực này tiếp tục phát triển ... Đó là thay vì trả lời "ai biết được", có lẽ điều thích hợp nhất sẽ là nói "hãy hỏi Dữ liệu lớn."
Đối tác BA | Cập nhật Willis | NỒI