빅 데이터는 기상 조건을 예측하는 마지막 링크입니다. 전 세계 수천 개의 회사, 과학 센터, 기관 등이 빅 데이터를 사용하여 어디에 있든 빅 데이터 인 패턴을 찾고 있습니다. 방대한 양의 데이터를 가지고있는 과학 인 기상학에서도 빅 데이터는 유용한 응용 프로그램을 가지고 있습니다. 이 현대적이고 강력한 도구로 여러 가지 방법으로 사용할 수 있습니다. 단일 항목으로 명명되었지만 찾고있는 항목에 따라 다양한 예측을 달성 할 수 있습니다. 물론, 그것은 기상학 에까지 이르렀고, 여기서 우리는 그것이 무엇을 어떻게하는 지에 대해 말할 것입니다.
우선 기억합시다 예상 시간은 항상 인간의 주요 요구 사항 중 하나였습니다. 수천 년 전, 일기 예보는 생존을 위해 오늘날보다 훨씬 더 중요했습니다. 기술 개발은 그렇게 최첨단이 아니었고 어떤 불안정도 심각한 결과를 초래할 수있었습니다. 날씨를 막아야 할 필요가 항상 있었지만, 아리스토텔레스가 도착하기 전까지 기상학이라는 용어를 만들 수있었습니다. 그는 BC 340 년경에 자신의 책에 붙인 이름 인 "기상학"이라고 불렀습니다.
예측의 빅 데이터
대기 행동의 논리는 발전을 멈추지 않았습니다. 그때부터. 매번 더 빠릅니다. 1607 년 갈릴레오가 발명 한 온도계를 통해 인공위성에서 수집 한 데이터를 컴퓨터 시뮬레이션으로 사용합니다. 지금 우리는 빅 데이터에 직면하고 있으며 많은 사람들이 인터넷이 존재하기 때문에 가장 혁신적인 도구입니다. 그리고 그 이하가 아닙니다. 공상 과학 미래인 것처럼 오늘 우리는 그것이 현실이라고 말할 수 있습니다.
우리가 언급했듯이, 빅 데이터는 오늘 다른 관점을 기상 학자에게 제공하기 시작했습니다. 그들이 갈 수 없거나 존재하지 않고 옳다고 믿었던 곳, 빅 데이터는 숨겨 지거나 눈에 띄지 않는 것을 보여줍니다., 또한 정밀도 수준에 도달하지 못했습니다. 오늘날 이미 이러한 서비스를 제공하는 회사가 있습니다. 기후를 예측하기 위해 빅 데이터를 사용하는 기관, 정부 및 회사. 하지만이 전체 과정은 어떻습니까? 어떻게 되나요? 우리는 어떻게 이익을 얻습니까? 다음으로 우리는 기술 혁신의 전체 과정이 어떻게 가능한지보고 이해할 것입니다.
빅 데이터는 어떻게 작동합니까?
대충, 빅 데이터는 데이터에 집중하기 위해 하늘을 바라 보지 않습니다., 올바르게 처리되었는지 확인합니다. 기상학의 의미를 더 많이 이해할 수 있도록 먼저 그것이 어떻게 작동하는지 설명 할 필요가 있습니다.
빅 데이터는 4V라고하는 운영의 핵심을 가지고 있습니다.
Volumen
이것은 데이터의 양을 의미합니다. 이 모든 양의 데이터 수집 볼륨이라고하는 것입니다. 적용되는 항목에 따라 달라질 수 있으며, 때로는 많은 데이터가 있고 다른 경우에는 "적은"경우도 있습니다. 즉, 분석되는 데이터에 따라 1.000 만 데이터에서 수조 데이터로 이동할 수 있습니다.
속도
내 말은, 데이터가 생성되는 속도. 캡처, 저장 및 처리의 필요성에서 비롯됩니다. 더 많은 데이터 캡처가있을수록 더 빨리 저장되고 더 많은 분석이 필요합니다. 이벤트가 실시간으로 발생하고 가능한 한 빨리 처리되어야하기 때문에 속도는 일기 예보에서 두 배로 중요합니다.
다양성
때로는 데이터가 어떻게 제공되는지에 대한 형식이 있고 다른 경우도 있습니다. 각 데이터 유형에는 고유 한 분류가 있습니다. 다른 경우에는 일부가 누락되고 (이를 수정하는 기술이 있거나 오류가 엄청납니다) 다른 경우에는 비디오 형식으로도 제공됩니다. 데이터의 양은 매우 다른데, 빅 데이터에서는 잘 분석해야 할 논리 인 주문을 담당합니다. 예를 들어, 온도계의 온도 측정 값은 전면의 위성 측정 값과 동일한 패키지에 넣을 수 없습니다.
정확성
이전 포인트의 괄호와 관련이 있습니다. 데이터가 마침내 깨끗해짐을 의미합니다., "이상한"것없이. 빅 데이터 관리 팀에는 좋은 구조를 유지하기 위해 훈련 된 공정한 팀이 있어야합니다. 데이터의 진실성이 좋지 않은 결과는 매우 부정적인 영향을 미칩니다. 아이디어를 얻으려면 기계공 그룹이 자동차 수리를 마치고 두 바퀴를 조이는 것을 잊은 것처럼 보일 것입니다.
데이터의 진실성에 대한 예
우리는 많은 분야에서 많은 기록을 가지고 있습니다. 온도, 습도, 바람 등이 있다고 상상해 봅시다. 그러나 우리는 실패했습니다. 어떤 이유에서든 일부 지역의 온도 기록이 누락되어 기록 된 온도를 알 수 없습니다. 우리는 총 30 개의 데이터를 가지고 있으며, 그중 XNUMX 개는 온도가 없습니다.
예를 들어, 그 지역의 평균 온도를 계산하여 누락 된 기록에서 계산할 수있는 가능한 온도를 정확하게 결정하지만 오차 범위가 매우 작습니다. 값은 예비 부품이며, 계산이 실행될 수 있습니다. 이 데이터가 누락 되었다면 컴퓨터가 인식하지 못했을 것입니다. 데이터에 블랙홀을 만들고 완전히 잘못된 예측을합니다.
어떻게 얻습니까?
어떤 분야와 마찬가지로 기상학에서도 데이터는 변수의 형태로 제공됩니다. 즉, 각각이 속한 방식으로 처리됩니다. 매우 복잡하고 복잡해 보이지만 빅 데이터 분석가에게는 작업이 "쉬워집니다". 기상학에서 기록 할 수있는 변수, 여전히 데이터이지만 그들은 다른 가족에 속할 수 있습니다. 즉, 변수는 분류 할 수있는 모든 데이터이지만 항상 동일하지는 않습니다.
NASA에서 제공 한 위의 이미지는 행성 주변의 조류의 예. NASA의 경우 실시간으로 전 세계의 현상을 관찰하고 측정 할 수있는 많은 위성이 있습니다.
빅 데이터는 무언가가 남기는 모든 흔적을 읽을 수 있습니다. 데이터로 간주 될 수 있습니다. 빅 데이터에 대해 생각할 때 많은 사람들이 휴대폰을 사용하거나, 인터넷을 서핑하거나, 페이지를 클릭하거나, 온라인으로 항목을 구입하거나, Facebook에서 "좋아요"를 표시 할 때를 빠르게 생각할 것입니다. 이것은 "작지만"조밀 한 부분 일뿐입니다. 예, 매우 신뢰할 수 있고 잘 코딩되어 있습니다. 그러나 차례로 우리는 휴대폰 덕분에 우리가있는 위치의 GPS 위치와 같은 물리적 / 가상 트레일을 남깁니다. 여기서 우리는 이미 가상 세계와 물리적 세계를 혼합하기 시작합니다. 물론 연령에 따른 신체적 움직임, 신체적 구매, 우리가 선택한 것, 이 모든 것은 항상 보관됩니다., 물론 점점 더 많은 데이터로 변환 될 수 있습니다.
변수는 범주 형일 수 있습니다.
범주 형 변수는 제한된 값을 나타내는 변수 또는 특정 크기를 반드시 의미하지는 않는 변수입니다. 그들은 그들이 설명하는 것의 품질을 나타냅니다. 기본적으로 그들의 특이성은 그들이 나타내는 것의 한계입니다. 두 가지 필드로 분류 할 수 있습니다.
명목 범주 형 변수
그것들은 논리적 연결없이 동일한 필드에있는 것을 나타냄 마다. 예 : 도시, 자치 커뮤니티, 우편 번호 등과 같이 레코드의 출처를 나타내는 지역의 이름입니다.
순서 형 범주 형 변수
그것들은 무언가의 규모를 나타낼 수 있습니다, 파동 수준의 더글러스 척도, 토네이도의 규모에 따라 분류 할 수있는 척도의 수준 등
변수는 숫자 일 수 있습니다.
수치 변수는 크기 내에서 값 또는 변수를 나타내며 측정 가능. 그들은 양적 가치를 나타냅니다. 그들의 특이성은 기상 현상에서 매우 광범위한 측정 범위를 나타낼 수 있다는 것입니다. 그들은 두 가지 방법으로 분류됩니다
연속 수치 변수
연속 변수는 확립 된 것을 측정하는 일을 담당합니다. 예를 들어 습도 지수, 온도, 풍속, 비의 양 등이 있습니다.
이산 수치 변수
이것들은 그들은 확립 된 것을 추적합니다. 즉, 한 지역에서 XNUMX 년 동안 비가 내린 횟수, 눈이 내린 횟수 등입니다.
모든 변수가 처리됩니다.
모든 변수가 분류되면 컴퓨터 덕분에 처리됩니다. 항상 분석가의 감독 빅 데이터의. 몇 년 전까지 만해도 사용 가능한 데이터의 양은 매우 많지만 데이터 분석가가 분석 할 문제가 없었습니다. 그러나 빅 데이터 분석은이 방대한 데이터의 분석을 담당합니다. 오늘날까지 일반적인 분석 프로세스는 시간이 오래 걸립니다. (우리는 심지어 일에 대해 이야기합니다) 대답을 제공합니다. 뿐만 아니라 빅 데이터는 그들 사이의 변수를 "연주"함으로써 더 효율적이고 정확합니다.
이 모든 것이 유래 이전에 빅 데이터의 4V에 대해 언급 한 내용은 속도, 안정성 및 믿을 수 없을 정도로 정확한 예측을 제공하는 날씨 모델 매우 짧은 시간에.
초기 분야로서의 빅 데이터
좋은 예는 ACCIONA 회사에 대해 이야기하는 것입니다. 재생 가능 에너지 제어 센터 (CECOER). 그것은 세계에서 가장 큰 센터입니다 목표는 시설에서 수집 된 수백만 개의 데이터 (바이오 매스, 풍력 및 태양 에너지)에 대한 솔루션을 실시간으로 제공하는 것입니다. 이 모든 데이터를 필요한 수요에 맞게 조정하는 약 3000 개의 연간 일정을 생성합니다. CECOER의 또 다른 장점은 시설에서 발생한 사고를 수신하여 그 중 50 %가 원격으로 해결된다는 것입니다. 나머지 50 %는 운영자가 물리적으로 고정합니다. 이런 식으로, Acciona는 재생 가능한 에너지를 얻습니다.대체 에너지가되는 것 이상으로 오늘 해결책이되다.
CEO 조치
오늘날 빅 데이터에 대한 또 다른 중요한 사실은 데이터 과학자의 부족입니다. 초기 필드, 그리고 그것은 특정한 선입견 된 표준에 도달했습니다. 빅 데이터가 예측의 발전에 정말 많은 도움을 줄 수 있고, 기업에 이점을보고하고, 많은 것을 예측하고, 빅 데이터 분석 비용을 정당화 할 수 있습니까? 네,하지만 조금씩 보아온 것입니다. 데이터 과학자에 대한 수요 증가는 결과와 유사했습니다. 그리고 모든 곳에서 그것들의 필요성을 이해함으로써. 이미 많은 빅 데이터 팀이 일하고있는 것은 사실이며 놀라운 결과를 얻었지만 지금은 더 많은 수요가 있음을 알게되었습니다. 빅 데이터 분석가는 많은 관심을 받고 있습니다.
결과적으로, 우리는 그들이 개발에 내포하는 혁명을 살고 있습니다,하지만 처음부터. 다른 산업과 마찬가지로 우리는 현재 그 잠재력을 목격하고 있지만 아직 완전히 개발되지는 않았습니다. 이것은 시간이 우리를 위해 준비한 것입니다. 한 가지는 이미 분명합니다. 현재의 잠재력, 다른 한 가지는 얼마나 멀리 갈 수 있는지입니다. 당신의 결과는 우리를 무관심하게 만들지 않을 것입니다.
IBM 모델 맵
IBM의 The Weather Company 개인 회사입니다 최대 26 만 개의 일일 예측 제공 날씨에 대해. IBM은 처음부터 Google과 함께이 분야에서 가장 선구적인 기업 중 하나로 돋보였습니다. The Weather Company는 날씨에 대한 정보에 입각 한 결정을 내리기 위해 사람들에게 극도로 전념하고 있습니다. 세계에서 가장 큰 네트워크입니다. 개인 기상 관측소에서. 항공, 에너지, 보험, 미디어 및 정부 분야의 세계 최대 브랜드는 데이터, 기술 플랫폼 및 서비스를 위해 The Weather Company에 의존합니다.
기후 변화에 대한 빅 데이터
유엔 글로벌 펄스, 빅 데이터 이니셔티브 UN 및 Western Digital Corporation, 기후 변화에 맞서 싸울 동맹에 서명했습니다. UN과 Western Digital Corp.이 이끄는이 프로젝트는 전 세계의 디지털 혁신 과학자를 모으십시오. 보다 효율적인 방법으로 문제를 공격합니다. 그 중에는 매우 다른 분야의 협력자가 있습니다. BBVA, Orange, Planet, Plume Labs, Nielsen, Schneider Electric, Waze ...이 프로젝트에 참여하는 사람들 중 일부입니다.
우리는 또한 바르셀로나 슈퍼 컴퓨팅 센터 (BSC), MareNostrum 시리즈의 4 번째 모델입니다. 빅 데이터 분석을위한 슈퍼 컴퓨터 많은 분야의 핵심은 기후 변화를위한 투쟁입니다. 2017 년 XNUMX 월 말 가동에 들어갔다. 유럽에서 세 번째로 빠른 컴퓨터입니다., 스페인 경제 산업 경쟁력 부에서 34 만 유로를 설치하기 위해 투자했습니다. 용량은 14 페타 바이트, 즉 14 만 기가 바이트입니다. 이는 11,1 페타 플롭스, 즉 초당 11.100 조 XNUMX 천억 작업의 야만성에 도달합니다.
기상학의 미래와 우리 삶의 빅 데이터
변화가 빨라지고 점점 더 놀라워지는 변화하는 세상에서 무언가의 미래를 예측하는 것은 어렵습니다. 우리가 확실히 아는 것은 빅 데이터는 계속 남아 있습니다, 그리고 기상과 다른 지역에서 모두 예측 한 결과는 우리를 당혹스럽게 만듭니다. 어떤 사람들은 회의적인 태도를 유지하고 다른 사람들은 그것을 부정 할 것이고 다른 사람들은 그것을 멀리있는 것으로 볼 것입니다. 하지만 사실 우리는 이미 그것과 함께 살고 있습니다.
오늘날 우리는 빅 데이터가 많은 비, 허리케인 시즌, 심지어 올림픽에서 한 국가가 우승 할 수있는 메달의 수를 매우 정확하게 예측한다는 것을 알고 있습니다. 또한 누가, 어디서, 언제 범죄가 저질러 질 것인지를 예측합니다 (만약 "마이너리티 리포트"영화를 본 사람이 있다면, 이건 그들의 마음을 넘어 섰죠?). 빅 데이터 많은 분야의 미래를 예측하기 위해 빠르게 움직이고 있습니다., 아마존도 예상하기 시작하고 최근에는 고객이 구매하기 전에도 배송을 시작했습니다. 미래는 오늘날까지였으며 종종 불확실했습니다. 하지만 변하고있어 미래는 예측 가능합니다.
우리는 그 잠재력이 커질 것임을 알고 있습니다. 누가 (빅 데이터) 무언가를 예상하는지 예상하는 것이 성급 할 수 있습니다. 하지만 데이터가 충분하면 빅 데이터는 엄청난 기대를 가지고 지구 기후를 예측할 수 있을까요? 예, 우리의 행동이 이전에 주어진 것과 다른 시나리오를 줄 것이라고 예상 할 수있는 것처럼, 어떤 행동이든 미래에 반향을 일으키고 빅 데이터는 그것을 알고 재평가하여 또 다른 새로운 시나리오를 제공합니다.
모든 것을 예상 할 수 있습니다. 가까운 장래에 우리에게 어떤 일이 일어날 지 알 수 있습니까? 우리는 어떤 문제에 직면하게 될까요? 허리케인은 언제 어디서 발생합니까? 계속해서 해결하려면 무엇을해야합니까? 기술이 향상되고 컴퓨터의 효율성과 속도가 향상됨에 따라이 분야는 계속 발전하고 있습니다. "누가 아는가"라고 대답하는 것보다 "빅 데이터에 물어 보자"라고 말하는 것이 가장 적절한 방법 일 것입니다.
BA 파트너 | Willis 업데이트 | 냄비