البيانات الضخمة هي الحلقة الأخيرة في التنبؤ بأحوال الطقس. في جميع أنحاء العالم ، تستخدم الآلاف من الشركات والمراكز العلمية والمؤسسات وما إلى ذلك البيانات الضخمة للعثور على أنماط البيانات الضخمة أينما كانت. في علم الأرصاد الجوية ، وهو علم يحتوي أيضًا على كمية هائلة من البيانات ، فإن البيانات الضخمة لها أيضًا تطبيقات مفيدة. يكون أداة حديثة وقوية ، يمكن استخدامها بطرق متعددة. على الرغم من تسميته بشيء واحد ، إلا أنه يمكن أن يحقق العديد من التنبؤات المختلفة اعتمادًا على ما تبحث عنه. بالطبع ، لقد وصل الأمر أيضًا إلى الأرصاد الجوية ، وهنا سنخبرك بما يفعله وكيف.
بادئ ذي بدء ، دعونا نتذكر ذلك كان توقع الوقت دائمًا أحد الاحتياجات الأساسية للبشر. منذ آلاف السنين ، كانت تنبؤات الطقس مهمة جدًا ، حتى أكثر من اليوم ، من أجل البقاء. لم يكن التطور التكنولوجي متقدمًا جدًا ، فقد يكون لأي عدم استقرار عواقب وخيمة. على الرغم من وجود هذه الحاجة دائمًا لمنع الطقس ، إلا أننا لم نتمكن من صياغة مصطلح الأرصاد الجوية حتى وصول أرسطو. أطلق عليه اسم "الأرصاد الجوية" ، وهو الاسم الذي أطلقه على كتابه حوالي عام 340 قبل الميلاد.
البيانات الضخمة في التوقعات
لم يتوقف منطق السلوك الجوي عن التطور منذ ذلك الحين. في كل مرة أسرع. الذهاب من خلال مقياس الحرارة الذي اخترعه جاليليو في عام 1607 ، إلى محاكاة الكمبيوتر من البيانات التي تم جمعها بواسطة الأقمار الصناعية. في الوقت الحالي ، نحن نواجه البيانات الضخمة ، ويتفق الكثيرون على ذلك إنها الأداة الأكثر ثورية منذ وجود الإنترنت وليس بأقل من ذلك. كما لو كان مستقبل خيال علمي ، يمكننا اليوم أن نقول إنه حقيقي.
كما علقنا ، تبدأ البيانات الضخمة اليوم في تولي مسؤولية إعطاء وجهة النظر الأخرى لخبراء الأرصاد الجوية. حيث لا يمكنهم الذهاب ، أو يعتقدون أنهم على حق دون أن يكونوا ، تُظهر لك البيانات الضخمة ما كان مخفيًا أو غير ملحوظ، أيضًا بمستوى من الدقة لم يتم الوصول إليه مطلقًا. هناك شركات تقدم هذه الخدمات بالفعل اليوم. المؤسسات والحكومات والشركات التي تستخدم البيانات الضخمة لتوقع المناخ. لكن كيف هي هذه العملية برمتها؟ كيف يتم ذلك؟ كيف نستفيد؟ بعد ذلك ، سنرى ونفهم كيف أن عملية الابتكار التكنولوجي بأكملها ممكنة.
كيف تعمل البيانات الضخمة؟
بقسوة، تتخلى البيانات الضخمة عن النظر إلى السماء للتركيز على البيانات، وأنه يتم معالجتها بشكل صحيح. حتى تتمكن من فهم الآثار المترتبة على الأرصاد الجوية في حجمها ، من الضروري أولاً شرح كيفية عملها.
البيانات الضخمة لها جوهر عملياتها فيما يسمى بـ 4 V.
حجم
هذا يعني كمية البيانات. تم جمع كل هذه الكمية من البيانات هو ما يعرف بالحجم. قد يختلف اعتمادًا على ما يتم تطبيقه ، وأحيانًا يكون لدينا الكثير من البيانات وفي أحيان أخرى يكون لدينا "أقل". بمعنى ، يمكننا الانتقال من 1.000 مليون بيانات إلى عدة تريليونات ، اعتمادًا على ما يتم تحليله.
سرعة
وهذا هو، معدل إنشاء البيانات. إنها تأتي من الحاجة إلى التقاطها وتخزينها ومعالجتها. كلما زاد عدد البيانات التي يتم التقاطها ، كلما زادت سرعة تخزينها ، زادت الحاجة إلى تحليلها. للسرعة أهمية مضاعفة في التنبؤات الجوية ، لأن الأحداث تحدث في الوقت الفعلي ، ويجب معالجتها في أسرع وقت ممكن.
تشكيلة
أحيانًا يكون هناك تنسيق لكيفية وصول هذه البيانات ، وأحيانًا أخرى. كل نوع من البيانات له تصنيف خاص به. في أحيان أخرى يكون البعض مفقودًا (هناك تقنيات لإصلاح ذلك ، أو قد تكون الأخطاء ضخمة) وفي أحيان أخرى تأتي في نماذج فيديو حتى. هناك كتلة مختلفة جدًا من البيانات ، والتي في البيانات الضخمة هي المسؤولة عن وضع النظام ، وهو منطق يجب تحليله جيدًا. على سبيل المثال ، قياسات درجة الحرارة من مقياس حرارة "لا يمكن" وضعها في نفس الحزمة مثل قياسات الأقمار الصناعية من الأمام.
الموثوقية
مرتبطة بأقواس النقطة السابقة. هذا يعني أن البيانات تصبح نظيفة أخيرًا، بدون أشياء "غريبة". يجب أن يكون لدى فرق إدارة البيانات الضخمة فريق محايد مدرب للحفاظ على هيكل جيد. النتائج المترتبة على سوء صحة البيانات لها آثار سلبية للغاية. للحصول على فكرة ، سيكون الأمر كما لو أن مجموعة من الميكانيكيين انتهوا من إصلاح سيارة ، ونسوا ربط عجلتين.
مثال على صحة البيانات
لدينا العديد من السجلات من العديد من المجالات. لنتخيل أن لدينا درجات حرارة ومستويات رطوبة ورياح وما إلى ذلك. لكن ، لدينا فشل ، ونفتقد بعض سجلات درجات الحرارة لبعض المناطق ، لأي سبب من الأسباب ، ولا يمكننا الوصول إلى معرفة درجة الحرارة التي تم تسجيلها. لدينا إجمالي 30 بيانات ، اثنان منهم بدون درجة حرارة أخيرًا.
ما يمكن فعله ، على سبيل المثال ، هو حساب متوسط درجة الحرارة لتلك المناطق لتحديد درجة الحرارة المحتملة بدقة والتي يمكن حسابها في السجل المفقود ، ولكن أيضًا بهوامش خطأ صغيرة جدًا. القيم قطع غيار ، وبعد ذلك يمكن وضع الحساب موضع التنفيذ. لو كانت هذه البيانات مفقودة ، لما تعرفت أجهزة الكمبيوتر عليها ، خلق ثقب أسود في البيانات ، وتنبؤات خاطئة تمامًا.
كيف تحصل عليه؟
في الأرصاد الجوية ، كما هو الحال في أي مجال ، تأتي البيانات في شكل متغيرات. أي أن كل واحد تتم معالجته بالطريقة التي ينتمي إليها. وعلى الرغم من أنها تبدو معقدة ومعقدة للغاية ، فإن المهمة تصبح "سهلة" لمحللي البيانات الضخمة. المتغيرات التي يمكننا تسجيلها في الأرصاد الجوية، على الرغم من أنها لا تزال بيانات ، قد ينتمون إلى عائلات مختلفة. أي أن المتغير هو أي بيانات يمكن تصنيفها ، لكنها ليست متطابقة دائمًا.
تُظهر الصورة أعلاه ، التي قدمتها وكالة ناسا ، ملف مثال على التيارات حول الكوكب. في حالة وكالة ناسا ، لديهم عدد كبير من الأقمار الصناعية التي تسمح لهم بمراقبة وقياس الظواهر حول العالم في الوقت الفعلي.
يمكن للبيانات الضخمة قراءة كل أثر يتركه شيء ما عن شيء ما ، ويمكن اعتبار ذلك بيانات. عندما يفكر الكثيرون في البيانات الضخمة ، سوف يفكرون بسرعة عندما نستخدم الهواتف المحمولة ، أو نتصفح الإنترنت ، أو ننقر على صفحة ، أو نشتري عنصرًا عبر الإنترنت ، أو "أعجبني" به على Facebook. هذا ليس سوى جزء "صغير" ولكنه كثيف ، نعم ، إنه موثوق للغاية ومشفّر جيدًا. لكن في المقابل ، نترك أثرًا ماديًا / افتراضيًا ، مثل موقع GPS الخاص بمكان وجودنا ، بفضل الهواتف المحمولة. هنا بدأنا بالفعل في مزج العالم الافتراضي مع العالم المادي. وبالطبع الحركات الجسدية والمشتريات الجسدية حسب العمر وما نختاره كل هذا دائما مؤرشفة، وبالطبع يمكن أن تترجم إلى المزيد والمزيد من البيانات.
يمكن أن تكون المتغيرات قاطعة
المتغيرات الفئوية هي تلك التي تمثل قيمًا أو متغيرات محدودة لا تعني بالضرورة مقدارًا معينًا. يمثلون جودة الشيء الذي يصفونه. في الأساس ، فإن خصوصيتهم هي تحديد ما يمثلونه. يمكن تصنيفها إلى مجالين.
المتغيرات الاسمية الفئوية
هم هؤلاء تمثل الأشياء في نفس المجال دون اتصال منطقي كل. على سبيل المثال: اسم المناطق التي تشير إلى مصدر السجلات ، مثل المدينة ، والمجتمع المستقل ، والرمز البريدي ، إلخ.
المتغيرات الفئوية الترتيبية
هم هؤلاء يمكن أن تمثل حجم شيء ما، مثل مقياس دوغلاس في مستوى الموجة ، مستوى المقياس الذي يمكن من خلاله تصنيف الأعاصير وفقًا لحجمها ، إلخ.
يمكن أن تكون المتغيرات رقمية
المتغيرات العددية هي تلك تمثل القيم أو المتغيرات ضمن المقدار ويمكن قياسها. يمثلون القيم الكمية. خصوصيتها هي أنها يمكن أن تمثل مجموعة كبيرة جدًا من القياسات في ظواهر الأرصاد الجوية. يتم تصنيفها بطريقتين
المتغيرات العددية المستمرة
المتغيرات المستمرة هي تلك التي هم المسؤولون عن قياس شيء ما. ومن الأمثلة على ذلك مؤشر الرطوبة ودرجة الحرارة وسرعة الرياح وكمية هطول الأمطار وما إلى ذلك.
المتغيرات العددية المنفصلة
هؤلاء هم يتتبعون شيئًا ما تم إنشاؤه. أي عدد المرات التي هطلت فيها الأمطار في عام في منطقة ما ، وعدد مرات تساقط الثلوج فيها ، وما إلى ذلك.
تتم معالجة جميع المتغيرات
بمجرد تصنيف جميع المتغيرات ، تتم معالجتها بفضل أجهزة الكمبيوتر ، دائما تحت إشراف المحللين من البيانات الضخمة. حتى سنوات قليلة ماضية ، كانت كمية البيانات المتاحة ، على الرغم من كونها عددًا كبيرًا جدًا ، لا توجد مشاكل لتحليلها من قبل محللي البيانات. ومع ذلك ، فإن تحليل البيانات الضخمة مسؤول عن تحليل هذه البيانات الضخمة ، حيث قد تستغرق عمليات التحليل التي كانت شائعة حتى اليوم وقتًا طويلاً (نتحدث حتى عن أيام) لنعطي إجابة. ليس هذا فقط ، البيانات الضخمة أكثر كفاءة ودقة ، من خلال "اللعب" مع المتغيرات بينهما.
كل هذا ينشأ ما علقنا عليه سابقًا على العناصر الأربعة للبيانات الضخمة ، مما يحقق السرعة والموثوقية و نماذج الطقس التي تعطي تنبؤات دقيقة بشكل لا يصدق في فترة زمنية قصيرة للغاية.
البيانات الضخمة كنظام ناشئ
من الأمثلة الجيدة على ذلك التحدث عن شركة ACCIONA ، التي تمتلك امتداد مركز التحكم في الطاقة المتجددة (رئيس المؤتمر). إنه أكبر مركز في العالم حيث يتمثل الهدف في توفير حلول في الوقت الفعلي لملايين البيانات التي يتم جمعها من منشآتها ، سواء الكتلة الحيوية وطاقة الرياح والطاقة الشمسية. ينتج حوالي 3000 جدول سنوي يأخذ كل هذه البيانات للتكيف مع الطلب المطلوب. ميزة أخرى لـ CECOER هي استقبال الحوادث التي يتعرضون لها من منشآتهم ، لذلك يتم حل 50٪ منها عن بُعد. يتم إصلاح نسبة 50٪ المتبقية ماديًا بواسطة المشغلين. في هذا الطريق، أكسيونا تحصل على طاقتها المتجددة، أكثر من كونها طاقة بديلة ، كن حلا اليوم.
أكسيونا العميل
حقيقة مهمة أخرى حول البيانات الضخمة اليوم هي النقص في علماء البيانات. إنه حقل ناشئ، وقد تصادف ذلك معايير معينة مسبقة. هل يمكن للبيانات الضخمة حقًا أن تساعد كثيرًا في تطور التوقعات ، وتقرير الفوائد للشركات ، وتكون قادرة على توقع الكثير من الأشياء وتبرير تكلفة تحليل البيانات الضخمة؟ نعم ، لكنه شيء شوهد شيئًا فشيئًا. تزامن الطلب المتزايد على علماء البيانات مع النتائج ومن خلال فهم الحاجة إليها في كل مكان. صحيح أنه يوجد بالفعل العديد من فرق البيانات الضخمة التي تعمل ، وقد حققت نتائج مذهلة ، ولكننا نجد الآن أن هناك طلبًا أكبر. يتم البحث عن محللي البيانات الضخمة بشكل كبير.
وفقا لذلك، نحن نعيش الثورة التي توحي بها في التنميةولكن من البداية. مثل أي صناعة ، نشهد الآن إمكاناتها ، لكن لم يتم تطويرها إلى أقصى حد ، وهذا شيء يخبئه لنا الوقت. هناك شيء واحد واضح بالفعل ، إمكاناته الحالية ، والآخر ، إلى أي مدى يمكن أن يذهب. نتائجك لن تتركنا غير مبالين.
خريطة نموذج IBM
شركة الطقس في آي بي إم هي شركة خاصة تقدم ما يصل إلى 26 مليون تنبؤات يومية عن الطقس. تميزت شركة IBM منذ البداية ، إلى جانب Google أيضًا ، بكونها واحدة من أكثر الشركات ريادة في هذا المجال. تلتزم شركة Weather بشدة بمساعدة الأشخاص على اتخاذ قرارات مستنيرة بشأن الطقس. إنها أكبر شبكة في العالم من محطات الطقس الشخصية. تعتمد أكبر العلامات التجارية في العالم في مجالات الطيران والطاقة والتأمين ووسائل الإعلام والحكومة على The Weather Company للبيانات ومنصات التكنولوجيا والخدمات.
البيانات الضخمة ضد تغير المناخ
نبض الأمم المتحدة العالمي، وهي مبادرة للبيانات الضخمة من الأمم المتحدة وشركة ويسترن ديجيتال، وقعت على تحالف للنضال معا ضد تغير المناخ. هذا المشروع بقيادة الأمم المتحدة وشركة Western Digital Corp. يجمع علماء الابتكار الرقمي من جميع أنحاء العالم لمهاجمة المشكلة بطريقة أكثر فعالية. من بينهم ، نجد متعاونين من قطاعات مختلفة جدًا بينهم. BBVA و Orange و Planet و Plume Labs و Nielsen و Schneider Electric و Waze ... هم بعض من المشاركين في هذا المشروع.
نجد أيضًا ملف مركز برشلونة للحوسبة الفائقة (BSC) ، إنه النموذج الرابع في سلسلة MareNostrum. حاسوب عملاق لتحليل البيانات الضخمة مفتاح في العديد من المجالات ، من بينها أيضا الكفاح من أجل تغير المناخ. تم تشغيله في نهاية يونيو من عام 2017. إنه ثالث أسرع كمبيوتر في أوروبا، تم الاستثمار فيه لتركيبه 34 مليون يورو من قبل وزارة الاقتصاد والصناعة والقدرة التنافسية الإسبانية. تبلغ سعته 14 بيتابايت أي 14 مليون جيجا بايت. تصل إلى 11,1 بيتافلوبس ، أي بربرية 11.100 مليار عملية في الثانية.
البيانات الضخمة في مستقبل الأرصاد الجوية وفي حياتنا
في عالم متغير ، حيث التغييرات تصبح أسرع ، ومدهشة بشكل متزايد ، من الصعب التنبؤ بمستقبل شيء ما. ما نعرفه على وجه اليقين هو ذلك لقد حان البيانات الضخمة للبقاء، وأن التنبؤات جعلت كل من الأرصاد الجوية وفي مناطق أخرى في حيرة من أمرنا. سيبقى البعض متشككًا ، والبعض الآخر سينكره ، وسيرى الآخرون أنه شيء بعيد. لكن الحقيقة هي أننا نعيشها بالفعل.
نحن نعلم اليوم أن البيانات الضخمة تتوقع هطول أمطار كثيرة ، ومواسم أعاصير ، وحتى بدقة كبيرة عدد الميداليات التي يمكن أن يفوز بها بلد ما في الألعاب الأولمبية. كما أنه يتوقع من وأين ومتى سترتكب جريمة ما (إذا شاهد أي شخص فيلم "تقرير الأقلية" فقد خطرت في أذهانهم ، أليس كذلك؟). البيانات الكبيرة يتحرك بسرعة نحو توقع مستقبل العديد من المجالات، وهو الأمر الذي بدأ حتى Amazon في توقعه ، ومؤخراً بدأت في إجراء الشحنات حتى قبل أن يقوم العملاء بالشراء. كان المستقبل حتى اليوم غامضًا في كثير من الأحيان. لكنها تتغير المستقبل متوقع.
نحن نعلم أن إمكاناتها ستنمو. من يدري ، قد يكون من التسرع توقع من يتوقع (البيانات الضخمة) شيئًا ما. ولكن مع وجود بيانات كافية ، هل ستكون البيانات الضخمة قادرة على توقع المناخ العالمي بتوقعات هائلة؟ نعم ، تمامًا كما يمكنك أن تتوقع أن تصرفاتنا ستعطي سيناريوهات مختلفة لتلك التي قدمناها سابقًا ، لأن أي إجراء له صدى في المستقبل ، والبيانات الضخمة تعرفه وتعيد تقييمه ، مما يعطي سيناريو جديدًا آخر.
كل شيء يمكن توقعه. هل سنتمكن من معرفة ما سيحدث لنا في المستقبل القريب؟ ما هي المشاكل التي سنواجهها؟ متى وأين سيضرب الإعصار؟ ما الذي يتعين علينا الاستمرار في حلها؟ مع تحسن التقنيات ، تتحسن أجهزة الكمبيوتر من حيث الكفاءة والسرعة ، يستمر هذا المجال في التطور ... على الأرجح هو أنه بدلاً من الإجابة على "من يعلم" ، ربما يكون أنسب شيء هو قول "دعنا نسأل البيانات الضخمة".
شركاء بكالوريوس | تحديث ويليس | وعاء