ביג דאטה הוא החוליה האחרונה בחיזוי תנאי מזג האוויר. ברחבי העולם, אלפי חברות, מרכזים מדעיים, מוסדות וכו ', משתמשים בביג דאטה כדי למצוא דפוסים באשר הם, הביג דאטה. במטאורולוגיה, מדע שיש בו גם כמות עצומה ועצומה של נתונים, לביג דאטה יש גם את היישומים השימושיים שלו. האם כלי מודרני וחזק, ניתן להשתמש בו במספר דרכים. למרות היותו שם דבר אחד, הוא יכול להשיג תחזיות רבות ושונות בהתאם למה שאתה מחפש. כמובן, זה הגיע גם למטאורולוגיה, וכאן אנחנו הולכים לספר לך מה זה עושה ואיך.
קודם כל, בואו נזכור את זה צפייה בזמן הייתה תמיד אחד הצרכים העיקריים של בני האדם. לפני אלפי שנים, תחזיות מזג האוויר היו חשובות מאוד, אפילו יותר מהיום, להישרדות. הפיתוח הטכנולוגי לא היה כה חדשני, כל חוסר יציבות יכול להיות בעל תוצאות חמורות. למרות שתמיד היה צורך זה למנוע את מזג האוויר, רק עם הגעתו של אריסטו נוכל לטבוע את המונח מטאורולוגיה. הוא כינה אותו "מטאורולוגי", השם שנתן לספרו, בסביבות שנת 340 לפני הספירה.
נתונים גדולים בתחזיות
ההיגיון של התנהגות אטמוספרית לא הפסיק להתפתח מאז. בכל פעם מהר יותר. עובר דרך המדחום שהמציא גליליאו בשנת 1607, להדמיות מחשב מנתונים שנאספו על ידי לוויינים. כרגע אנו ניצבים בפני ביג דאטה, רבים מסכימים לכך זהו הכלי המהפכני ביותר מאז שהאינטרנט קיים והוא לא עבור פחות. כאילו שזה עתיד מדע בדיוני, היום אנחנו יכולים לומר שהוא אמיתי.
כפי שהערנו, ביג דאטה מתחיל לקחת אחריות היום, על מתן נקודת מבט אחרת למטאורולוגים. לאן שלא יכלו ללכת, או האמינו שהם צודקים בלי להיות, נתונים גדולים מראים לך מה היה מוסתר או שלא הבחין בו, גם ברמת דיוק שלא הושגה מעולם. יש חברות שכבר היום מציעות שירותים אלה. מוסדות, ממשלות וחברות העושות שימוש בנתונים גדולים כדי לחזות את האקלים. אבל איך כל התהליך הזה? איך זה נעשה? איך אנו מרוויחים? בהמשך נראה ונבין כיצד כל התהליך הזה של חדשנות טכנולוגית אפשרי.
איך עובד ביג דאטה?
בְּעֵרֶך, ביג דאטה מעמיד יותר מלהסתכל בשמיים כדי להתמקד בנתונים, ושהם מעובדים כהלכה. כדי שתוכל להבין יותר בגודל שלה את המשמעות של מטאורולוגיה, ראשית יש צורך להסביר כיצד זה עובד.
לביג דאטה יש את ליבת הפעולה שלה במה שמכונה 4 וולטים.
Volumen
משמעות הדבר היא כמות הנתונים. כל כמות הנתונים הזו שנאספה הוא מה שמכונה נפח. זה עשוי להשתנות בהתאם להחלה, לפעמים יש לנו הרבה נתונים ופעמים אחרות "פחות". כלומר, אנו יכולים לעבור מ -1.000 מיליון נתונים למספר טריליון, תלוי באילו מנותחים.
מהירות
כלומר, את קצב יצירת הנתונים. הם נובעים מהצורך ללכוד אותם, לאחסן ולעבד אותם. ככל שיש יותר לכידת נתונים, ככל שהם נשמרים מהר יותר, כך יש יותר ניתוח. למהירות יש חשיבות כפולה בתחזיות מזג האוויר, מכיוון שאירועים מתרחשים בזמן אמת ויש לעבד אותם בהקדם האפשרי.
מגוון
לפעמים יש פורמט של איך הנתונים מגיעים, ופעמים אחרות אחרים. לכל סוג נתונים יש סיווג משלו. בפעמים אחרות חלקם חסרים (ישנן טכניקות לתקן זאת, או שהשגיאות יהיו עצומות) ופעמים אחרות הן מגיעות אפילו בצורות וידאו. יש מסה שונה מאוד של נתונים, שבביג דאטה אחראית על ביצוע הזמנה, הגיון שיש לנתח היטב. לדוגמה, מדידות טמפרטורה ממד חום "אינן יכולות" להיות באותה אריזה כמו מדידות לווין מלפנים.
אֲמִתוּת
קשור לסוגריים של הנקודה הקודמת. המשמעות היא שהנתונים סוף סוף מגיעים נקיים, בלי דברים "מוזרים". צוותי ניהול ביג דאטה חייבים לקיים צוות חסר פניות המאומן לשמור על מבנה טוב. לתוצאות של אמת גרועה בנתונים יש השפעות שליליות מאוד. כדי לקבל מושג, זה היה כאילו קבוצת מכונאים סיימה את תיקון המכונית, והם שכחו לדפוק שני גלגלים.
דוגמה לאמיתות הנתונים
יש לנו רשומות רבות מאזורים רבים. בואו נדמיין שיש לנו טמפרטורות, רמות לחות, רוחות וכו '. אבל, יש לנו כשל, וחסרים לנו כמה רשומות טמפרטורה לאיזשהו אזור, מכל סיבה שהיא, ואנחנו לא יכולים לגשת לדעת איזו טמפרטורה נרשמה. יש לנו בסך הכל 30 נתונים, ושניים מהם, ללא טמפרטורה סוף סוף.
מה שאפשר לעשות, למשל, הוא לחשב את הטמפרטורה הממוצעת של אותם אזורים כדי לקבוע במדויק את הטמפרטורה האפשרית שניתן לסמוך עליה ברשומה החסרה, אך גם עם שוליים קטנים מאוד של טעות. הערכים הם חלקי חילוף, ואז ניתן ליישם את החישוב. אילו היו נתונים אלה חסרים, המחשבים לא היו מזהים אותם, יצירת חור שחור בנתונים, ותחזיות שגויות לחלוטין.
איך משיגים את זה?
במטאורולוגיה, כמו בכל תחום, הנתונים מגיעים בצורה של משתנים. כלומר, כל אחד מעובד באופן שהוא שייך. ולמרות שהכל נראה מפותל ומסובך מאוד, המשימה הופכת "קלה" עבור אנליסטים של Big Data. המשתנים שנוכל לתעד במטאורולוגיהלמרות שהם עדיין נתונים, הם עשויים להשתייך למשפחות שונות. כלומר, משתנה הוא כל הנתונים שניתן לסווג, אך הם לא תמיד זהים.
התמונה לעיל, המסופקת על ידי נאס"א, מראה את דוגמה לזרמים ברחבי כדור הארץ. במקרה של נאס"א, יש להם מספר רב של לוויינים המאפשרים להם לצפות ולמדוד תופעות ברחבי העולם בזמן אמת.
ביג דאטה יכול לקרוא כל עקבות שמשהו משאיר על משהו, וזה יכול להיחשב כנתונים. רבים כאשר הם חושבים על ביג דאטה, הם יחשבו במהירות מתי אנו משתמשים בטלפונים ניידים, גולשים באינטרנט, לוחצים על דף, קונים פריט באינטרנט או "אוהבים" אותו בפייסבוק. זה רק חלק "קטן" אך צפוף, כן, הוא מאוד אמין ומקודד היטב. אך בתורנו, אנו משאירים עקבות פיזיות / ווירטואליות, כגון מיקום ה- GPS של המקום בו אנו נמצאים, הודות לטלפונים ניידים. כאן אנחנו כבר מתחילים לערבב את העולם הווירטואלי עם זה הפיזי. וכמובן, תנועות פיזיות, קניות פיזיות, לפי גיל, מה שאנחנו בוחרים, כל זה בארכיון תמיד, וכמובן, זה יכול לתרגם לעוד ועוד נתונים.
משתנים יכולים להיות קטגוריים
משתנים קטגוריים הם אלה המייצגים ערכים מוגבלים או משתנים שאינם בהכרח פירושם גודל ספציפי. הם מייצגים את האיכות של משהו שהם מתארים. בעיקרון הייחודיות שלהם היא המגבלה של מה שהם מייצגים. ניתן לסווג אותם לשני תחומים.
משתנים קטגוריים נומינליים
הם אלה מייצגים דברים באותו שדה ללא קשר הגיוני כל אחד. לדוגמא: שם האזורים המציינים מהיכן הרשומות, כמו העיר, הקהילה האוטונומית, מיקוד וכו '.
משתנים קטגוריים רגילים
הם אלה יכול לייצג את גודל המשהו, כמו סולם דאגלס ברמת הגל, רמת הסולם איתו ניתן לסווג טורנדו לפי גודלם וכו '.
משתנים יכולים להיות מספריים
משתנים מספריים הם אלה ש מייצגים ערכים או משתנים בסדר גודל ויכולים להיות מדידים. הם מייצגים ערכים כמותיים. הייחוד שלהם הוא שהם יכולים לייצג מגוון גדול מאוד של מדידות בתופעות מטאורולוגיות. הם מסווגים בשתי דרכים
משתנים מספריים רציפים
משתנים רציפים הם אלה הם אחראים על מדידת משהו מבוסס. דוגמאות לכך יהיו מדד הלחות, הטמפרטורה, מהירות הרוח, כמות הגשמים וכו '.
משתנים מספריים בדידים
אלה הם אלה הם עוקבים אחר משהו מבוסס. כלומר, מספר הפעמים שירד גשם בשנה באזור, מספר הפעמים שירד שלג וכו '.
כל המשתנים מעובדים
לאחר סיווג כל המשתנים, הם מעובדים בזכות מחשבים, תמיד בפיקוח אנליסטים של ביג דאטה. עד לפני מספר שנים, כמות הנתונים שהייתה זמינה, למרות היותה מספר גדול מאוד, לא היו בעיות לניתוח על ידי מנתחי הנתונים. עם זאת, ניתוח ביג דאטה אחראי לניתוח הנתונים המסיביים הללו, היכן תהליכי הניתוח שהיו מקובלים עד היום יימשכו זמן רב (אנחנו אפילו מדברים על ימים) לתת תשובה. לא רק זאת, הביג דאטה יעילה ומדויקת יותר, על ידי "משחק" עם המשתנים ביניהם.
כל זה מקורו מה שהגבנו בעבר על 4 V של Big Data, השגת מהירות, אמינות ו- מודלים של מזג אוויר שנותנים תחזיות מדויקות להפליא בפרק זמן סופר קצר.
ביג דאטה כמשמעת מתחילה
דוגמה טובה תהיה לדבר על חברת ACCIONA, שיש לה מרכז בקרת אנרגיה מתחדשת (CECOER). זהו המרכז הגדול בעולם כאשר המטרה היא לספק פתרונות בזמן אמת, של מיליוני הנתונים שנאספים ממתקניו, ביומסה, רוח ואנרגיה סולארית. היא מייצרת כ -3000 לוחות זמנים שנתיים שלוקחים את כל הנתונים הללו כדי להתאים לביקוש הנדרש. יתרון נוסף של CECOER הוא קבלת אירועים שיש להם מהמתקנים שלהם, ולכן 50% מהם נפתרים מרחוק. 50% הנותרים קבועים פיזית על ידי המפעילים. בדרך זו, Acciona מקבל את האנרגיה המתחדשת שלה, יותר מלהיות אנרגיה חלופית, להיות פיתרון היום.
CECOER ACTION
עובדה חשובה נוספת לגבי ביג דאטה כיום היא המחסור במדעני נתונים. זה שדה מתחילוזה נקלע לסטנדרטים מסוימים מראש. האם ביג דאטה באמת יכולים לעזור כל כך הרבה באבולוציה של התחזיות, לדווח על יתרונות לחברות, להיות מסוגלים לצפות כל כך הרבה דברים ולהצדיק את העלות של ניתוח נתונים גדולים? כן. אבל זה משהו שנראה לאט לאט. הביקוש הגובר למדעני נתונים מקביל לתוצאות ועל ידי הבנת הצורך בהם בכל המקומות. נכון שיש כבר צוותים רבים של ביג דאטה שעובדים, עם תוצאות מרהיבות, אבל זה בדיוק המקום בו אנו מגלים שיש ביקוש גדול יותר. אנליסטים של ביג דאטה מבוקשים מאוד.
כתוצאה מכך, אנו חיים את המהפכה שהם מרמזים בהתפתחות, אבל מההתחלה. כמו כל ענף, אנו עדים כעת לפוטנציאל הטמון בו, אך הוא לא פותח עד תום, זה משהו שהזמן צפוי לנו. דבר אחד כבר ניכר, הפוטנציאל הנוכחי שלו, השני, עד כמה הוא יכול להגיע. התוצאות שלך לא ישאירו אותנו אדישים.
מפת הדגם של יבמ
חברת מזג האוויר של יבמ היא חברה פרטית ש מציע עד 26 מיליון תחזיות יומיות על מזג האוויר. יבמ מההתחלה בלטה, גם יחד עם גוגל, בהיותה אחת החברות החלוצות ביותר בתחום. חברת מזג האוויר מחויבת מאוד לעזור לאנשים לקבל החלטות מושכלות לגבי מזג האוויר. זו הרשת הגדולה בעולם של תחנות מזג אוויר אישיות. המותגים הגדולים בעולם בתחום התעופה, האנרגיה, הביטוח, התקשורת והממשל תלויים בחברת מזג האוויר עבור נתונים, פלטפורמות טכנולוגיות ושירותים.
נתונים גדולים נגד שינויי אקלים
הדופק העולמי של האו"ם, יוזמת ביג דאטה של האו"ם ותאגיד הדיגיטל המערבי, חתמו על ברית למאבק משותף נגד שינויי האקלים. פרויקט זה בהובלת האו"ם ו- Western Digital Corp., להפגיש מדענים לחדשנות דיגיטלית מרחבי העולם לתקוף את הבעיה בצורה יעילה יותר. ביניהם אנו מוצאים משתפי פעולה ממגזרים שונים מאוד ביניהם. BBVA, אורנג ', פלאנט, מעבדות פלומה, נילסן, שניידר אלקטריק, Waze ... הם חלק מאלה שמשתתפים בפרויקט זה.
אנו מוצאים גם את מרכז מחשוב העל של ברצלונה (BSC), זהו הדגם הרביעי בסדרת MareNostrum. מחשב-על לניתוח ביג דאטה המפתח בתחומים רבים, ביניהם הוא גם המאבק למען שינוי האקלים. הוא הופעל בסוף יוני 2017. זהו המחשב השלישי המהיר ביותר באירופה, הושקעה בה השקעה על התקנתה של 34 מיליון יורו על ידי משרד הכלכלה, התעשייה והתחרותיות של ספרד. קיבולת של 14 פטה-בייט, כלומר 14 מיליון ג'יגה-בייט. הוא מגיע ל- 11,1 Petaflops, כלומר לברבריות של 11.100 מיליארד פעולות בשנייה.
ביג דאטה בעתיד המטאורולוגיה ובחיינו
בעולם משתנה, בו השינויים הופכים למהירים יותר, ומפתיעים יותר ויותר, קשה לחזות את עתידו של משהו. מה שאנחנו יודעים בוודאות זה הביג דאטה הגיע להישאר, ושהתחזיות שנעשו על ידי אזורים מטאורולוגיים ואזורים אחרים משאירים אותנו מבולבלים. חלקם יישארו ספקניים, אחרים יכחישו את זה, אחרים יראו בזה משהו רחוק. אבל האמת היא שאנחנו כבר חיים עם זה.
היום אנו יודעים שביג דאטה צופים גשמים רבים, עונות הוריקן, ואפילו בדיוק רב את מספר המדליות בהן יכולה המדינה לזכות במשחקים האולימפיים. הוא גם צופה מי, היכן ומתי פשע יבוצע (אם מישהו ראה את הסרט "דו"ח מיעוט" הוא עלה בראשו, נכון?). נתונים גדולים נע במהירות לקראת צפייה בעתידם של אזורים רבים, וזה שאפילו אמזון מתחילה לצפות את זה, ולאחרונה היא החלה לבצע משלוחים עוד לפני שלקוחות מבצעים רכישות. העתיד היה עד היום, לעתים קרובות לא בטוח. אבל זה משתנה העתיד צפוי.
אנו יודעים שהפוטנציאל שלו יגדל. מי יודע, יכול להיות פריחה לצפות מי צופה (Big Data) משהו. אבל עם מספיק נתונים, האם ביג דאטה יצליחו לצפות את האקלים הגלובלי בציפייה עצומה? כן. בדיוק כפי שאתה יכול לצפות שפעולותינו יתנו תרחישים שונים לאלה שניתנו בעבר, מכיוון שלכל פעולה יש הד שלה בעתיד, ו- Big Data מכיר אותה ומעריך אותה מחדש, ונותן תרחיש חדש נוסף.
הכל יכול להיות צפוי. האם נצליח לדעת מה יעלה בגורלנו בעתיד הקרוב? עם אילו בעיות נתמודד? מתי ואיפה תיפתח הוריקן? מה יהיה לנו כדי להמשיך ולפתור את זה? ככל שהטכניקות משתפרות, מחשבים משתפרים ביעילות ובמהירות, תחום זה ממשיך להתפתח ... סביר להניח היא שבמקום לענות "מי יודע", אולי הדבר המתאים ביותר יהיה לומר "בואו נשאל ביג דאטה".
שותפי BA | עדכון וויליס | סיר