הייתי באירוע "הכל מה שקשור לנתונים וניתוחים" בשבוע שעבר. זה היה מדהים, רוב הבנקים הגדולים היו מיוצגים, גם הלוהטים ביותר מבין קרנות הגידור החמות, נתח של בורסות, וכמה ספקים לא רגילים.
מצאתי את זה מרענן, כמו רוב האירועים שבהם דנים בניתוח מוחשי. הקריירה המוקדמת שלי הייתה ממוקדת כמותית/מדע נתונים/ניתוח, אבל עכשיו אני בקטע, אהממ,
מקצוע "נתונים", המורכב ממערך מבלבל של מוצרים מסחריים (בעיקר) העומדים בבסיס תשתיות "מחסני נתונים", "אגמי נתונים" ו"רשת נתונים", "מארג נתונים", "ביצת נתונים", בהיקף של $ טריליוני הוצאות ושמירה על כמה ארגונים גדולים מאוד. אני אישית מוצא את השפה, הז'רגון והמערכת האקולוגית בתעשייה הזו מופשטים מהמציאות, אבל זה עוזר לקיים ספקים מסחריים עם מוצרים וקטגוריות עם שם יפה. עקוב אחר הכסף, כמו שאומרים: פלטפורמת נתונים "מורכבת" נושאת כרטיס מחיר גבוה בהרבה מכלי דוגמנות שכל תלמיד MSC יכול להשתמש בו.
תעשיית הנתונים היוותה רקע לאירוע הפרגמטי המאוד, אבל נדונה, בהנאה ובאופן מפורש, בפאנל על מה שנקרא "שושלת נתונים." שושלת נתונים היא בעיקר תהליך ליניארי רציף אשר לוכד את השינוי בנתונים מכניסה לניצול ועוזר לבסס את מה שנקרא ממשל נתונים המניע הרבה מאוד כלי עבודה יקרים במחסן. בעידן הענן, מחסני נתונים בענן הם כל הזעם, אחד במיוחד. אבל הנה העניין. טרנספורמציה של נתונים למעשה אינה ליניארית, במיוחד כאשר היא שימושית. זה מורכב, מחזורי, משתנה כמו דוקטור הו והטרדיס, נוסע בזמן ובגלקסיות. פסאודו-פילוסופיה ופיזיקה פופולרית מלבד, במימון אותם נתונים, כשהם מעובדים, משתנים ומנתחים, יכולים לשרת מקרי שימוש רבים ושונים, גם על פני זמן ומקום. יתר על כן, הרגולטורים מבקשים מאיתנו לתעד שינויים, תוך שקיפות לגבי מה עשינו מתי, למה ומה השתנה. אתה יכול לומר, "זה ממשל נתונים שהם מבקשים". סוג של. אבל הרגולטורים בעצם מבקשים דיווח על החלטות בר-פעולה הדורשות מודלים, מעורבות וכתוצאה מכך פעולות בעלות השפעה. זה כולל אנשים, החלטות ומקרי שימוש מוחשיים, לא רק נתונים.
הפאנל הציג ודן בהרחבה את המושג של דו זמניות, טקטיקה מעשית לניהול נתונים המשרתת מקרי שימוש פיננסיים ותהליכי רגולציה בצורה יפה. חבר פאנל אחד מבנק (מאוד) מוסדר בשכבה 1 שיבח את הדו-זמניות בקול רם. הארכיטקטורה שלו השתמשה בדו-זמניות כדי להתאים את הזמן ולשנות שינויים בנתונים. נניח שאתה רוצה לשחזר דוח פיננסי ישן או סחר בנגזרים כפי שהוא נראה בזמן היצירה, ולאחר מכן כפי שהיה צריך להיראות בהינתן תיקונים/תוספות/תשלומים מאוחרים יותר, למשל בדוח ציות. עם דו-זמני במקרה שלו, מקור נתונים יחיד מודיע למספר צפיות (מתוקפות) של נתונים, מתי זה קרה ומאוחר יותר, עם "חכמה". זה פשוט ליישום, לא יקר, והנה מה שאתה צריך לדעת על זה.
- מודל נתונים צריך לאחסן ולהקל על ניתוח נתונים על פני שני מימדים של זמן - מודל נתונים דו-זמני, כלומר, מודל המספק נתונים בתחילת הדרך ובכל נקודת זמן עתידית שבה מתרחשות תיקונים למצבם וניתן לייצג אותם "כפי -של" זמן נתון.
- מודל זה מאחסן יותר מחותמת זמן אחת עבור כל מאפיין, אובייקט וערך.
- ניתן לחבר ולחבר נקודות נתונים - הצטרפות "נכון ליום".
בארכיטקטורה מסורתית מסוג מחסני נתונים, שושלת כזו יכולה להיות עותקי נתונים יקרים, וחוסר יעילות ומורכבות של אחזור בטרם עת. זוהי דרך אחת שספקי מחסני נתונים בענן מרוויחים כסף, עותקים מרובים של נתונים מנוהלים, גישה בוטה.
חלופה פשוטה היא רק דפוסי נתונים פשוטים עם תהליך אחסון/זיכרון תומך. זה יכול וצריך להיות זול, במרכז פייתון. כל שעליך לעשות הוא להשתמש בחותמות זמן (עם הנתונים שלך) ובהצטרפות (בקוד) כדי להפוך את התהליך לפשוט, עם יכולת לצלול עמוק לתוך רשומות בודדות לפי הצורך.
כדי לחסוך בעלויות במחסן הנתונים שלך, אם כן, הנדס עם איזה Python פשוט, תוך שימת לב לביצועים בזיכרון. יש פחות צורך להנדס בתוך תהליך יקר של מחסן נתונים.
איפה אתה משתמש בדו-זמניות בפיננסים? ובכן, ציות הוא מקרה ברור. קח לדוגמא
זיופים. כעת, זיוף הוא בלב דפוס כוונות סחר, אם כי דפוס הונאה שבו סוגים מסוימים של עסקאות ממוקמים אך לא מבצעים אותם. הסיבה לזיופים של צלילה עמוקה היא בעיקר ציות, אבל הדפוס של עסקאות צלילה עמוקות, מוצלחות, לא מוצלחות, הונאה או פשוט נהדרות, מועיל גם למשרד הפנים. זה בתורו מודיע על בדיקות חוזרות ופיתוח אסטרטגיה, שיכולים גם לכלול מושגי זמן. הסיבה לכך היא שאסטרטגיות, כשהן נכנסות למערכות מסחר בייצור, סיכונים או ניהול תיקים, יודעות רק מה עומד לפניהן, אבל המבחן האחורי יכול לנסות ולשלב הנחות ידועות כדי להפחית סיכונים. דוגמאות כוללות השוואת עלויות עסקה לטווח קצר בניגוד לאומדן, השוואת מתאמים אמיתיים וצפויים בין צמדים לטווח קצר, תמורה לטווח בינוני עבור, למשל, נגזרים ומכשירי הכנסה קבועה, דיבידנדים במניות, מתאמי מניות/מגזר בניהול תיקים, וכן משטרי שוק/סיכון "מאקרו" לטווח ארוך יותר האהובים על כלכלנים. הזמן - והדו-זמני - חשובים. מקרי השימוש שהושפעו הופכים את הטכניקה ליותר ערך מאשר להיות רק תמרון פשוט של הנדסת נתונים.
מעבר לשוקי ההון, קחו בחשבון תשלומים. לדוגמה, פעולות במכשיר תשלום ידווחו על עסקאות באופן מרכזי. מה שידוע בנקודת העסקה מתעדכן אז במידע, למשל זה של הלקוח. גילוי הונאה הוא מקרה שימוש ברור לכך, וזה צריך להיות בזמן. נתוני תשלום חכמים מעובדים בנקודת זמן, אך מותאמים כדי לשפר את איכות הנתונים ולהודיע על אירועים במורד הזרם. השימוש במודל נתונים דו-זמני על נתוני המאסטר וסדרות הזמן מסייע בניהול פעילויות נקודת זמן.
לסיכום, מה שעלול להיות טרנספורמציה ליניארית של מחסן-שושלת "בשליטה גבוהה" יקרה, ניתן לפשט בעזרת כמה ניתוחים הגיוניים והזדהות עם מקרי שימוש בעולם האמיתי. דו-זמני שווה לראות.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://www.finextra.com/blogposting/25203/bitemporality-helping-lower-costs-for-financial-services-use-cases?utm_medium=rssfinextra&utm_source=finextrablogs
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- a
- יכולת
- אודות
- בנוגע לזה
- לרוחב
- ניתן לפעולה
- פעולות
- פעילויות
- למעשה
- מותאם
- תעשיות
- גם
- חלופה
- an
- אנליזה
- ניתוח
- מְנוּתָח
- ו
- צפוי
- כל
- גישה
- ארכיטקטורה
- ARE
- מערך
- AS
- בצד
- לשאול
- לשאול
- הנחות
- At
- תשומת לב
- רקע
- בנק
- בנקים
- BE
- יפה
- כי
- להיות
- אָהוּב
- הטבות
- אבל
- by
- CAN
- הון
- שוקי הון
- לוכדת
- קריירה
- מקרה
- מקרים
- קטגוריות
- קייטרינג
- שינוי
- השתנה
- שינויים
- זול
- ענן
- קוד
- מסחרי
- לְהַשְׁווֹת
- השוואה
- מורכב
- מורכבות
- הענות
- מושג
- מסקנה
- מבלבל
- מחובר
- לשקול
- קורלציות
- יקר
- עלויות
- יצירה
- לקוח
- מחזורי
- נתונים
- ניהול נתונים
- פלטפורמת נתונים
- החלטות
- עמוק
- נגזרים
- איתור
- צעצועי התפתחות
- מכשיר
- DID
- אחר
- ממדים
- נָדוֹן
- דיון
- צלילה
- דיבידנדים
- צלילה
- do
- דוֹקטוֹר
- מסמך
- כוננים
- e
- כל אחד
- מוקדם
- כלכלנים
- המערכת האקולוגית
- אמפתיה
- התעסקות
- מהנדס
- הנדסה
- מניות
- תקופה
- מוערך
- אירוע
- אירועים
- דוגמה
- דוגמאות
- בורסות
- יקר
- בִּמְפוּרָשׁ
- בד
- לְהַקֵל
- לממן
- כספי
- דוח כספי
- שירותים פיננסיים
- פינקסטרה
- קבוע
- הכנסה קבועה
- לעקוב
- בעקבות
- בעד
- מצא
- הונאה
- גילוי הונאה
- רמאי
- החל מ-
- חזית
- כספים
- יתר על כן
- עתיד
- גלקסיות
- נתן
- Go
- קבל
- ממשל
- גדול
- קרה
- יש
- לֵב
- גָדֵר חַיָה
- קרנות גידור
- עזרה
- עוזר
- גבוה יותר
- שֶׁלוֹ
- חַם
- החם ביותר
- HTML
- HTTPS
- i
- פְּגִיעָה
- מושפעים
- ליישם
- לשפר
- in
- הַתחָלָה
- לכלול
- הַכנָסָה
- בע"מ
- בנפרד
- תעשייה
- חוסר יעילות
- לְהוֹדִיעַ
- מידע
- מודיע
- תשתית
- בתוך
- מכשירים
- כוונה
- אל תוך
- הציג
- IT
- שֶׁלָה
- בז'רגון
- הצטרף
- מצטרף
- רק
- סוג
- לדעת
- ידוע
- אגמים
- שפה
- גָדוֹל
- אחרון
- מאוחר יותר
- פחות
- כמו
- יוּחֲסִין
- עוד
- נראה
- נראה
- מגרש
- להוריד
- עשוי
- גדול
- לעשות
- לעשות כסף
- לנהל
- הצליח
- ניהול
- רב
- שוקי
- אב
- עניינים
- אומר
- בינוני
- רשת
- יכול
- להקל
- מודל
- דוּגמָנוּת
- מודלים
- כסף
- יותר
- רוב
- בעיקר
- הרבה
- מספר
- my
- שם
- צורך
- נחוץ
- צרכי
- עַכשָׁיו
- אובייקט
- ברור
- of
- Office
- זקן
- on
- ONE
- יחידות
- רק
- מִתנַגֵד
- or
- ארגונים
- זוגות
- לוח
- דיון רב - משתתפים
- מסוים
- במיוחד
- תבנית
- דפוסי
- משלם
- תשלום
- תשלומים
- אֲנָשִׁים
- ביצועים
- אישית
- פיסיקה
- מקום
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- נקודה
- נקודות
- פופולרי
- תיק עבודות
- ניהול תיקים
- פוטנציאל
- מעשי
- פרגמטי
- מהלל
- בעיקר
- מחיר
- בראש ובראשונה
- תהליך
- מעובד
- תהליכים
- הפקה
- מוצרים
- מקצוע
- רכוש
- ספקים
- פיתון
- איכות
- כמו
- זעם
- ממשי
- עולם אמיתי
- מציאות
- טעם
- רשום
- משטרים
- מוסדר
- רגולטורים
- רגולטורים
- לדווח
- דווח
- מיוצג
- לדרוש
- וכתוצאה מכך
- תיקונים
- הסיכון
- סיכונים
- אותו
- שמור
- לומר
- לשרת
- שירותים
- קצר
- צריך
- פָּשׁוּט
- פשוט
- בפשטות
- יחיד
- חכם
- כמה
- מָקוֹר
- מדינה
- חנות
- חנויות
- פשוט
- אסטרטגיות
- אִסטרָטֶגִיָה
- סטודנט
- מוצלח
- כזה
- מסייע
- מערכות
- לקחת
- מוחשי
- טכניקה
- טווח
- מֵאֲשֶׁר
- זֶה
- השמיים
- אותם
- אז
- הֵם
- דבר
- דברים
- זֶה
- דרך
- כרטיס
- נִדבָּך
- זמן
- אקטואלי
- חותם
- ל
- גַם
- כלי
- סחר
- עסקות
- מסחר
- מסורתי
- עסקה
- עלויות העברה
- עסקות
- טרנספורמציה
- טרנספורמציה
- שָׁקוּף
- לנסות
- תור
- שתיים
- סוג
- סוגים
- לְחַזֵק
- מְעוּדכָּן
- us
- להשתמש
- במקרה להשתמש
- מקרים לשימוש
- מְשׁוּמָשׁ
- תוקף
- בעל ערך
- ערך
- ספקים
- מאוד
- נופים
- רוצה
- היה
- דֶרֶך..
- we
- שבוע
- טוֹב
- היו
- מה
- מה
- מתי
- אשר
- מי
- למה
- ויקיפדיה
- יצטרך
- עם
- עוֹלָם
- ראוי
- אתה
- זפירנט