דו-זמני, עוזר להוזיל עלויות עבור מקרי שימוש בשירותים פיננסיים

הייתי באירוע "הכל מה שקשור לנתונים וניתוחים" בשבוע שעבר. זה היה מדהים, רוב הבנקים הגדולים היו מיוצגים, גם הלוהטים ביותר מבין קרנות הגידור החמות, נתח של בורסות, וכמה ספקים לא רגילים.

מצאתי את זה מרענן, כמו רוב האירועים שבהם דנים בניתוח מוחשי. הקריירה המוקדמת שלי הייתה ממוקדת כמותית/מדע נתונים/ניתוח, אבל עכשיו אני בקטע, אהממ,
מקצוע "נתונים", המורכב ממערך מבלבל של מוצרים מסחריים (בעיקר) העומדים בבסיס תשתיות "מחסני נתונים", "אגמי נתונים" ו"רשת נתונים", "מארג נתונים", "ביצת נתונים", בהיקף של $ טריליוני הוצאות ושמירה על כמה ארגונים גדולים מאוד. אני אישית מוצא את השפה, הז'רגון והמערכת האקולוגית בתעשייה הזו מופשטים מהמציאות, אבל זה עוזר לקיים ספקים מסחריים עם מוצרים וקטגוריות עם שם יפה. עקוב אחר הכסף, כמו שאומרים: פלטפורמת נתונים "מורכבת" נושאת כרטיס מחיר גבוה בהרבה מכלי דוגמנות שכל תלמיד MSC יכול להשתמש בו.

תעשיית הנתונים היוותה רקע לאירוע הפרגמטי המאוד, אבל נדונה, בהנאה ובאופן מפורש, בפאנל על מה שנקרא "שושלת נתונים." שושלת נתונים היא בעיקר תהליך ליניארי רציף אשר לוכד את השינוי בנתונים מכניסה לניצול ועוזר לבסס את מה שנקרא ממשל נתונים המניע הרבה מאוד כלי עבודה יקרים במחסן. בעידן הענן, מחסני נתונים בענן הם כל הזעם, אחד במיוחד. אבל הנה העניין. טרנספורמציה של נתונים למעשה אינה ליניארית, במיוחד כאשר היא שימושית. זה מורכב, מחזורי, משתנה כמו דוקטור הו והטרדיס, נוסע בזמן ובגלקסיות. פסאודו-פילוסופיה ופיזיקה פופולרית מלבד, במימון אותם נתונים, כשהם מעובדים, משתנים ומנתחים, יכולים לשרת מקרי שימוש רבים ושונים, גם על פני זמן ומקום. יתר על כן, הרגולטורים מבקשים מאיתנו לתעד שינויים, תוך שקיפות לגבי מה עשינו מתי, למה ומה השתנה. אתה יכול לומר, "זה ממשל נתונים שהם מבקשים". סוג של. אבל הרגולטורים בעצם מבקשים דיווח על החלטות בר-פעולה הדורשות מודלים, מעורבות וכתוצאה מכך פעולות בעלות השפעה. זה כולל אנשים, החלטות ומקרי שימוש מוחשיים, לא רק נתונים.

הפאנל הציג ודן בהרחבה את המושג של דו זמניות, טקטיקה מעשית לניהול נתונים המשרתת מקרי שימוש פיננסיים ותהליכי רגולציה בצורה יפה. חבר פאנל אחד מבנק (מאוד) מוסדר בשכבה 1 שיבח את הדו-זמניות בקול רם. הארכיטקטורה שלו השתמשה בדו-זמניות כדי להתאים את הזמן ולשנות שינויים בנתונים. נניח שאתה רוצה לשחזר דוח פיננסי ישן או סחר בנגזרים כפי שהוא נראה בזמן היצירה, ולאחר מכן כפי שהיה צריך להיראות בהינתן תיקונים/תוספות/תשלומים מאוחרים יותר, למשל בדוח ציות. עם דו-זמני במקרה שלו, מקור נתונים יחיד מודיע למספר צפיות (מתוקפות) של נתונים, מתי זה קרה ומאוחר יותר, עם "חכמה". זה פשוט ליישום, לא יקר, והנה מה שאתה צריך לדעת על זה.

• מודל נתונים צריך לאחסן ולהקל על ניתוח נתונים על פני שני מימדים של זמן - מודל נתונים דו-זמני, כלומר, מודל המספק נתונים בתחילת הדרך ובכל נקודת זמן עתידית שבה מתרחשות תיקונים למצבם וניתן לייצג אותם "כפי -של" זמן נתון. 
• מודל זה מאחסן יותר מחותמת זמן אחת עבור כל מאפיין, אובייקט וערך.
• ניתן לחבר ולחבר נקודות נתונים - הצטרפות "נכון ליום". 

בארכיטקטורה מסורתית מסוג מחסני נתונים, שושלת כזו יכולה להיות עותקי נתונים יקרים, וחוסר יעילות ומורכבות של אחזור בטרם עת. זוהי דרך אחת שספקי מחסני נתונים בענן מרוויחים כסף, עותקים מרובים של נתונים מנוהלים, גישה בוטה.

חלופה פשוטה היא רק דפוסי נתונים פשוטים עם תהליך אחסון/זיכרון תומך. זה יכול וצריך להיות זול, במרכז פייתון. כל שעליך לעשות הוא להשתמש בחותמות זמן (עם הנתונים שלך) ובהצטרפות (בקוד) כדי להפוך את התהליך לפשוט, עם יכולת לצלול עמוק לתוך רשומות בודדות לפי הצורך.

כדי לחסוך בעלויות במחסן הנתונים שלך, אם כן, הנדס עם איזה Python פשוט, תוך שימת לב לביצועים בזיכרון. יש פחות צורך להנדס בתוך תהליך יקר של מחסן נתונים.

איפה אתה משתמש בדו-זמניות בפיננסים? ובכן, ציות הוא מקרה ברור. קח לדוגמא

זיופים. כעת, זיוף הוא בלב דפוס כוונות סחר, אם כי דפוס הונאה שבו סוגים מסוימים של עסקאות ממוקמים אך לא מבצעים אותם. הסיבה לזיופים של צלילה עמוקה היא בעיקר ציות, אבל הדפוס של עסקאות צלילה עמוקות, מוצלחות, לא מוצלחות, הונאה או פשוט נהדרות, מועיל גם למשרד הפנים. זה בתורו מודיע על בדיקות חוזרות ופיתוח אסטרטגיה, שיכולים גם לכלול מושגי זמן. הסיבה לכך היא שאסטרטגיות, כשהן נכנסות למערכות מסחר בייצור, סיכונים או ניהול תיקים, יודעות רק מה עומד לפניהן, אבל המבחן האחורי יכול לנסות ולשלב הנחות ידועות כדי להפחית סיכונים. דוגמאות כוללות השוואת עלויות עסקה לטווח קצר בניגוד לאומדן, השוואת מתאמים אמיתיים וצפויים בין צמדים לטווח קצר, תמורה לטווח בינוני עבור, למשל, נגזרים ומכשירי הכנסה קבועה, דיבידנדים במניות, מתאמי מניות/מגזר בניהול תיקים, וכן משטרי שוק/סיכון "מאקרו" לטווח ארוך יותר האהובים על כלכלנים. הזמן - והדו-זמני - חשובים. מקרי השימוש שהושפעו הופכים את הטכניקה ליותר ערך מאשר להיות רק תמרון פשוט של הנדסת נתונים.

מעבר לשוקי ההון, קחו בחשבון תשלומים. לדוגמה, פעולות במכשיר תשלום ידווחו על עסקאות באופן מרכזי. מה שידוע בנקודת העסקה מתעדכן אז במידע, למשל זה של הלקוח. גילוי הונאה הוא מקרה שימוש ברור לכך, וזה צריך להיות בזמן. נתוני תשלום חכמים מעובדים בנקודת זמן, אך מותאמים כדי לשפר את איכות הנתונים ולהודיע ​​על אירועים במורד הזרם. השימוש במודל נתונים דו-זמני על נתוני המאסטר וסדרות הזמן מסייע בניהול פעילויות נקודת זמן.

לסיכום, מה שעלול להיות טרנספורמציה ליניארית של מחסן-שושלת "בשליטה גבוהה" יקרה, ניתן לפשט בעזרת כמה ניתוחים הגיוניים והזדהות עם מקרי שימוש בעולם האמיתי. דו-זמני שווה לראות.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://www.finextra.com/blogposting/25203/bitemporality-helping-lower-costs-for-financial-services-use-cases?utm_medium=rssfinextra&utm_source=finextrablogs