ترانسفورماتور فیوژن زمانی: پیش بینی سری های زمانی با یادگیری عمیق - آموزش کامل

پیش بینی های دقیق و قابل تفسیر ایجاد کنید

با توجه به [2]، ترانسفورماتور فیوژن زمانی از همه مدل های برجسته یادگیری عمیق برای پیش بینی سری های زمانی بهتر عمل می کند.

از جمله برجسته درخت تقویت کننده گرادیان مدل برای داده های سری زمانی جدولی

اما چیست ترانسفورماتور فیوژن زمانی (TFT)[3] و چرا اینقدر جالب است؟

در این مقاله به اختصار به توضیح موارد جدید می پردازیم ترانسفورماتور فیوژن زمانی و ساخت یک پروژه انتها به انتها بر روی پیش بینی تقاضای انرژی. به طور خاص پوشش خواهیم داد:

• چگونه داده های خود را برای فرمت TFT آماده کنیم.
• نحوه ساخت، آموزش و ارزیابی مدل TFT.
• نحوه دریافت پیش‌بینی در مورد داده‌های اعتبارسنجی و پیش‌بینی‌های خارج از نمونه.
• نحوه محاسبه اهمیت ویژگی ها, الگوهای فصلی، و استحکام رویدادهای شدید با استفاده از مدل های داخلی توجه قابل تفسیر مکانیسم

بیایید سوار شویم

برای تجزیه و تحلیل عمیق معماری ترانسفورماتور فیوژن زمانی، قبلی من را بررسی کنید مقاله.

Tدورانی Fسو us استفاده Tمباشر (TFT) یک مدل مبتنی بر ترانسفورماتور است که از توجه به خود برای ثبت پویایی های زمانی پیچیده توالی های زمانی متعدد استفاده می کند.

TFT پشتیبانی می کند:

• چند سری زمانی: ما می توانیم یک مدل TFT را بر روی هزاران سری زمانی تک متغیره یا چند متغیره آموزش دهیم.
• پیش بینی چند افق: این مدل پیش‌بینی‌های چند مرحله‌ای یک یا چند متغیر هدف - از جمله فواصل پیش‌بینی را به‌دست می‌آورد.
• ویژگی های ناهمگون: TFT از انواع مختلفی از ویژگی ها، از جمله متغیرهای برونزای متغیر زمانی و استاتیک پشتیبانی می کند.
• پیش بینی های قابل تفسیر: پیش بینی ها را می توان بر حسب اهمیت متغیر و فصلی تفسیر کرد.

یکی از آن صفات منحصر به فرد است ترانسفورماتور فیوژن زمانی. در بخش بعدی به این موضوع خواهیم پرداخت.

در میان مدل های سری زمانی DL قابل توجه (به عنوان مثال، DeepAR[4])، TFT متمایز است زیرا از انواع مختلفی از ویژگی ها پشتیبانی می کند. اینها هستند:

• متغیر با زمان شناخته شده
• متغیر با زمان ناشناخته
• تغییرناپذیر زمان واقعی
• تغییرناپذیر زمان طبقه ای

به عنوان مثال، تصور کنید یک داریم مورد پیش بینی فروش:

فرض کنید باید فروش 3 محصول را پیش بینی کنیم. این num sales متغیر هدف است. این CPI index یا number of visitors هستند ناشناخته با زمان متغیر ویژگی ها زیرا آنها فقط تا زمان پیش بینی شناخته شده اند. با این حال، holidaysو special days هستند با زمان متفاوت شناخته شده است مناسبت ها.

La product id is یک مقوله ثابت زمان (ایستا). ویژگی. ویژگی های دیگری که عددی هستند و وابسته به زمان نیستند مانند yearly_revenue را می توان به عنوان دسته بندی کرد زمان ثابت واقعی.

قبل از رفتن به پروژه خود، ابتدا یک آموزش کوچک در مورد نحوه تبدیل داده های خود به پروژه را نشان خواهیم داد قالب سری زمانی توسعه یافته.

توجه داشته باشید: تمام تصاویر و شکل های این مقاله توسط نویسنده ایجاد شده است.

برای این آموزش، ما از TemporalFusionTransformer مدل از پیش بینی PyTorch کتابخانه و PyTorch Lightning:

pip install torch pytorch-lightning pytorch_forecasting

کل فرآیند شامل 3 چیز است:

1. با داده های سری زمانی ما یک چارچوب داده پاندا ایجاد کنید.
2. دیتافریم خود را به شکل یک بپیچید TimeSeriesDataset نمونه.
3. ما را پاس کن TimeSeriesDataset نمونه به TemporalFusionTransformer.

La TimeSeriesDataset بسیار مفید است زیرا به ما کمک می کند مشخص کنیم که آیا ویژگی ها با زمان متغیر هستند یا ثابت. به علاوه، این تنها قالبی است که TemporalFusionTransformer قبول می کند

بیایید یک مجموعه داده آموزشی حداقل ایجاد کنیم تا نشان دهیم چگونه TimeSeriesDataset این نسخهها کار میکند:

ما باید داده های خود را به روش زیر قالب بندی کنیم: هر کادر رنگی نشان دهنده یک سری زمانی متفاوت است که با آن نشان داده می شود group ارزش.

مهمترین ستون دیتافریم ما عبارت است از time_idx - توالی نمونه ها را تعیین می کند. اگر مشاهدات گم نشده ای وجود نداشته باشد، مقادیر باید افزایش یابد +1 برای هر سری زمانی

در مرحله بعد، ما دیتافریم خود را به شکل یک قرار می دهیم TimeSeriesDataset نمونه، مثال:

همه استدلال ها خود توضیحی هستند: The max_encoder_length دوره بازگشت را تعریف می کند و max_prediction_length مشخص می کند که چه تعداد نقطه داده پیش بینی می شود. در مورد ما، برای خروجی 3 پیش بینی، به 2 مرحله زمانی در گذشته نگاه می کنیم.

La TimeSeriesDataset نمونه در حال حاضر به عنوان یک Dataloader عمل می کند. بیایید یک دسته چاپ کنیم و بررسی کنیم که چگونه داده های ما به TFT منتقل می شود:

این دسته حاوی مقادیر آموزشی است [0,1] از اولین سریال زمانی (group 0) و مقادیر تست[2,3,4]. اگر این کد را دوباره اجرا کنید، مقادیر متفاوتی دریافت خواهید کرد زیرا داده ها به طور پیش فرض به هم ریخته می شوند.

پروژه ما از نمودارهای بار الکتریکی 20112014 [5] مجموعه داده از UCI. دفترچه یادداشت این مثال را می توان از اینجا دانلود کرد اینجا کلیک نمایید:

این مجموعه داده شامل مصرف برق (بر حسب KWs) 370 مشتری/مصرف کننده با فرکانس 15 دقیقه است. داده ها 4 سال (2011-2014) است.

برخی از مصرف کنندگان پس از سال 2011 ایجاد شدند، بنابراین مصرف برق آنها در ابتدا صفر است.

ما پیش پردازش داده ها را مطابق با آن انجام می دهیم [3]:

• متغیر هدف ما را جمع آوری کنیم power_usage ساعت
• زودترین تاریخ را برای هر سری زمانی که توان آن غیر صفر است پیدا کنید.
• ایجاد ویژگی های جدید: month, day, hour و day_of_week.
• همه روزهای بین را انتخاب کنید 2014–01–01 و 2014–09–07.

بیا شروع کنیم:

دانلود داده ها

دستور wget https://archive.ics.uci.edu/ml/machine-learning-databases/00321/LD2011_2014.txt.zip
از حالت فشرده خارج کنید LD2011_2014.txt.zip

پردازش داده ها

هر ستون نشان دهنده یک مصرف کننده است. ابتدایی ترین power_usage مقادیر 0 هستند.

در مرحله بعد، داده های ساعتی را جمع می کنیم. به دلیل اندازه و پیچیدگی مدل، ما مدل خود را فقط بر روی 5 مصرف کننده (برای کسانی که مقادیر غیر صفر دارند) آموزش می دهیم.

اکنون، مجموعه داده خود را برای TimeSeriesDataset قالب توجه داشته باشید که هر ستون نشان دهنده یک سری زمانی متفاوت است. از این رو، ما چارچوب داده خود را ذوب می کنیم، به طوری که تمام سری های زمانی به جای افقی، به صورت عمودی روی هم قرار می گیرند. در این فرآیند، ما ویژگی های جدید خود را ایجاد می کنیم.

فریم داده از پیش پردازش شده نهایی نامیده می شود time_df. بیایید محتوای آن را چاپ کنیم:

La time_df اکنون در قالب مناسب برای TimeSeriesDataset. همانطور که تا به حال حدس زده اید، از آنجایی که دانه بندی ساعتی است، hours_from_start متغیر خواهد بود شاخص زمان

تجزیه و تحلیل داده های اکتشافی

انتخاب 5 مصرف کننده/سری زمانی تصادفی نیست. این power usage هر سری زمانی دارای ویژگی های متفاوتی است، مانند مقدار میانگین:

time_df[['consumer_id','power_usage']].groupby('consumer_id').mean()

بیایید ماه اول هر سری زمانی را ترسیم کنیم:

روند قابل توجهی وجود ندارد، اما هر سری زمانی دارای فصلی و دامنه کمی متفاوت است. ما می‌توانیم بیشتر آزمایش کنیم و ثابت بودن، تجزیه سیگنال‌ها و غیره را بررسی کنیم، اما در مورد ما، فقط بر جنبه ساخت مدل تمرکز می‌کنیم.

همچنین توجه داشته باشید که سایر روش های پیش بینی سری زمانی مانند آریما باید چند مورد از الزامات را برآورده کند (مثلاً، سری های زمانی ابتدا باید ثابت شوند.) با TFT، می توانیم داده های خود را همانطور که هست رها کنیم.

ایجاد DataLoader

در این مرحله از ما عبور می کنیم time_df به TimeSeriesDataSet قالبی که بسیار مفید است زیرا:

• این ما را از نوشتن Dataloader خود باز می دارد.
• ما می توانیم مشخص کنیم که TFT چگونه ویژگی های مجموعه داده را مدیریت می کند.
• ما می توانیم مجموعه داده های خود را به راحتی عادی سازی کنیم. در مورد ما، نرمال سازی اجباری است زیرا تمام توالی های زمانی از نظر بزرگی متفاوت هستند. بنابراین، ما از GroupNormalizer برای عادی سازی هر سری زمانی به صورت جداگانه.

مدل ما از یک پنجره بازبینی یک هفته ای (7*24) برای پیش بینی مصرف برق 24 ساعت آینده استفاده می کند.

همچنین توجه داشته باشید که hours_from_start هم شاخص زمان و هم یک ویژگی متغیر با زمان است. این power_usage متغیر هدف ما است. برای نمایش، مجموعه اعتبارسنجی ما آخرین روز است:

مدل پایه

مرحله بعد، مرحله ای که تقریباً همه فراموش می کنند: یک مدل پایه. به خصوص در پیش‌بینی سری‌های زمانی، شگفت‌زده خواهید شد که چگونه یک پیش‌بینی‌کننده ساده‌لوح حتی از یک مدل جذاب‌تر هم بهتر عمل می‌کند!

به عنوان یک پایه ساده، منحنی مصرف برق روز قبل را پیش‌بینی می‌کنیم:

آموزش مدل ترانسفورماتور فیوژن زمانی

ما می توانیم مدل TFT خود را با استفاده از موارد آشنا آموزش دهیم مربی رابط کاربری PyTorch Lightning.

به موارد زیر توجه کنید:

• ما با استفاده از توقف زودهنگام برای نظارت بر از دست دادن اعتبارسنجی.
• استفاده می کنیم تانسوربرد برای ثبت معیارهای آموزشی و اعتبارسنجی ما.
• مدل ما استفاده می کند از دست دادن کوانتیل - نوع خاصی از ضرر که به ما کمک می کند فواصل پیش بینی را خروجی کنیم. برای اطلاعات بیشتر در مورد تابع Quantile Loss، این مقاله را بررسی کنید.
• ما از 4 استفاده می کنیم سرهای توجهمانند کاغذ اصلی.

ما اکنون آماده ساخت و آموزش مدل خود هستیم:

خودشه! پس از 6 دوره، EarlyStopping شروع می شود و تمرین را متوقف می کند.

بهترین مدل را بارگیری و ذخیره کنید

فراموش نکنید که مدل خود را ذخیره کنید. اگرچه می‌توانیم آن را ترشی کنیم، اما مطمئن‌ترین گزینه این است که مستقیماً بهترین دوره را ذخیره کنیم:

!zip -r model.zip lightning_logs/lightning_logs/version_1/*

برای بارگذاری مجدد مدل، از حالت فشرده خارج کنید model.zip و موارد زیر را اجرا کنید - فقط بهترین مسیر مدل را به خاطر بسپارید:

Tensorboard را بررسی کنید

نگاهی دقیق تر به آموزش و منحنی های اعتبار سنجی با Tensorboard:

ارزیابی مدل

پیش‌بینی‌های مجموعه اعتبارسنجی را دریافت کنید و میانگین را محاسبه کنید P50 (میانگین چندکی) خاموش:

2 سری زمانی آخر کمی تلفات بیشتری دارند زیرا بزرگی نسبی آنها نیز زیاد است.

پیش‌بینی نمودار روی داده‌های اعتبارسنجی

اگر عبور کنیم mode=raw در پیش بینی() روش، اطلاعات بیشتری از جمله پیش‌بینی‌های هر هفت چندک به دست می‌آوریم. ما همچنین به مقادیر توجه دسترسی داریم (در ادامه در مورد آن بیشتر توضیح خواهیم داد).

نگاهی دقیق تر به raw_predictions متغیر:

ما با استفاده از plot_prediction() برای ایجاد توطئه های ما البته، شما می توانید طرح سفارشی خود را بسازید plot_prediction() دارای مزیت اضافی افزودن ارزش های توجه است.

توجه داشته باشید: مدل ما 24 نقطه داده بعدی را پیش بینی می کند در یک حرکت. این یک سناریوی پیش‌بینی متحرک نیست که در آن یک مدل الف را پیش‌بینی می‌کند تنها برای هر بار ارزش گذاری کنید و همه پیش بینی ها را به هم بپیچید.

ما برای هر مصرف کننده یک قطعه (در مجموع 5) ایجاد می کنیم.

نتایج کاملاً چشمگیر هستند.

ترانسفورماتور فیوژن زمانی مدل توانست رفتار هر 5 سری زمانی را هم از نظر فصلی و هم از نظر بزرگی به تصویر بکشد!

همچنین توجه داشته باشید که:

• ما هیچ تنظیم هایپرپارامتری انجام ندادیم.
• ما هیچ تکنیک مهندسی ویژگی های فانتزی را اجرا نکردیم.

در بخش بعدی، نحوه بهبود مدل خود را با بهینه سازی هایپرپارامتر نشان می دهیم.

پیش بینی طرح برای یک سری زمانی خاص

قبلاً، پیش‌بینی‌هایی را بر روی داده‌های اعتبارسنجی با استفاده از نمودار ترسیم می‌کردیم idx آرگومان، که در تمام سری های زمانی در مجموعه داده ما تکرار می شود. می‌توانیم دقیق‌تر باشیم و پیش‌بینی‌های خروجی را در یک سری زمانی خاص انجام دهیم:

In شکل 7 ما روز پیش رو را ترسیم می کنیم MT_004 مصرف کننده برای شاخص زمان = 26512.

به یاد داشته باشید، ستون زمان نمایه سازی ما hours_from_start از 26304 شروع می شود و می توانیم از 26388 به بعد پیش بینی کنیم (چون زودتر تنظیم کردیم min_encoder_length=max_encoder_length // 2 که برابر است 26304 + 168//2=26388

پیش بینی های خارج از نمونه

بیایید پیش‌بینی‌های خارج از نمونه، فراتر از نقطه داده نهایی داده‌های اعتبارسنجی ایجاد کنیم - که اینطور است 2014–09–07 23:00:00

تنها کاری که باید انجام دهیم این است که یک دیتافریم جدید ایجاد کنیم که حاوی:

• تعداد N=max_encoder_length تاریخ های گذشته، که به عنوان پنجره بازبینی عمل می کنند - داده های رمزگذار در اصطلاح TFT
• تاریخ های آینده اندازه max_prediction_length که می‌خواهیم پیش‌بینی‌های خود را برای آن محاسبه کنیم داده های رمزگشا

ما می توانیم برای هر 5 سری زمانی خود یا فقط یک پیش بینی ایجاد کنیم. شکل 7 پیش بینی های خارج از نمونه را برای مصرف کننده نشان می دهد MT_002:

پیش بینی دقیق یک چیز است، اما توضیح پذیری نیز امروزه اهمیت زیادی دارد.

و این برای مدل‌های یادگیری عمیق که جعبه سیاه در نظر گرفته می‌شوند بدتر است. روش هایی مانند LIME و SHAP می تواند توضیح پذیری (تا حدی) ارائه دهد، اما برای سری های زمانی خوب کار نمی کند. به‌علاوه، آنها روش‌های post-hoc خارجی هستند و به مدل خاصی وابسته نیستند.

ترانسفورماتور فیوژن زمانی سه نوع تفسیر پذیری را ارائه می دهد:

• از نظر فصلی: TFT از رمان خود استفاده می کند توجه چند سر قابل تفسیر مکانیزم برای محاسبه اهمیت مراحل زمانی گذشته
• از نظر ویژگی: TFT از آن استفاده می کند شبکه انتخاب متغیر ماژول برای محاسبه اهمیت هر ویژگی.
• استحکام رویدادهای شدید: ما می‌توانیم بررسی کنیم که سری‌های زمانی در طول رویدادهای نادر چگونه رفتار می‌کنند

اگر می خواهید عمیقاً در مورد عملکرد درونی بیاموزید توجه چند سر قابل تفسیر و شبکه انتخاب متغیر، مقاله قبلی من را بررسی کنید.

تفسیرپذیری از نظر فصلی

TFT وزن‌های توجه را برای درک الگوهای زمانی در مراحل گذشته بررسی می‌کند.

خطوط خاکستری در تمام نمودارهای قبلی نشان دهنده امتیاز توجه است. دوباره به آن توطئه ها نگاه کنید - آیا متوجه چیزی می شوید؟ شکل 8 یافته ها را نشان می دهد شکل 7 و همچنین امتیازات توجه را به حساب می آورد:

نمرات توجه نشان می دهد که این مراحل زمانی که مدل پیش بینی خود را خروجی می دهد چقدر تأثیرگذار هستند. قله های کوچک منعکس کننده فصلی بودن روزانه هستند، در حالی که قله های بالاتر به سمت پایان احتمالاً به معنای فصلی بودن هفتگی است.

اگر منحنی‌های توجه را در تمام مراحل و سری‌های زمانی میانگین کنیم (نه فقط 5 موردی که در این آموزش استفاده کردیم)، شکل متقارن را به دست خواهیم آورد. شکل 9 از کاغذ TFT:

سوال: این چه فایده ای دارد؟ آیا نمی توانیم الگوهای فصلی را با روش هایی مانند نمودارهای ACF، تجزیه سیگنال زمانی و غیره به سادگی تخمین بزنیم؟

پاسخ: درست است، واقعی. با این حال، مطالعه وزن توجه TFT دارای مزایای اضافی است:

1. ما می توانیم تأیید کنیم که مدل ما دینامیک فصلی ظاهری دنباله های ما را نشان می دهد.
2. مدل ما همچنین ممکن است الگوهای پنهان را نشان دهد زیرا وزن توجه پنجره های ورودی فعلی همه ورودی های گذشته را در نظر می گیرد.
3. نمودار وزن‌های توجه با نمودار خودهمبستگی یکسان نیست: نمودار خودهمبستگی به دنباله‌ای خاص اشاره دارد، در حالی که وزن‌های توجه در اینجا با نگاه کردن به همه متغیرهای کمکی و سری‌های زمانی بر تأثیر هر مرحله زمانی تمرکز می‌کنند.

قابلیت تفسیر ویژگی

La شبکه انتخاب متغیر جزء TFT به راحتی می تواند تخمین بزند اهمیت ویژگی ها:

In شکل 10، به موارد زیر توجه می کنیم:

• La hour و day_of_week هم به عنوان مشاهدات گذشته و هم به عنوان متغیرهای کمکی آتی، نمرات قوی دارند. معیار در مقاله اصلی همین نتیجه را دارد.
• La power_usage بدیهی است که تاثیرگذارترین متغیر کمکی مشاهده شده است.
• La consumer_id در اینجا خیلی مهم نیست زیرا ما فقط از 5 مصرف کننده استفاده می کنیم. در مقاله TFT، جایی که نویسندگان از تمام 370 مصرف کننده استفاده می کنند، این متغیر مهم تر است.

توجه داشته باشید: اگر متغیر استاتیک گروه بندی شما مهم نیست، به احتمال زیاد مجموعه داده شما نیز می تواند به خوبی توسط یک مدل توزیع واحد (مانند ARIMA) مدل شود.

تشخیص رویداد شدید

سری‌های زمانی به دلیل حساس بودن به تغییرات ناگهانی در ویژگی‌های خود در طول رویدادهای نادر مشهور هستند (همچنین به آنها اشاره می‌شود. شوک ها).

حتی بدتر، آن رویدادها بسیار گریزان هستند. تصور کنید که متغیر هدف شما برای مدت کوتاهی بی ثبات می شود زیرا یک متغیر کمکی به طور بی صدا رفتار را تغییر می دهد:

آیا این یک نویز تصادفی است یا یک الگوی پنهان پنهان که از مدل ما فرار می کند؟

با TFT، می‌توانیم استحکام هر یک از ویژگی‌ها را در محدوده مقادیر آن‌ها تحلیل کنیم. متأسفانه، مجموعه داده کنونی نوسان یا رویدادهای نادری را نشان نمی‌دهد - این موارد بیشتر در داده‌های مالی، فروش و غیره یافت می‌شوند. با این حال، نحوه محاسبه آنها را نشان خواهیم داد:

برخی از ویژگی ها همه مقادیر خود را در مجموعه داده اعتبار سنجی ندارند، بنابراین ما فقط آن را نشان می دهیم hour و consumer_id:

در هر دو شکل، نتایج دلگرم کننده است. که در شکل 12، متوجه آن مصرف کننده می شویم MT_004 عملکرد کمی نسبت به سایر مصرف کنندگان دارد. اگر تلفات P50 هر مصرف کننده را با میانگین مصرف برق آنها که قبلاً محاسبه کرده بودیم عادی کنیم، می توانیم این را تأیید کنیم.

نوارهای خاکستری نشان دهنده توزیع هر متغیر است. یک کاری که من همیشه انجام می دهم این است که بفهمم کدام مقادیر فرکانس پایینی دارند. سپس، نحوه عملکرد مدل را در آن مناطق بررسی می کنم. از این رو، می توانید به راحتی تشخیص دهید که آیا مدل شما رفتار رویدادهای نادر را نشان می دهد یا خیر.

به طور کلی، شما می توانید از این ویژگی TFT برای بررسی نقاط ضعف مدل خود استفاده کنید و به بررسی بیشتر ادامه دهید.

ما می توانیم یکپارچه استفاده کنیم ترانسفورماتور فیوژن زمانی با Optuna برای انجام تنظیم هایپرپارامتر:

مشکل اینجاست که از آنجایی که TFT یک مدل مبتنی بر ترانسفورماتور است، به منابع سخت افزاری قابل توجهی نیاز خواهید داشت!

ترانسفورماتور فیوژن زمانی بدون شک نقطه عطفی برای جامعه Time-Series است.

این مدل نه تنها به نتایج SOTA دست می یابد، بلکه چارچوبی برای تفسیرپذیری پیش بینی ها نیز فراهم می کند. این مدل نیز در بازار موجود است دارت کتابخانه python که بر اساس کتابخانه PyTorch Forecasting است.

در نهایت، اگر کنجکاو هستید که در مورد معماری آن بیاموزید ترانسفورماتور فیوژن زمانی در جزئیات، بررسی کنید مقاله همراه روی کاغذ اصلی

Temporal Fusion Transformer: Time Series Forecasting with Deep Learning — آموزش کامل بازنشر شده از منبع https://towardsdatascience.com/temporal-fusion-transformer-time-series-forecasting-with-deep-learning-complete-tutorial-d32? rss—-1f51cf91c7—60 از طریق https://towardsdatascience.com/feed

<!–

->