Δημιουργήστε ένα μοντέλο κινδύνου μηχανικής μάθησης ψυχικής υγείας χρησιμοποιώντας το Amazon SageMaker Data Wrangler

Αυτή η ανάρτηση συντάχθηκε από τον Shibangi Saha, Επιστήμονα Δεδομένων, και την Graciela Kravtzov, Συνιδρυτή και CTO, του Equilibrium Point.

Πολλά άτομα αντιμετωπίζουν νέα συμπτώματα ψυχικής ασθένειας, όπως στρες, άγχος, κατάθλιψη, χρήση ουσιών και διαταραχή μετατραυματικού στρες (PTSD). Σύμφωνα με Kaiser Family Foundation, περίπου οι μισοί ενήλικες (47%) σε εθνικό επίπεδο έχουν αναφέρει αρνητικές επιπτώσεις στην ψυχική υγεία κατά τη διάρκεια της πανδημίας, μια σημαντική αύξηση από τα προ-πανδημικά επίπεδα. Επίσης, ορισμένα φύλα και ηλικιακές ομάδες είναι από τις πιο πιθανό να αναφέρουν άγχος και ανησυχία, σε ποσοστά πολύ υψηλότερα από άλλα. Επιπλέον, μερικές συγκεκριμένες εθνοτικές ομάδες είναι πιο πιθανό να αναφέρουν «σημαντικό αντίκτυπο» στην ψυχική τους υγεία από άλλες.

Αρκετές έρευνες, συμπεριλαμβανομένων εκείνων που συλλέχθηκαν από τα Κέντρα Ελέγχου Νοσημάτων (CDC), έχουν δείξει σημαντικές αυξήσεις στα αυτοαναφερόμενα συμπτώματα συμπεριφορικής υγείας. Σύμφωνα με μια έκθεση του CDC, η οποία ρωτούσε ενήλικες σε όλες τις ΗΠΑ στα τέλη Ιουνίου του 2020, το 31% των ερωτηθέντων ανέφερε συμπτώματα άγχους ή κατάθλιψης, το 13% ανέφερε ότι ξεκίνησε ή αύξησε τη χρήση ουσιών, το 26% ανέφερε συμπτώματα που σχετίζονται με το στρες και το 11% ανέφερε ότι είχε σοβαρές σκέψεις αυτοκτονίας τις τελευταίες 30 ημέρες.

Τα αυτοαναφερόμενα δεδομένα, αν και είναι απολύτως κρίσιμα για τη διάγνωση διαταραχών ψυχικής υγείας, μπορεί να υπόκεινται σε επιρροές που σχετίζονται με το συνεχιζόμενο στίγμα γύρω από την ψυχική υγεία και τη θεραπεία ψυχικής υγείας. Αντί να βασιζόμαστε αποκλειστικά σε δεδομένα που αναφέρονται μόνοι μας, μπορούμε να εκτιμήσουμε και να προβλέψουμε την ψυχική δυσφορία χρησιμοποιώντας δεδομένα από αρχεία υγείας και δεδομένα αξιώσεων για να προσπαθήσουμε να απαντήσουμε σε μια θεμελιώδη ερώτηση: μπορούμε να προβλέψουμε ποιος πιθανότατα θα χρειαστεί βοήθεια ψυχικής υγείας προτού τη χρειαστεί; Εάν μπορούν να εντοπιστούν αυτά τα άτομα, μπορούν να αναπτυχθούν και να αναπτυχθούν προγράμματα έγκαιρης παρέμβασης και πόροι για να ανταποκριθούν σε οποιαδήποτε νέα ή αύξηση των υποκείμενων συμπτωμάτων για τον μετριασμό των επιπτώσεων και του κόστους των ψυχικών διαταραχών.

Πιο εύκολο να ειπωθεί παρά να γίνει για όσους έχουν δυσκολευτεί να διαχειριστούν και να επεξεργαστούν μεγάλους όγκους πολύπλοκων δεδομένων αξιώσεων με κενά! Σε αυτήν την ανάρτηση, μοιραζόμαστε πώς Σημείο Ισορροπίας IoT μεταχειρισμένος Amazon SageMaker Data Wrangler για τον εξορθολογισμό της προετοιμασίας δεδομένων αξιώσεων για την περίπτωση χρήσης ψυχικής υγείας, διασφαλίζοντας παράλληλα την ποιότητα των δεδομένων σε κάθε βήμα της διαδικασίας.

Επισκόπηση λύσεων

Η προετοιμασία δεδομένων ή η μηχανική χαρακτηριστικών είναι μια κουραστική διαδικασία, που απαιτεί έμπειρους επιστήμονες δεδομένων και μηχανικούς να ξοδεύουν πολύ χρόνο και ενέργεια στη διαμόρφωση συνταγών για τους διάφορους μετασχηματισμούς (βήματα) που απαιτούνται για να αποκτήσουν τα δεδομένα στη σωστή τους μορφή. Στην πραγματικότητα, η έρευνα δείχνει ότι η προετοιμασία δεδομένων για τη μηχανική μάθηση (ML) καταναλώνει έως και το 80% του χρόνου των επιστημόνων δεδομένων. Συνήθως, οι επιστήμονες και οι μηχανικοί χρησιμοποιούν διάφορα πλαίσια επεξεργασίας δεδομένων, όπως τα Pandas, PySpark και SQL, για να κωδικοποιήσουν τους μετασχηματισμούς τους και να δημιουργήσουν εργασίες κατανεμημένης επεξεργασίας. Με το Data Wrangler, μπορείτε να αυτοματοποιήσετε αυτή τη διαδικασία. Το Data Wrangler είναι ένα συστατικό του Στούντιο Amazon SageMaker που παρέχει μια ολοκληρωμένη λύση για εισαγωγή, προετοιμασία, μετατροπή, χαρακτηρισμό και ανάλυση δεδομένων. Μπορείτε να ενσωματώσετε ένα Data Wrangler ροή δεδομένων στις υπάρχουσες ροές εργασίας ML για να απλοποιήσετε και να απλοποιήσετε την επεξεργασία δεδομένων και τη μηχανική χαρακτηριστικών χρησιμοποιώντας ελάχιστη έως καθόλου κωδικοποίηση.

Σε αυτήν την ανάρτηση, ακολουθούμε τα βήματα για τη μετατροπή των αρχικών μη επεξεργασμένων συνόλων δεδομένων σε λειτουργίες έτοιμες για ML που θα χρησιμοποιηθούν για τη δημιουργία μοντέλων πρόβλεψης στο επόμενο στάδιο. Αρχικά, εμβαθύνουμε στη φύση των διαφόρων συνόλων δεδομένων που χρησιμοποιούνται για την περίπτωση χρήσης μας και πώς ενώσαμε αυτά τα σύνολα δεδομένων μέσω του Data Wrangler. Μετά τις ενώσεις και την ενοποίηση δεδομένων, περιγράφουμε τους μεμονωμένους μετασχηματισμούς που εφαρμόσαμε στο σύνολο δεδομένων, όπως αποδιπλασιασμό, χειρισμό τιμών που λείπουν και προσαρμοσμένους τύπους, ακολουθούμενες από τον τρόπο με τον οποίο χρησιμοποιήσαμε την ενσωματωμένη ανάλυση Γρήγορου Μοντέλου για να επικυρώσουμε την τρέχουσα κατάσταση μετασχηματισμών για προβλέψεις.

Δεδομένα

Για το πείραμά μας, κατεβάσαμε πρώτα δεδομένα ασθενών από τον πελάτη μας για θέματα υγείας. Αυτά τα δεδομένα περιλαμβάνουν τα ακόλουθα:

• Στοιχεία αξιώσεων
• Μετράει η επίσκεψη στα επείγοντα
• Οι επισκέψεις στο νοσοκομείο μετράνε
• Οι συνταγογραφήσεις φαρμάκων σχετίζονται με την ψυχική υγεία
• Η ιεραρχική κωδικοποίηση καταστάσεων (HCC) διαγνώνει μετρήσεις που σχετίζονται με την ψυχική υγεία

Ο στόχος ήταν να ενωθούν αυτά τα ξεχωριστά σύνολα δεδομένων με βάση την ταυτότητα του ασθενούς και να χρησιμοποιηθούν τα δεδομένα για την πρόβλεψη μιας διάγνωσης ψυχικής υγείας. Χρησιμοποιήσαμε το Data Wrangler για να δημιουργήσουμε ένα τεράστιο σύνολο δεδομένων πολλών εκατομμυρίων σειρών δεδομένων, το οποίο είναι μια ένωση πέντε ξεχωριστών συνόλων δεδομένων. Χρησιμοποιήσαμε επίσης το Data Wrangler για να εκτελέσουμε αρκετούς μετασχηματισμούς για να επιτρέψουμε τους υπολογισμούς στηλών. Στις επόμενες ενότητες, περιγράφουμε τους διάφορους μετασχηματισμούς προετοιμασίας δεδομένων που εφαρμόσαμε.

Απόθεση διπλότυπων στηλών μετά από μια ένωση

Το Amazon SageMaker Data Wrangler παρέχει πολυάριθμους μετασχηματισμούς δεδομένων ML για τον εξορθολογισμό του καθαρισμού, του μετασχηματισμού και της προβολής των δεδομένων σας. Όταν προσθέτετε έναν μετασχηματισμό, προσθέτει ένα βήμα στη ροή δεδομένων. Κάθε μετασχηματισμός που προσθέτετε τροποποιεί το σύνολο δεδομένων σας και δημιουργεί ένα νέο πλαίσιο δεδομένων. Όλοι οι επόμενοι μετασχηματισμοί εφαρμόζονται στο πλαίσιο δεδομένων που προκύπτει. Το Data Wrangler περιλαμβάνει ενσωματωμένους μετασχηματισμούς, τους οποίους μπορείτε να χρησιμοποιήσετε για να μετασχηματίσετε στήλες χωρίς κωδικό. Μπορείτε επίσης να προσθέσετε προσαρμοσμένους μετασχηματισμούς χρησιμοποιώντας PySpark, Pandas και PySpark SQL. Ορισμένοι μετασχηματισμοί λειτουργούν στη θέση τους, ενώ άλλοι δημιουργούν μια νέα στήλη εξόδου στο σύνολο δεδομένων σας.

Για τα πειράματά μας, αφού μετά από κάθε σύνδεση στο αναγνωριστικό ασθενούς, μας έμειναν διπλές στήλες αναγνωριστικού ασθενούς. Έπρεπε να ρίξουμε αυτές τις στήλες. Αφήσαμε τη δεξιά στήλη αναγνωριστικού ασθενούς, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης χρησιμοποιώντας το προκατασκευασμένο Διαχείριση στηλών ->Πτώση στήλης μετασχηματισμός, για να διατηρηθεί μόνο μία στήλη αναγνωριστικού ασθενούς (αναγνωριστικό_ασθενούς στο τελικό σύνολο δεδομένων).

Συγκεντρώστε ένα σύνολο δεδομένων χρησιμοποιώντας Pandas

Τα σύνολα δεδομένων αξιώσεων ήταν σε επίπεδο ασθενούς με επίσκεψη έκτακτης ανάγκης (ER), ενδονοσοκομειακό (IP), μετρήσεις συνταγών και διαγνώσεις που έχουν ήδη ομαδοποιηθεί σύμφωνα με τους αντίστοιχους κωδικούς HCC τους (περίπου 189 κωδικοί). Για να δημιουργήσουμε μια μάρκα δεδομένων ασθενών, συγκεντρώνουμε τους κωδικούς HCC αξιώσεων ανά ασθενή και περιστρέφουμε τον κωδικό HCC από γραμμές σε στήλες. Χρησιμοποιήσαμε Panda για να περιστρέψουμε το σύνολο δεδομένων, να μετρήσουμε τον αριθμό των κωδικών HCC ανά ασθενή και, στη συνέχεια, να ενταχθούμε στο κύριο σύνολο δεδομένων στο αναγνωριστικό ασθενούς. Χρησιμοποιήσαμε την επιλογή προσαρμοσμένου μετασχηματισμού στο Data Wrangler επιλέγοντας την Python (Pandas) ως πλαίσιο επιλογής.

Το ακόλουθο απόσπασμα κώδικα δείχνει τη λογική μετασχηματισμού για την περιστροφή του πίνακα:

# Table is available as variable df
import pandas as pd
import numpy as np table = pd.pivot_table(df, values = 'claim_count', index=['patient_id0'], columns = 'hcc', fill_value=0).reset_index()
df = table

Δημιουργήστε νέες στήλες χρησιμοποιώντας προσαρμοσμένους τύπους

Μελετήσαμε την ερευνητική βιβλιογραφία για να προσδιορίσουμε ποιοι κωδικοί HCC είναι ντετερμινιστικοί στις διαγνώσεις ψυχικής υγείας. Στη συνέχεια, γράψαμε αυτήν τη λογική χρησιμοποιώντας έναν προσαρμοσμένο μετασχηματισμό τύπου Data Wrangler που χρησιμοποιεί μια έκφραση Spark SQL για τον υπολογισμό μιας στήλης στόχου διάγνωσης ψυχικής υγείας (MH), την οποία προσθέσαμε στο τέλος του DataFrame.

Χρησιμοποιήσαμε την ακόλουθη λογική μετασχηματισμού:

# Output: MH
IF (HCC_Code_11 > 0 or HCC_Code_22 > 0 or HCC_Code_23 > 0 or HCC_Code_54 > 0 or HCC_Code_55 > 0 or HCC_Code_57 > 0 or HCC_Code_72 > 0, 1, 0)

Απόθεση στηλών από το DataFrame χρησιμοποιώντας το PySpark

Μετά τον υπολογισμό της στήλης στόχου (MH), αφαιρέσαμε όλες τις περιττές διπλότυπες στήλες. Διατηρήσαμε το αναγνωριστικό ασθενούς και τη στήλη MH για να συνδεθούμε στο κύριο σύνολο δεδομένων μας. Αυτό διευκολύνθηκε από έναν προσαρμοσμένο μετασχηματισμό SQL που χρησιμοποιεί το PySpark SQL ως πλαίσιο της επιλογής μας.

Χρησιμοποιήσαμε την εξής λογική:

/* Table is available as variable df */ select MH, patient_id0 from df

Μετακινήστε τη στήλη MH για να ξεκινήσετε

Ο αλγόριθμός μας ML απαιτεί η είσοδος με ετικέτα να βρίσκεται στην πρώτη στήλη. Επομένως, μετακινήσαμε τη στήλη υπολογισμού MH στην αρχή του DataFrame για να είναι έτοιμο για εξαγωγή.

Συμπληρώστε τα κενά με 0 χρησιμοποιώντας Pandas

Ο αλγόριθμός μας ML απαιτεί επίσης τα δεδομένα εισόδου να μην έχουν κενά πεδία. Επομένως, συμπληρώσαμε τα κενά πεδία του τελικού συνόλου δεδομένων με 0. Μπορούμε εύκολα να το κάνουμε αυτό μέσω ενός προσαρμοσμένου μετασχηματισμού (Pandas) στο Data Wrangler.

Χρησιμοποιήσαμε την εξής λογική:

# Table is available as variable df
df.fillna(0, inplace=True)

Χυτή στήλη από float σε long

Μπορείτε επίσης να αναλύσετε και να μεταδώσετε μια στήλη σε οποιονδήποτε νέο τύπο δεδομένων εύκολα στο Data Wrangler. Για λόγους βελτιστοποίησης μνήμης, μεταφέρουμε τη στήλη εισαγωγής της ετικέτας ψυχικής υγείας ως float.

Γρήγορη ανάλυση μοντέλου: Γράφημα σπουδαιότητας χαρακτηριστικών

Αφού δημιουργήσαμε το τελικό μας σύνολο δεδομένων, χρησιμοποιήσαμε τον τύπο ανάλυσης Quick Model στο Data Wrangler για να εντοπίσουμε γρήγορα τις ασυνέπειες των δεδομένων και εάν η ακρίβεια του μοντέλου μας ήταν στο αναμενόμενο εύρος ή εάν χρειαζόταν να συνεχίσουμε τη μηχανική χαρακτηριστικών προτού αφιερώσουμε τον χρόνο εκπαίδευσης του μοντέλου. Το μοντέλο επέστρεψε βαθμολογία F1 0.901, με το 1 να είναι το υψηλότερο. Η βαθμολογία F1 είναι ένας τρόπος συνδυασμού της ακρίβειας και της ανάκλησης του μοντέλου και ορίζεται ως ο αρμονικός μέσος όρος των δύο. Αφού επιθεωρήσαμε αυτά τα αρχικά θετικά αποτελέσματα, ήμασταν έτοιμοι να εξαγάγουμε τα δεδομένα και να προχωρήσουμε στην εκπαίδευση μοντέλων χρησιμοποιώντας το εξαγόμενο σύνολο δεδομένων.

Εξάγετε το τελικό σύνολο δεδομένων στο Amazon S3 μέσω ενός σημειωματάριου Jupyter

Ως τελευταίο βήμα, να εξαγάγετε το σύνολο δεδομένων στην τρέχουσα μορφή του (μετασχηματισμένο) στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) για μελλοντική χρήση στην εκπαίδευση μοντέλων, χρησιμοποιούμε το Αποθήκευση στο Amazon S3 (μέσω του Jupyter Notebook) επιλογή εξαγωγής. Αυτό το σημειωματάριο ξεκινά μια κατανεμημένη και επεκτάσιμη Επεξεργασία Amazon SageMaker εργασία που εφαρμόζει τη συνταγή που δημιουργήθηκε (ροή δεδομένων) σε καθορισμένες εισόδους (συνήθως μεγαλύτερα σύνολα δεδομένων) και αποθηκεύει τα αποτελέσματα στο Amazon S3. Μπορείτε επίσης να εξαγάγετε τις μετασχηματισμένες στήλες σας (χαρακτηριστικά) σε Κατάστημα χαρακτηριστικών Amazon SageMaker ή εξάγετε τους μετασχηματισμούς ως αγωγός χρησιμοποιώντας Αγωγοί Amazon SageMaker, ή απλώς εξάγετε τους μετασχηματισμούς ως κώδικα Python.

Για να εξαγάγετε δεδομένα στο Amazon S3, έχετε τρεις επιλογές:

• Εξάγετε τα μετασχηματισμένα δεδομένα απευθείας στο Amazon S3 μέσω του Data Wrangler UI
• Εξάγετε τους μετασχηματισμούς ως εργασία Επεξεργασίας SageMaker μέσω ενός σημειωματάριου Jupyter (όπως κάνουμε για αυτήν την ανάρτηση).
• Εξάγετε τους μετασχηματισμούς στο Amazon S3 μέσω ενός κόμβου προορισμού. Ένας κόμβος προορισμού λέει στο Data Wrangler πού να αποθηκεύσει τα δεδομένα αφού τα επεξεργαστείτε. Αφού δημιουργήσετε έναν κόμβο προορισμού, δημιουργείτε μια εργασία επεξεργασίας για την έξοδο των δεδομένων.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρουσιάσαμε πώς το Equilibrium Point IoT χρησιμοποιεί το Data Wrangler για να επιταχύνει τη διαδικασία φόρτωσης μεγάλων ποσοτήτων δεδομένων αξιώσεων για καθαρισμό και μετατροπή δεδομένων κατά την προετοιμασία για ML. Επίσης, δείξαμε πώς να ενσωματώνουμε τη μηχανική χαρακτηριστικών με προσαρμοσμένους μετασχηματισμούς χρησιμοποιώντας Pandas και PySpark στο Data Wrangler, επιτρέποντάς μας να εξάγουμε δεδομένα βήμα προς βήμα (μετά από κάθε σύνδεση) για σκοπούς διασφάλισης ποιότητας. Η εφαρμογή αυτών των εύχρηστων μετασχηματισμών στο Data Wrangler μείωσε τον χρόνο που δαπανάται για μετασχηματισμό δεδομένων από άκρο σε άκρο κατά σχεδόν 50%. Επίσης, η δυνατότητα γρήγορης ανάλυσης μοντέλου στο Data Wrangler μας επέτρεψε να επικυρώνουμε εύκολα την κατάσταση των μετασχηματισμών καθώς κυκλώνουμε τη διαδικασία προετοιμασίας δεδομένων και μηχανικής χαρακτηριστικών.

Τώρα που έχουμε προετοιμάσει τα δεδομένα για την περίπτωση χρήσης μοντελοποίησης κινδύνου ψυχικής υγείας, ως επόμενο βήμα, σκοπεύουμε να δημιουργήσουμε ένα μοντέλο ML χρησιμοποιώντας το SageMaker και τους ενσωματωμένους αλγόριθμους που προσφέρει, χρησιμοποιώντας το σύνολο δεδομένων αξιώσεων για τον εντοπισμό μελών που πρέπει να αναζητήσουν ψυχική υγεία υπηρεσίες προτού φτάσουν σε σημείο που το χρειάζονται. Μείνετε συντονισμένοι!

Σχετικά με τους Συγγραφείς

Shibangi Saha είναι Επιστήμονας Δεδομένων στο Equilibrium Point. Συνδυάζει την τεχνογνωσία της στα δεδομένα αξιώσεων πληρωτών υγειονομικής περίθαλψης και τη μηχανική μάθηση για να σχεδιάσει, να εφαρμόσει, να αυτοματοποιήσει και να τεκμηριώσει διεργασίες αγωγών δεδομένων υγείας, αναφορών και ανάλυσης που οδηγούν σε πληροφορίες και βελτιώσεις στο σύστημα παροχής υγειονομικής περίθαλψης. Η Shibangi έλαβε το Master of Science στη Βιοπληροφορική από το Northeastern University College of Science και ένα Bachelor of Science στη Βιολογία και την Επιστήμη Υπολογιστών από το Khoury College of Computer Science and Information Sciences.

Graciela Kravtzov είναι ο Συνιδρυτής και CTO της Equilibrium Point. Η Grace κατείχε ηγετικές θέσεις C-level/VP στους τομείς της Μηχανικής, των Λειτουργιών και της Ποιότητας και υπηρέτησε ως εκτελεστικός σύμβουλος για την επιχειρηματική στρατηγική και την ανάπτυξη προϊόντων στους κλάδους υγειονομικής περίθαλψης και εκπαίδευσης και στον βιομηχανικό χώρο του IoT. Η Grace έλαβε πτυχίο Master of Science στον Ηλεκτρομηχανολόγο Μηχανικό από το Πανεπιστήμιο του Μπουένος Άιρες και Master of Science στην Επιστήμη Υπολογιστών από το Πανεπιστήμιο της Βοστώνης.

Arunprasath Shankar είναι ένας αρχιτέκτονας ειδικών λύσεων τεχνητής νοημοσύνης και μηχανικής μάθησης (AI / ML) με το AWS, βοηθώντας τους παγκόσμιους πελάτες να κλιμακώσουν τις λύσεις AI αποτελεσματικά και αποδοτικά στο cloud. Στον ελεύθερο χρόνο του, ο Arun απολαμβάνει να παρακολουθεί ταινίες sci-fi και να ακούει κλασική μουσική.

Ατζάι Σάρμα είναι Ανώτερος Διευθυντής Προϊόντων για το Amazon SageMaker όπου εστιάζει στο SageMaker Data Wrangler, ένα εργαλείο προετοιμασίας οπτικών δεδομένων για επιστήμονες δεδομένων. Πριν από το AWS, ο Ajai ήταν Εμπειρογνώμονας Επιστήμης Δεδομένων στην McKinsey and Company, όπου ηγήθηκε δεσμεύσεων με επίκεντρο το ML για κορυφαίες χρηματοοικονομικές και ασφαλιστικές εταιρείες παγκοσμίως. Ο Ajai είναι παθιασμένος με την επιστήμη των δεδομένων και λατρεύει να εξερευνά τους πιο πρόσφατους αλγόριθμους και τεχνικές μηχανικής εκμάθησης.

• Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
• CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
• Πηγή: https://aws.amazon.com/blogs/machine-learning/build-a-mental-health-machine-learning-risk-model-using-amazon-sagemaker-data-wrangler/