Bài đăng trên blog này được đồng tác giả bởi Guillermo Ribeiro, Nhà khoa học dữ liệu của Sr. tại Cepsa.
Học máy (ML) đã nhanh chóng phát triển từ một xu hướng thời thượng nổi lên trong môi trường học thuật và các khoa đổi mới để trở thành một phương tiện quan trọng để cung cấp giá trị cho các doanh nghiệp trong mọi ngành. Quá trình chuyển đổi từ các thí nghiệm trong phòng thí nghiệm sang giải quyết các vấn đề thực tế trong môi trường sản xuất đi đôi với MLOpshoặc sự thích ứng của DevOps với thế giới ML.
MLOps giúp hợp lý hóa và tự động hóa toàn bộ vòng đời của mô hình ML, tập trung vào tập dữ liệu nguồn, khả năng tái tạo thử nghiệm, mã thuật toán ML và chất lượng mô hình.
At Cepsa, một công ty năng lượng toàn cầu, chúng tôi sử dụng ML để giải quyết các vấn đề phức tạp trong các lĩnh vực kinh doanh của mình, từ bảo trì dự đoán cho thiết bị công nghiệp đến giám sát và cải tiến các quy trình hóa dầu tại các nhà máy lọc dầu của chúng tôi.
Trong bài đăng này, chúng tôi thảo luận về cách chúng tôi xây dựng kiến trúc tham chiếu của mình cho MLOps bằng cách sử dụng các dịch vụ AWS chính sau:
- Amazon SageMaker, một dịch vụ xây dựng, đào tạo và triển khai các mô hình ML
- Chức năng bước AWS, một dịch vụ quy trình làm việc trực quan mã thấp không máy chủ được sử dụng để sắp xếp và tự động hóa các quy trình
- Sự kiện Amazon, một xe buýt sự kiện không máy chủ
- AWS Lambda, một dịch vụ máy tính không có máy chủ cho phép bạn chạy mã mà không cần cấp phép hoặc quản lý máy chủ
Chúng tôi cũng giải thích cách chúng tôi áp dụng kiến trúc tham chiếu này để khởi động các dự án ML mới trong công ty của chúng tôi.
Các thách thức
Trong 4 năm qua, nhiều ngành nghề kinh doanh trên Cepsa đã khởi động các dự án ML, nhưng ngay sau đó một số vấn đề và hạn chế nhất định bắt đầu phát sinh.
Chúng tôi không có kiến trúc tham chiếu cho ML, vì vậy mỗi dự án tuân theo một đường dẫn triển khai khác nhau, thực hiện đào tạo và triển khai mô hình đặc biệt. Không có phương pháp chung để xử lý mã và các tham số của dự án cũng như không có hệ thống đăng ký hoặc lập phiên bản mô hình ML, chúng tôi đã mất khả năng truy nguyên giữa các bộ dữ liệu, mã và mô hình.
Chúng tôi cũng phát hiện ra chỗ cần cải thiện trong cách chúng tôi vận hành các mô hình trong quá trình sản xuất, bởi vì chúng tôi không giám sát các mô hình đã triển khai và do đó không có phương tiện để theo dõi hiệu suất của mô hình. Do đó, chúng tôi thường đào tạo lại các mô hình dựa trên lịch trình thời gian, vì chúng tôi thiếu các số liệu phù hợp để đưa ra các quyết định đào tạo lại sáng suốt.
Giải pháp
Bắt đầu từ những thách thức mà chúng tôi phải vượt qua, chúng tôi đã thiết kế một giải pháp chung nhằm mục đích tách rời việc chuẩn bị dữ liệu, đào tạo mô hình, suy luận và giám sát mô hình, đồng thời có đăng ký mô hình tập trung. Bằng cách này, chúng tôi đã đơn giản hóa việc quản lý môi trường trên nhiều tài khoản AWS, đồng thời giới thiệu khả năng truy xuất nguồn gốc mô hình tập trung.
Các nhà khoa học và nhà phát triển dữ liệu của chúng tôi sử dụng Đám mây AWS9 (một IDE đám mây để viết, chạy và gỡ lỗi mã) để quấn dữ liệu và thử nghiệm ML và GitHub làm kho lưu trữ mã Git.
Quy trình đào tạo tự động sử dụng mã do nhóm khoa học dữ liệu xây dựng để mô hình đào tạo trên SageMaker và đăng ký các mô hình đầu ra trong sổ đăng ký mô hình.
Một dòng công việc khác quản lý việc triển khai mô hình: nó lấy tham chiếu từ sổ đăng ký mô hình và tạo một điểm cuối suy luận bằng cách sử dụng Các tính năng lưu trữ mô hình SageMaker.
Chúng tôi đã triển khai cả quy trình đào tạo và triển khai mô hình bằng cách sử dụng Hàm từng bước, vì nó cung cấp một khuôn khổ linh hoạt cho phép tạo quy trình công việc cụ thể cho từng dự án và điều phối các dịch vụ và thành phần AWS khác nhau một cách đơn giản.
Mô hình tiêu thụ dữ liệu
Trong Cepsa, chúng tôi sử dụng một loạt các hồ dữ liệu để đáp ứng các nhu cầu kinh doanh đa dạng và tất cả các hồ dữ liệu này có chung một mô hình tiêu thụ dữ liệu giúp các kỹ sư dữ liệu và nhà khoa học dữ liệu dễ dàng hơn trong việc tìm kiếm và sử dụng dữ liệu họ cần.
Để dễ dàng xử lý chi phí và trách nhiệm, môi trường hồ dữ liệu được tách biệt hoàn toàn khỏi các ứng dụng của nhà sản xuất và người tiêu dùng dữ liệu và được triển khai trong các tài khoản AWS khác nhau thuộc một Tổ chức AWS chung.
Dữ liệu được sử dụng để đào tạo các mô hình ML và dữ liệu được sử dụng làm đầu vào suy luận cho các mô hình được đào tạo được cung cấp từ các hồ dữ liệu khác nhau thông qua một tập hợp các API được xác định rõ ràng bằng cách sử dụng Cổng API Amazon, một dịch vụ để tạo, xuất bản, duy trì, giám sát và bảo mật các API trên quy mô lớn. Phần mềm phụ trợ API sử dụng amazon Athena (một dịch vụ truy vấn tương tác để phân tích dữ liệu bằng cách sử dụng SQL chuẩn) để truy cập vào dữ liệu đã được lưu trữ trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và được phân loại trong Keo AWS Danh mục dữ liệu.
Sơ đồ sau đây cung cấp một cái nhìn tổng quát về kiến trúc MLOps của Cepsa.
Đào tạo người mẫu
Quá trình đào tạo là độc lập cho từng mô hình và được xử lý bởi Bước chức năng quy trình làm việc tiêu chuẩn, giúp chúng tôi linh hoạt trong việc lập mô hình các quy trình dựa trên các yêu cầu khác nhau của dự án. Chúng tôi có một mẫu cơ sở được xác định mà chúng tôi sử dụng lại trên hầu hết các dự án, thực hiện các điều chỉnh nhỏ khi được yêu cầu. Ví dụ, một số chủ dự án đã quyết định thêm cổng thủ công để phê duyệt triển khai mô hình sản xuất mới, trong khi các chủ dự án khác đã triển khai cơ chế phát hiện lỗi và thử lại của riêng họ.
Chúng tôi cũng thực hiện các phép biến đổi trên các tập dữ liệu đầu vào được sử dụng để đào tạo mô hình. Với mục đích này, chúng tôi sử dụng các hàm Lambda được tích hợp trong quy trình đào tạo. Trong một số trường hợp yêu cầu chuyển đổi dữ liệu phức tạp hơn, chúng tôi chạy mã của mình trong Dịch vụ container đàn hồi Amazon (Amazon ECS) trên Cổng xa AWS, một công cụ máy tính không có máy chủ để chạy các vùng chứa.
Nhóm khoa học dữ liệu của chúng tôi thường xuyên sử dụng các thuật toán tùy chỉnh, vì vậy chúng tôi tận dụng khả năng sử dụng các vùng chứa tùy chỉnh trong đào tạo mô hình SageMaker, phụ thuộc vào Đăng ký container đàn hồi Amazon (Amazon ECR), một cơ quan đăng ký vùng chứa được quản lý hoàn toàn giúp dễ dàng lưu trữ, quản lý, chia sẻ và triển khai hình ảnh vùng chứa.
Hầu hết các dự án ML của chúng tôi đều dựa trên thư viện Scikit-learning, vì vậy chúng tôi đã mở rộng tiêu chuẩn SageMaker Scikit-learning container để bao gồm các biến môi trường cần thiết cho dự án, chẳng hạn như thông tin kho lưu trữ Git và các tùy chọn triển khai.
Với cách tiếp cận này, các nhà khoa học dữ liệu của chúng tôi chỉ cần tập trung vào việc phát triển thuật toán đào tạo và xác định các thư viện theo yêu cầu của dự án. Khi họ đẩy các thay đổi mã vào kho lưu trữ Git, hệ thống CI / CD của chúng tôi (Jenkins được lưu trữ trên AWS) xây dựng vùng chứa với mã đào tạo và thư viện. Vùng chứa này được đẩy tới Amazon ECR và cuối cùng được chuyển dưới dạng tham số cho lệnh gọi đào tạo SageMaker.
Khi quá trình đào tạo hoàn tất, mô hình kết quả được lưu trữ trong Amazon S3, tham chiếu được thêm vào sổ đăng ký mô hình và tất cả thông tin và chỉ số đã thu thập được lưu trong danh mục thử nghiệm. Điều này đảm bảo khả năng tái tạo đầy đủ vì mã thuật toán và thư viện được liên kết với mô hình được đào tạo cùng với dữ liệu liên quan đến thử nghiệm.
Sơ đồ sau đây minh họa quy trình đào tạo và bồi dưỡng mô hình.
Triển khai mô hình
Kiến trúc rất linh hoạt và cho phép triển khai cả tự động và thủ công các mô hình được đào tạo. Dòng công việc của trình triển khai mô hình được tự động gọi bằng một sự kiện mà đào tạo SageMaker xuất bản trong EventBridge sau khi đào tạo kết thúc, nhưng nó cũng có thể được gọi theo cách thủ công nếu cần, chuyển phiên bản mô hình phù hợp từ sổ đăng ký mô hình. Để biết thêm thông tin về lệnh gọi tự động, hãy xem Tự động hóa Amazon SageMaker với Amazon EventBridge.
Dòng công việc của người triển khai mô hình truy xuất thông tin mô hình từ sổ đăng ký mô hình và sử dụng Hình thành đám mây AWS, một cơ sở hạ tầng được quản lý dưới dạng dịch vụ mã, để triển khai mô hình tới điểm cuối suy luận thời gian thực hoặc thực hiện suy luận hàng loạt với tập dữ liệu đầu vào được lưu trữ, tùy thuộc vào yêu cầu của dự án.
Bất cứ khi nào một mô hình được triển khai thành công trong bất kỳ môi trường nào, sổ đăng ký mô hình được cập nhật với một thẻ mới cho biết mô hình hiện đang chạy trên những môi trường nào. Bất kỳ khi nào một điểm cuối bị xóa, thẻ của nó cũng bị xóa khỏi sổ đăng ký mô hình.
Sơ đồ sau đây cho thấy quy trình làm việc để triển khai và suy luận mô hình.
Thử nghiệm và đăng ký mô hình
Lưu trữ mọi phiên bản thử nghiệm và mô hình ở một vị trí duy nhất và có một kho lưu trữ mã tập trung cho phép chúng tôi tách biệt việc đào tạo và triển khai mô hình cũng như sử dụng các tài khoản AWS khác nhau cho mọi dự án và môi trường.
Tất cả các mục nhập thử nghiệm đều lưu trữ ID cam kết của mã đào tạo và suy luận, vì vậy chúng tôi có thể truy nguyên toàn bộ quá trình thử nghiệm và có thể dễ dàng so sánh các thử nghiệm khác nhau. Điều này ngăn chúng tôi thực hiện công việc trùng lặp trong giai đoạn khám phá khoa học cho các thuật toán và mô hình, đồng thời cho phép chúng tôi triển khai mô hình của mình ở bất kỳ đâu, độc lập với tài khoản và môi trường nơi mô hình được đào tạo. Điều này cũng đúng với các mô hình được đào tạo trong môi trường thử nghiệm AWS Cloud9 của chúng tôi.
Nhìn chung, chúng tôi có các đường ống triển khai và đào tạo mô hình hoàn toàn tự động và có khả năng linh hoạt để thực hiện triển khai mô hình thủ công nhanh chóng khi có thứ gì đó không hoạt động bình thường hoặc khi một nhóm cần một mô hình được triển khai đến một môi trường khác cho mục đích thử nghiệm.
Trường hợp sử dụng chi tiết: Dự án YET Dragon
Dự án YET Dragon nhằm cải thiện hiệu suất sản xuất của nhà máy hóa dầu Cepsa tại Thượng Hải. Để đạt được mục tiêu này, chúng tôi đã nghiên cứu kỹ quy trình sản xuất, tìm kiếm các bước kém hiệu quả hơn. Mục tiêu của chúng tôi là tăng hiệu quả năng suất của các quy trình bằng cách giữ cho nồng độ thành phần chính xác dưới ngưỡng.
Để mô phỏng quá trình này, chúng tôi đã xây dựng bốn mô hình cộng tổng quát hoặc GAM, mô hình tuyến tính mà phản ứng của chúng phụ thuộc vào hàm trơn của các biến dự báo, để dự đoán kết quả của hai quá trình oxy hóa, một quá trình cô đặc và năng suất nói trên. Chúng tôi cũng đã xây dựng một trình tối ưu hóa để xử lý kết quả của bốn mô hình GAM và tìm ra những cách tối ưu hóa tốt nhất có thể được áp dụng trong nhà máy.
Mặc dù các mô hình của chúng tôi được đào tạo với dữ liệu lịch sử, nhà máy đôi khi có thể hoạt động trong các trường hợp không được đăng ký trong bộ dữ liệu đào tạo; chúng tôi hy vọng rằng các mô hình mô phỏng của chúng tôi sẽ không hoạt động tốt trong các tình huống đó, vì vậy chúng tôi cũng đã xây dựng hai mô hình phát hiện bất thường bằng cách sử dụng các thuật toán Rừng cách ly, xác định khoảng cách giữa các điểm dữ liệu với phần còn lại của dữ liệu để phát hiện các điểm bất thường. Các mô hình này giúp chúng tôi phát hiện các tình huống như vậy để vô hiệu hóa các quy trình tối ưu hóa tự động bất cứ khi nào điều này xảy ra.
Các quy trình hóa chất công nghiệp rất thay đổi và các mô hình ML cần phải phù hợp tốt với hoạt động của nhà máy, vì vậy cần phải thường xuyên đào tạo lại cũng như truy xuất nguồn gốc của các mô hình được triển khai trong từng tình huống. YET Dragon là dự án tối ưu hóa ML đầu tiên của chúng tôi có đăng ký mô hình, khả năng tái tạo đầy đủ các thử nghiệm và quy trình đào tạo tự động được quản lý hoàn toàn.
Giờ đây, quy trình hoàn chỉnh đưa một mô hình vào sản xuất (chuyển đổi dữ liệu, đào tạo mô hình, theo dõi thử nghiệm, đăng ký mô hình và triển khai mô hình) là độc lập cho mỗi mô hình ML. Điều này cho phép chúng tôi cải thiện mô hình theo cách lặp đi lặp lại (ví dụ: thêm các biến mới hoặc thử nghiệm các thuật toán mới) và kết nối các giai đoạn đào tạo và triển khai với các trình kích hoạt khác nhau.
Kết quả và những cải tiến trong tương lai
Chúng tôi hiện có thể tự động đào tạo, triển khai và theo dõi sáu mô hình ML được sử dụng trong dự án YET Dragon và chúng tôi đã triển khai hơn 30 phiên bản cho mỗi mô hình sản xuất. Kiến trúc MLOps này đã được mở rộng cho hàng trăm mô hình ML trong các dự án khác trên toàn công ty.
Chúng tôi có kế hoạch tiếp tục khởi chạy các dự án YET mới dựa trên kiến trúc này, điều này đã làm giảm thời lượng trung bình của dự án xuống 25%, nhờ vào việc giảm thời gian khởi động và tự động hóa các đường ống ML. Chúng tôi cũng ước tính tiết kiệm được khoảng 300,000 € mỗi năm nhờ sự gia tăng năng suất và sự tập trung là kết quả trực tiếp của dự án YET Dragon.
Sự phát triển ngắn hạn của kiến trúc MLOps này là hướng tới giám sát mô hình và thử nghiệm tự động. Chúng tôi có kế hoạch tự động kiểm tra hiệu quả của mô hình so với các mô hình đã triển khai trước đó trước khi triển khai một mô hình mới. Chúng tôi cũng đang làm việc trong việc triển khai giám sát mô hình và giám sát độ lệch dữ liệu suy luận với Giám sát mô hình Amazon SageMaker, để tự động hóa việc đào tạo lại mô hình.
Kết luận
Các công ty đang phải đối mặt với thách thức trong việc đưa các dự án ML của họ vào sản xuất một cách tự động và hiệu quả. Tự động hóa toàn bộ vòng đời của mô hình ML giúp giảm thời gian của dự án và đảm bảo chất lượng mô hình tốt hơn và triển khai sản xuất nhanh hơn và thường xuyên hơn.
Bằng cách phát triển kiến trúc MLOps chuẩn hóa đã được các doanh nghiệp khác nhau trong toàn công ty áp dụng, chúng tôi tại Cepsa đã có thể tăng tốc quá trình khởi động dự án ML và cải thiện chất lượng mô hình ML, cung cấp một khuôn khổ tự động và đáng tin cậy để các nhóm khoa học dữ liệu của chúng tôi có thể đổi mới nhanh hơn .
Để biết thêm thông tin về MLOps trên SageMaker, hãy truy cập Amazon SageMaker cho MLOps và kiểm tra các trường hợp sử dụng khác của khách hàng trong Blog Học máy AWS.
Giới thiệu về tác giả
Guillermo Ribeiro Jiménez là Nhà Khoa học Dữ liệu Sr tại Cepsa với bằng Tiến sĩ. trong Vật lý hạt nhân. Ông có 6 năm kinh nghiệm với các dự án khoa học dữ liệu, chủ yếu trong ngành viễn thông và năng lượng. Anh ấy hiện đang lãnh đạo các nhóm khoa học dữ liệu trong bộ phận Chuyển đổi kỹ thuật số của Cepsa, tập trung vào việc mở rộng quy mô và sản xuất các dự án máy học.
Hành lang Guillermo Menéndez là Kiến trúc sư Giải pháp tại AWS Energy and Utilities. Ông có hơn 15 năm kinh nghiệm thiết kế và xây dựng các ứng dụng SW, và hiện đang cung cấp hướng dẫn kiến trúc cho khách hàng AWS trong ngành năng lượng, tập trung vào phân tích và học máy.
- Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. TRUY CẬP MIỄN PHÍ.
- CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
- Nguồn: https://aws.amazon.com/blogs/machine-learning/how-cepsa-used-amazon-sagemaker-and-aws-step-functions-to-industrialize-their-ml-projects-and-operate- mô hình của họ-ở quy mô /
- "
- 000
- 100
- 15 năm
- a
- có khả năng
- Giới thiệu
- truy cập
- Tài khoản
- Đạt được
- ngang qua
- Ad
- thêm
- Lợi thế
- chống lại
- thuật toán
- thuật toán
- Tất cả
- cho phép
- Đã
- đàn bà gan dạ
- giữa
- phân tích
- phân tích
- bất cứ nơi nào
- api
- API
- các ứng dụng
- áp dụng
- phương pháp tiếp cận
- phê duyệt
- kiến trúc
- kiến trúc
- xung quanh
- liên kết
- tự động hóa
- Tự động
- Tự động
- tự động
- tự động hóa
- Tự động hóa
- có sẵn
- AWS
- bởi vì
- trở thành
- trước
- được
- phía dưới
- BEST
- Blog
- xây dựng
- Xây dựng
- xây dựng
- kinh doanh
- các doanh nghiệp
- trường hợp
- trường hợp
- tập trung
- nhất định
- thách thức
- thách thức
- hóa chất
- đám mây
- mã
- cam kết
- Chung
- công ty
- hoàn thành
- hoàn toàn
- phức tạp
- thành phần
- các thành phần
- Tính
- tập trung
- Kết nối
- ăn
- người tiêu dùng
- tiêu thụ
- Container
- Container
- Chi phí
- có thể
- che
- tạo
- tạo ra
- tạo
- Hiện nay
- khách hàng
- khách hàng
- khách hàng
- dữ liệu
- khoa học dữ liệu
- nhà khoa học dữ liệu
- quyết định
- quyết định
- Tùy
- phụ thuộc
- triển khai
- triển khai
- triển khai
- triển khai
- thiết kế
- thiết kế
- chi tiết
- phát hiện
- Phát hiện
- Xác định
- phát triển
- phát triển
- khác nhau
- kỹ thuật số
- chuyển đổi kỹ thuật số
- trực tiếp
- thảo luận
- Con Rồng
- mỗi
- dễ dàng
- hiệu quả
- hiệu quả
- mới nổi
- cho phép
- Điểm cuối
- năng lượng
- Động cơ
- Kỹ sư
- Môi trường
- Trang thiết bị
- ước tính
- Sự kiện
- sự tiến hóa
- chính xác
- ví dụ
- mong đợi
- kinh nghiệm
- thử nghiệm
- thăm dò
- phải đối mặt với
- NHANH
- nhanh hơn
- Đặc tính
- đặc sắc
- Cuối cùng
- Tên
- Linh hoạt
- linh hoạt
- Tập trung
- tiếp theo
- Khung
- từ
- Full
- chức năng
- tương lai
- Gates
- Tổng Quát
- đi
- GitHub
- Toàn cầu
- mục tiêu
- xử lý
- có
- giúp đỡ
- giúp
- cao
- lịch sử
- giữ
- tổ chức
- lưu trữ
- Độ đáng tin của
- HTTPS
- Hàng trăm
- hình ảnh
- thực hiện
- thực hiện
- nâng cao
- cải thiện
- cải thiện
- Mặt khác
- bao gồm
- Tăng lên
- độc lập
- độc lập
- công nghiệp
- ngành công nghiệp
- thông tin
- thông báo
- Cơ sở hạ tầng
- sự đổi mới
- đầu vào
- tích hợp
- tương tác
- giới thiệu
- cô lập
- các vấn đề
- IT
- Giữ
- giữ
- Key
- ra mắt
- hàng đầu
- học tập
- Thư viện
- dòng
- địa điểm thư viện nào
- tìm kiếm
- máy
- học máy
- thực hiện
- duy trì
- bảo trì
- làm cho
- LÀM CHO
- quản lý
- quản lý
- quản lý
- cách thức
- nhãn hiệu
- thủ công
- có nghĩa
- Metrics
- ML
- kiểu mẫu
- mô hình
- Màn Hình
- giám sát
- chi tiết
- hầu hết
- nhiều
- nhu cầu
- hoạt động
- hoạt động
- tối ưu hóa
- Các lựa chọn
- gọi món
- cơ quan
- Nền tảng khác
- riêng
- chủ sở hữu
- Đi qua
- hiệu suất
- biểu diễn
- giai đoạn
- Vật lý
- điểm
- dự đoán
- vấn đề
- quá trình
- Quy trình
- sản xuất
- Sản lượng
- dự án
- dự án
- cung cấp
- cung cấp
- cung cấp
- xuất bản
- mục đích
- mục đích
- đẩy
- chất lượng
- thời gian thực
- giảm
- ghi danh
- đăng ký
- đáng tin cậy
- kho
- cần phải
- Yêu cầu
- phản ứng
- trách nhiệm
- REST của
- kết quả
- Kết quả
- chạy
- chạy
- Quy mô
- mở rộng quy mô
- Khoa học
- Nhà khoa học
- các nhà khoa học
- an toàn
- Loạt Sách
- Không có máy chủ
- dịch vụ
- DỊCH VỤ
- định
- shanghai
- Chia sẻ
- thời gian ngắn
- Đơn giản
- mô phỏng
- duy nhất
- tình hình
- Six
- So
- giải pháp
- Giải pháp
- một số
- một cái gì đó
- riêng
- tốc độ
- giai đoạn
- Tiêu chuẩn
- bắt đầu
- là gắn
- hàng
- hợp lý hóa
- Thành công
- hệ thống
- Mục tiêu
- nhóm
- đội
- Công ty viễn thông
- thử nghiệm
- Kiểm tra
- Sản phẩm
- Nguồn
- vì thế
- triệt để
- ngưỡng
- Thông qua
- thời gian
- thời gian
- đối với
- Truy xuất nguồn gốc
- theo dõi
- Theo dõi
- Hội thảo
- Chuyển đổi
- biến đổi
- quá trình chuyển đổi
- Dưới
- us
- sử dụng
- thường
- tiện ích
- giá trị
- phiên bản
- được xác định rõ ràng
- trong khi
- không có
- Công việc
- Luồng công việc
- đang làm việc
- thế giới
- viết
- năm
- năm
- Năng suất