Chúng tôi rất vui mừng thông báo việc phát hành mã nguồn mở của đồ thịBão 0.1, một khung máy học đồ thị doanh nghiệp (ML) mã thấp để xây dựng, đào tạo và triển khai các giải pháp ML đồ thị trên các đồ thị phức tạp ở quy mô doanh nghiệp trong vài ngày thay vì vài tháng. Với GraphStorm, bạn có thể xây dựng các giải pháp có tính đến trực tiếp cấu trúc của các mối quan hệ hoặc tương tác giữa hàng tỷ thực thể vốn đã được nhúng trong hầu hết dữ liệu trong thế giới thực, bao gồm các kịch bản phát hiện gian lận, đề xuất, phát hiện cộng đồng và các vấn đề tìm kiếm/truy xuất.
Cho đến thời điểm hiện tại, việc xây dựng, đào tạo và triển khai các giải pháp ML đồ thị cho các đồ thị doanh nghiệp phức tạp dễ dàng có hàng tỷ nút, hàng trăm tỷ cạnh và hàng chục thuộc tính là rất khó khăn—hãy nghĩ về một biểu đồ chụp các sản phẩm của Amazon.com , thuộc tính sản phẩm, khách hàng, v.v. Với GraphStorm, chúng tôi phát hành các công cụ mà Amazon sử dụng nội bộ để đưa các giải pháp ML đồ thị quy mô lớn vào sản xuất. GraphStorm không yêu cầu bạn phải là chuyên gia về ML đồ thị và có sẵn theo giấy phép Apache v2.0 trên GitHub. Để tìm hiểu thêm về GraphStorm, hãy truy cập Kho GitHub.
Trong bài đăng này, chúng tôi giới thiệu về GraphStorm, kiến trúc của nó và một trường hợp sử dụng ví dụ về cách sử dụng nó.
Giới thiệu GraphStorm
Các thuật toán đồ thị và ML đồ thị đang nổi lên như những giải pháp tiên tiến nhất cho nhiều vấn đề kinh doanh quan trọng như dự đoán rủi ro giao dịch, dự đoán sở thích của khách hàng, phát hiện xâm nhập, tối ưu hóa chuỗi cung ứng, phân tích mạng xã hội và dự đoán lưu lượng truy cập. Ví dụ, nhiệm vụ bảo vệ amazon, dịch vụ phát hiện mối đe dọa riêng của AWS, sử dụng biểu đồ có hàng tỷ cạnh để cải thiện phạm vi bao phủ và độ chính xác của thông tin tình báo về mối đe dọa. Điều này cho phép GuardDuty phân loại các miền chưa từng thấy trước đó là có khả năng độc hại cao hay lành tính dựa trên mối liên hệ của chúng với các miền độc hại đã biết. Bằng cách sử dụng Mạng nơ-ron đồ thị (GNN), GuardDuty có thể nâng cao khả năng cảnh báo khách hàng của mình.
Tuy nhiên, việc phát triển, khởi chạy và vận hành các giải pháp ML đồ thị phải mất hàng tháng và yêu cầu chuyên môn về ML đồ thị. Bước đầu tiên, một nhà khoa học ML đồ thị phải xây dựng mô hình ML đồ thị cho một trường hợp sử dụng nhất định bằng cách sử dụng một khung như Thư viện đồ thị sâu (DGL). Việc đào tạo các mô hình như vậy là một thách thức do kích thước và độ phức tạp của biểu đồ trong các ứng dụng doanh nghiệp thường xuyên tiếp cận hàng tỷ nút, hàng trăm tỷ cạnh, các loại nút và cạnh khác nhau cũng như hàng trăm thuộc tính nút và cạnh. Các biểu đồ doanh nghiệp có thể yêu cầu hàng terabyte bộ nhớ lưu trữ, yêu cầu các nhà khoa học ML biểu đồ xây dựng các quy trình đào tạo phức tạp. Cuối cùng, sau khi một mô hình đã được đào tạo, chúng phải được triển khai để suy luận, điều này đòi hỏi các quy trình suy luận cũng khó xây dựng như các quy trình đào tạo.
GraphStorm 0.1 là khung ML đồ thị dành cho doanh nghiệp mã thấp cho phép những người thực hành ML dễ dàng chọn các mô hình ML đồ thị được xác định trước đã được chứng minh là có hiệu quả, chạy đào tạo phân tán trên các biểu đồ có hàng tỷ nút và triển khai các mô hình này vào sản xuất. GraphStorm cung cấp một bộ sưu tập các mô hình ML đồ thị tích hợp, chẳng hạn như Mạng tích chập đồ thị quan hệ (RGCN), Mạng chú ý đồ thị quan hệ (RGAT) và Biến đổi đồ thị không đồng nhất (HGT) cho các ứng dụng doanh nghiệp có đồ thị không đồng nhất, cho phép các kỹ sư ML có ít chuyên môn về graph ML để thử các giải pháp mô hình khác nhau cho nhiệm vụ của họ và nhanh chóng chọn giải pháp phù hợp. Các quy trình đào tạo và suy luận phân tán từ đầu đến cuối, có quy mô tới các biểu đồ doanh nghiệp quy mô hàng tỷ, giúp dễ dàng đào tạo, triển khai và chạy suy luận. Nếu bạn chưa quen với GraphStorm hoặc ML đồ thị nói chung, thì bạn sẽ được hưởng lợi từ các mô hình và quy trình được xác định trước. Nếu bạn là một chuyên gia, bạn có tất cả các tùy chọn để điều chỉnh quy trình đào tạo và kiến trúc mô hình để đạt được hiệu suất tốt nhất. GraphStorm được xây dựng dựa trên DGL, một khung phổ biến rộng rãi để phát triển các mô hình GNN và có sẵn dưới dạng mã nguồn mở theo giấy phép Apache v2.0.
George Karypis, Nhà khoa học chính cấp cao trong nghiên cứu AI/ML của Amazon cho biết: “GraphStorm được thiết kế để giúp khách hàng thử nghiệm và vận hành các phương pháp ML đồ thị cho các ứng dụng trong ngành nhằm đẩy nhanh việc áp dụng ML đồ thị. “Kể từ khi được phát hành bên trong Amazon, GraphStorm đã giảm tới năm lần nỗ lực xây dựng các giải pháp dựa trên ML đồ thị.”
“GraphStorm cho phép nhóm của chúng tôi huấn luyện nhúng GNN theo cách tự giám sát trên biểu đồ có 288 triệu nút và 2 tỷ cạnh,” Haining Yu, Nhà khoa học ứng dụng chính tại Amazon Measurement, Ad Tech và Data Science, cho biết. “Việc nhúng GNN được đào tạo trước cho thấy sự cải thiện 24% đối với nhiệm vụ dự đoán hoạt động của người mua sắm so với đường cơ sở dựa trên BERT tiên tiến nhất; nó cũng vượt quá hiệu suất chuẩn trong các ứng dụng quảng cáo khác.”
Brad Bebee, GM của Amazon Neptune và Amazon Timestream cho biết: “Trước GraphStorm, khách hàng chỉ có thể mở rộng quy mô theo chiều dọc để xử lý các biểu đồ có 500 triệu cạnh. “GraphStorm cho phép khách hàng mở rộng quy mô đào tạo mô hình GNN trên các biểu đồ khổng lồ của Amazon Neptune với hàng chục tỷ cạnh.”
Kiến trúc kỹ thuật GraphStorm
Hình dưới đây cho thấy kiến trúc kỹ thuật của GraphStorm.
GraphStorm được xây dựng dựa trên PyTorch và có thể chạy trên một GPU, nhiều GPU và nhiều máy GPU. Nó bao gồm ba lớp (được đánh dấu trong các ô màu vàng ở hình trước):
- Lớp dưới cùng (Dist GraphEngine) – Lớp dưới cùng cung cấp các thành phần cơ bản để kích hoạt ML đồ thị phân tán, bao gồm đồ thị phân tán, tenxơ phân tán, nhúng phân tán và bộ lấy mẫu phân tán. GraphStorm cung cấp các triển khai hiệu quả của các thành phần này để mở rộng quy mô đào tạo ML đồ thị thành đồ thị tỷ nút.
- Lớp giữa (đường ống đào tạo/suy luận GS) – Lớp giữa cung cấp trình huấn luyện, người đánh giá và người dự đoán để đơn giản hóa quá trình đào tạo và suy luận mô hình cho cả mô hình tích hợp và mô hình tùy chỉnh của bạn. Về cơ bản, bằng cách sử dụng API của lớp này, bạn có thể tập trung vào việc phát triển mô hình mà không phải lo lắng về cách mở rộng quy mô đào tạo mô hình.
- Lớp trên cùng (sở thú mô hình chung GS) – Lớp trên cùng là vườn thú mô hình với các mô hình GNN và không phải GNN phổ biến cho các loại biểu đồ khác nhau. Khi viết bài này, nó cung cấp RGCN, RGAT và HGT cho các biểu đồ không đồng nhất và BERTGNN cho các biểu đồ văn bản. Trong tương lai, chúng tôi sẽ thêm hỗ trợ cho các mô hình đồ thị thời gian như TGAT cho đồ thị thời gian cũng như TransE và DistMult cho đồ thị tri thức.
Cách sử dụng GraphStorm
Sau khi cài đặt GraphStorm, bạn chỉ cần ba bước để xây dựng và huấn luyện các mô hình GML cho ứng dụng của mình.
Đầu tiên, bạn xử lý trước dữ liệu của mình (có thể bao gồm kỹ thuật tính năng tùy chỉnh của bạn) và chuyển đổi dữ liệu đó thành định dạng bảng theo yêu cầu của GraphStorm. Đối với mỗi loại nút, bạn xác định một bảng liệt kê tất cả các nút thuộc loại đó và các tính năng của chúng, cung cấp một ID duy nhất cho mỗi nút. Đối với mỗi loại cạnh, bạn xác định tương tự một bảng trong đó mỗi hàng chứa ID nút nguồn và đích cho một cạnh của loại đó (để biết thêm thông tin, hãy xem Sử dụng hướng dẫn dữ liệu của riêng bạn). Ngoài ra, bạn cung cấp tệp JSON mô tả cấu trúc biểu đồ tổng thể.
Thứ hai, thông qua giao diện dòng lệnh (CLI), bạn sử dụng công cụ tích hợp của GraphStorm construct_graph
thành phần cho một số xử lý dữ liệu dành riêng cho GraphStorm, cho phép đào tạo và suy luận phân tán hiệu quả.
Thứ ba, bạn định cấu hình mô hình và đào tạo trong tệp YAML (ví dụ) và, một lần nữa sử dụng CLI, gọi một trong năm thành phần tích hợp sẵn (gs_node_classification
, gs_node_regression
, gs_edge_classification
, gs_edge_regression
, gs_link_prediction
) làm đường dẫn đào tạo để đào tạo mô hình. Bước này dẫn đến các tạo phẩm mô hình được đào tạo. Để thực hiện suy luận, bạn cần lặp lại hai bước đầu tiên để chuyển đổi dữ liệu suy luận thành biểu đồ bằng cách sử dụng cùng một thành phần GraphStorm (construct_graph
) như trước.
Cuối cùng, bạn có thể gọi một trong năm thành phần tích hợp sẵn, thành phần tương tự được sử dụng để đào tạo mô hình, như một quy trình suy luận để tạo kết quả nhúng hoặc dự đoán.
Luồng tổng thể cũng được mô tả trong hình dưới đây.
Trong phần sau, chúng tôi cung cấp một trường hợp sử dụng ví dụ.
Đưa ra dự đoán về dữ liệu OAG thô
Đối với bài đăng này, chúng tôi chứng minh GraphStorm có thể kích hoạt đào tạo ML đồ thị và suy luận trên tập dữ liệu thô lớn dễ dàng như thế nào. Các Đồ thị học thuật mở (OAG) chứa năm thực thể (bài báo, tác giả, địa điểm, chi nhánh và lĩnh vực nghiên cứu). Tập dữ liệu thô được lưu trữ trong các tệp JSON với hơn 500 GB.
Nhiệm vụ của chúng ta là xây dựng một mô hình để dự đoán lĩnh vực nghiên cứu của một bài báo. Để dự đoán lĩnh vực nghiên cứu, bạn có thể xây dựng nó dưới dạng nhiệm vụ phân loại nhiều nhãn, nhưng rất khó sử dụng mã hóa một lần nóng để lưu trữ nhãn vì có hàng trăm nghìn trường. Do đó, bạn nên tạo trường của các nút nghiên cứu và xây dựng vấn đề này như một nhiệm vụ dự đoán liên kết, dự đoán trường nút nghiên cứu nào mà nút giấy sẽ kết nối.
Để lập mô hình tập dữ liệu này bằng phương pháp biểu đồ, bước đầu tiên là xử lý tập dữ liệu và trích xuất các thực thể và cạnh. Bạn có thể trích xuất năm loại cạnh từ các tệp JSON để xác định biểu đồ, được hiển thị trong hình dưới đây. Bạn có thể sử dụng sổ ghi chép Jupyter trong GraphStorm mã ví dụ để xử lý tập dữ liệu và tạo năm bảng thực thể cho từng loại thực thể và năm bảng cạnh cho từng loại cạnh. Sổ ghi chép Jupyter cũng tạo các nhúng BERT trên các thực thể có dữ liệu văn bản, chẳng hạn như giấy tờ.
Sau khi xác định các thực thể và các cạnh giữa các thực thể, bạn có thể tạo mag_bert.json
, xác định lược đồ đồ thị và gọi quy trình xây dựng đồ thị tích hợp construct_graph
trong GraphStorm để tạo biểu đồ (xem đoạn mã sau). Mặc dù quy trình xây dựng biểu đồ GraphStorm chạy trong một máy duy nhất, nhưng nó hỗ trợ đa xử lý để xử lý song song các nút và tính năng cạnh (--num_processes
) và có thể lưu trữ các tính năng của thực thể và cạnh trên bộ nhớ ngoài (--ext-mem-workspace
) để mở rộng thành các tập dữ liệu lớn.
Để xử lý một biểu đồ lớn như vậy, bạn cần một phiên bản CPU có bộ nhớ lớn để xây dựng biểu đồ. Bạn có thể sử dụng một Đám mây điện toán đàn hồi Amazon (Amazon EC2) phiên bản r6id.32xlarge (128 vCPU và 1 TB RAM) hoặc phiên bản r6a.48xlarge (192 vCPU và 1.5 TB RAM) để xây dựng biểu đồ OAG.
Sau khi xây dựng một biểu đồ, bạn có thể sử dụng gs_link_prediction
để huấn luyện mô hình dự đoán liên kết trên bốn phiên bản g5.48xlarge. Khi sử dụng các mô hình tích hợp sẵn, bạn chỉ gọi một dòng lệnh để khởi chạy công việc đào tạo phân tán. Xem đoạn mã sau:
Sau khi đào tạo mô hình, tạo tác mô hình được lưu trong thư mục /data/mag_lp_model
.
Giờ đây, bạn có thể chạy suy luận dự đoán liên kết để tạo nhúng GNN và đánh giá hiệu suất của mô hình. GraphStorm cung cấp nhiều chỉ số đánh giá tích hợp để đánh giá hiệu suất của mô hình. Ví dụ: đối với các vấn đề dự đoán liên kết, GraphStorm tự động đưa ra thứ hạng đối ứng trung bình của số liệu (MRR). MRR là một số liệu có giá trị để đánh giá các mô hình dự đoán liên kết biểu đồ vì nó đánh giá mức độ liên kết thực được xếp hạng trong số các liên kết được dự đoán. Điều này nắm bắt chất lượng của các dự đoán, đảm bảo mô hình của chúng tôi ưu tiên chính xác các kết nối thực sự, đó là mục tiêu của chúng tôi ở đây.
Bạn có thể chạy suy luận bằng một dòng lệnh, như được hiển thị trong đoạn mã sau. Trong trường hợp này, mô hình đạt MRR là 0.31 trên tập thử nghiệm của biểu đồ đã xây dựng.
Lưu ý rằng đường dẫn suy luận tạo ra các nhúng từ mô hình dự đoán liên kết. Để giải quyết vấn đề tìm lĩnh vực nghiên cứu cho bất kỳ bài báo nào, chỉ cần thực hiện tìm kiếm k-láng giềng gần nhất trên các phần nhúng.
Kết luận
GraphStorm là một khung ML đồ thị mới giúp dễ dàng xây dựng, đào tạo và triển khai các mô hình ML đồ thị trên các đồ thị ngành. Nó giải quyết một số thách thức chính trong ML đồ thị, bao gồm khả năng mở rộng và khả năng sử dụng. Nó cung cấp các thành phần tích hợp sẵn để xử lý các biểu đồ tỷ lệ tỷ lệ từ dữ liệu đầu vào thô đến đào tạo mô hình và suy luận mô hình, đồng thời cho phép nhiều nhóm Amazon đào tạo các mô hình ML biểu đồ hiện đại trong các ứng dụng khác nhau. kiểm tra của chúng tôi Kho GitHub để biết thêm thông tin chi tiết.
Về các tác giả
Đại Trịnh là một nhà khoa học ứng dụng cấp cao tại bộ phận nghiên cứu AI/ML của AWS, đang lãnh đạo một nhóm máy học đồ thị để phát triển các kỹ thuật và khuôn khổ nhằm đưa công nghệ máy học đồ thị vào sản xuất. Da lấy bằng tiến sĩ khoa học máy tính tại Đại học Johns Hopkins.
sốt Florian là Giám đốc sản phẩm kỹ thuật chính tại nghiên cứu AI/ML của AWS hỗ trợ các nhóm khoa học tiên tiến như nhóm máy học đồ thị và cải tiến các sản phẩm như Amazon DataZone có khả năng ML. Trước khi gia nhập AWS, Florian lãnh đạo quản lý sản phẩm kỹ thuật cho lái xe tự động tại Bosch, là nhà tư vấn chiến lược tại McKinsey & Company và làm việc với tư cách là nhà khoa học hệ thống điều khiển/người máy – lĩnh vực mà anh ấy có bằng tiến sĩ.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- EVM tài chính. Giao diện hợp nhất cho tài chính phi tập trung. Truy cập Tại đây.
- Tập đoàn truyền thông lượng tử. Khuếch đại IR/PR. Truy cập Tại đây.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/fast-track-graph-ml-with-graphstorm-a-new-way-to-solve-problems-on-enterprise-scale-graphs/
- : có
- :là
- $ LÊN
- 1
- 1 TB
- 100
- 16
- 31
- 500
- 7
- 8
- 9
- a
- Có khả năng
- Giới thiệu
- học tập
- đẩy nhanh tiến độ
- Tài khoản
- chính xác
- hoạt động
- thực tế
- Ad
- thêm vào
- Ngoài ra
- địa chỉ
- Nhận con nuôi
- quảng cáo
- tiên tiến
- đảng phái
- Sau
- một lần nữa
- AI / ML
- Cảnh báo
- thuật toán
- Tất cả
- cho phép
- cho phép
- Ngoài ra
- đàn bà gan dạ
- Amazon EC2
- Sao Hải vương Amazon
- Dòng thời gian của Amazon
- Amazon Web Services
- Amazon.com
- trong số
- an
- phân tích
- và
- Thông báo
- dự đoán
- bất kì
- Apache
- api
- Các Ứng Dụng
- các ứng dụng
- áp dụng
- kiến trúc
- LÀ
- AS
- Hiệp hội
- At
- sự chú ý
- thuộc tính
- tác giả
- Tự động
- tự động
- có sẵn
- AWS
- dựa
- Baseline
- cơ bản
- Về cơ bản
- BE
- bởi vì
- được
- trước
- điểm chuẩn
- hưởng lợi
- BEST
- giữa
- Tỷ
- tỷ
- cả hai
- đáy
- hộp
- cây đinh mất đầu
- mang lại
- xây dựng
- xây dựng
- được xây dựng trong
- kinh doanh
- nhưng
- by
- CAN
- khả năng
- chụp
- Chụp
- trường hợp
- chuỗi
- thách thức
- thách thức
- kiểm tra
- phân loại
- mã
- bộ sưu tập
- COM
- cộng đồng
- công ty
- phức tạp
- phức tạp
- thành phần
- các thành phần
- Tính
- máy tính
- Khoa học Máy tính
- Kết nối
- Kết nối
- bao gồm
- xây dựng
- xây dựng
- xây dựng
- chuyên gia tư vấn
- chứa
- điều khiển
- có thể
- bảo hiểm
- tạo
- khách hàng
- khách hàng
- khách hàng
- da
- dữ liệu
- xử lý dữ liệu
- khoa học dữ liệu
- bộ dữ liệu
- Ngày
- sâu
- Xác định
- xác định
- chứng minh
- triển khai
- triển khai
- thiết kế
- điểm đến
- Phát hiện
- phát triển
- phát triển
- Phát triển
- dgl
- khác nhau
- khó khăn
- trực tiếp
- phân phối
- đào tạo phân tán
- do
- Không
- lĩnh vực
- hàng chục
- lái xe
- hai
- mỗi
- dễ dàng
- dễ dàng
- Cạnh
- Hiệu quả
- hiệu quả
- nỗ lực
- nhúng
- nhúng
- mới nổi
- cho phép
- kích hoạt
- cho phép
- Cuối cùng đến cuối
- Kỹ Sư
- Kỹ sư
- nâng cao
- Doanh nghiệp
- thực thể
- thực thể
- đánh giá
- đánh giá
- đánh giá
- Ngay cả
- ví dụ
- vượt quá
- kích thích
- thử nghiệm
- chuyên gia
- chuyên môn
- ngoài
- trích xuất
- Đặc tính
- Tính năng
- lĩnh vực
- Lĩnh vực
- Hình
- Tập tin
- Các tập tin
- Cuối cùng
- tìm kiếm
- Tên
- dòng chảy
- Tập trung
- tiếp theo
- Trong
- định dạng
- 4
- Khung
- khung
- gian lận
- phát hiện gian lận
- từ
- tương lai
- Tổng Quát
- tạo ra
- tạo
- George
- được
- GitHub
- được
- GM
- GPU
- GPU
- đồ thị
- đồ thị
- Nhóm
- xử lý
- Cứng
- Có
- he
- giúp đỡ
- tại đây
- Cao
- cao
- của mình
- giữ
- Độ đáng tin của
- Làm thế nào cao
- Hướng dẫn
- http
- HTTPS
- Hàng trăm
- ID
- id
- if
- quan trọng
- nâng cao
- cải thiện
- cải thiện
- in
- Mặt khác
- Bao gồm
- ngành công nghiệp
- thông tin
- vốn có
- đầu vào
- Cài đặt
- ví dụ
- thay vì
- Sự thông minh
- tương tác
- Giao thức
- nội bộ
- trong
- Giới thiệu
- IT
- ITS
- Việc làm
- Đại học Johns Hopkins
- tham gia
- jpg
- json
- chỉ
- Key
- kiến thức
- nổi tiếng
- Nhãn
- lớn
- quy mô lớn
- phóng
- ra mắt
- lớp
- lớp
- dẫn
- hàng đầu
- LEARN
- học tập
- Thư viện
- Giấy phép
- Lượt thích
- Có khả năng
- Dòng
- LINK
- liên kết
- Chức năng
- ít
- máy
- học máy
- Máy móc
- May
- làm cho
- LÀM CHO
- Làm
- quản lý
- giám đốc
- cách thức
- nhiều
- đánh dấu
- lớn
- McKinsey
- McKinsey & Company
- nghĩa là
- đo lường
- Bộ nhớ
- phương pháp
- phương pháp
- số liệu
- Metrics
- Tên đệm
- triệu
- ML
- kiểu mẫu
- mô hình
- tháng
- chi tiết
- hầu hết
- nhiều
- tự nhiên
- Cần
- Neptune
- mạng
- mạng
- mạng thần kinh
- Mới
- nút
- các nút
- máy tính xách tay
- tại
- Mục tiêu
- of
- Cung cấp
- on
- ONE
- có thể
- mã nguồn mở
- mã nguồn mở
- hoạt động
- tối ưu hóa
- Các lựa chọn
- or
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- kết thúc
- tổng thể
- riêng
- Giấy
- giấy tờ
- Song song
- Thực hiện
- hiệu suất
- chọn
- đường ống dẫn
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Phổ biến
- Bài đăng
- có khả năng
- dự đoán
- dự đoán
- dự đoán
- dự đoán
- Dự đoán
- ưu đãi
- trước đây
- Hiệu trưởng
- Vấn đề
- vấn đề
- quá trình
- xử lý
- Sản phẩm
- quản lý sản phẩm
- giám đốc sản xuất
- Sản lượng
- Sản phẩm
- đã được chứng minh
- cho
- cung cấp
- cung cấp
- đặt
- ngọn đuốc
- chất lượng
- Mau
- RAM
- xếp hạng
- Nguyên
- đạt
- Đạt
- thế giới thực
- khuyến nghị
- Giảm
- Mối quan hệ
- phát hành
- lặp lại
- yêu cầu
- cần phải
- đòi hỏi
- nghiên cứu
- Kết quả
- ngay
- rủi ro
- thường xuyên
- HÀNG
- chạy
- tương tự
- nói
- khả năng mở rộng
- Quy mô
- kịch bản
- Khoa học
- Nhà khoa học
- các nhà khoa học
- Tìm kiếm
- Phần
- xem
- cao cấp
- dịch vụ
- DỊCH VỤ
- định
- nên
- hiển thị
- thể hiện
- Chương trình
- Tương tự
- đơn giản hóa
- đơn giản
- duy nhất
- Kích thước máy
- Mạng xã hội
- mạng xã hội
- Giải pháp
- động SOLVE
- một số
- nguồn
- nhà nước-of-the-art
- Bước
- Các bước
- là gắn
- hàng
- lưu trữ
- Chiến lược
- cấu trúc
- Học tập
- như vậy
- cung cấp
- Chuỗi cung ứng
- hỗ trợ
- Hỗ trợ
- Hỗ trợ
- bàn
- Hãy
- mất
- Nhiệm vụ
- nhóm
- đội
- công nghệ cao
- Kỹ thuật
- kỹ thuật
- hàng chục
- thử nghiệm
- việc này
- Sản phẩm
- Tương lai
- Đồ thị
- Nguồn
- cung cấp their dịch
- Đó
- vì thế
- Kia là
- họ
- nghĩ
- điều này
- Tuy nhiên?
- hàng ngàn
- mối đe dọa
- số ba
- thời gian
- đến
- công cụ
- hàng đầu
- giao thông
- Train
- đào tạo
- Hội thảo
- giao dịch
- Chuyển đổi
- biến áp
- đúng
- thử
- hai
- kiểu
- loại
- Dưới
- độc đáo
- trường đại học
- khả năng sử dụng
- sử dụng
- ca sử dụng
- đã sử dụng
- sử dụng
- sử dụng
- Quý báu
- khác nhau
- địa điểm
- theo chiều dọc
- thông qua
- Truy cập
- là
- Đường..
- we
- web
- các dịch vụ web
- TỐT
- khi nào
- cái nào
- rộng rãi
- sẽ
- với
- không có
- làm việc
- viết
- khoai mỡ
- Bạn
- trên màn hình
- zephyrnet
- VƯỜN BÁCH THÚ