Với AI, bạn cần nhìn thấy bức tranh phần cứng và phần mềm lớn hơn

Tính năng được tài trợ Đã một thập kỷ rưỡi kể từ khi các nhà nghiên cứu làm lóa mắt thế giới công nghệ bằng cách chứng minh rằng các đơn vị xử lý đồ họa có thể được sử dụng để tăng tốc đáng kể các hoạt động AI chính.

Nhận thức đó tiếp tục thu hút trí tưởng tượng của các doanh nghiệp. IDC đã báo cáo rằng khi nói đến cơ sở hạ tầng, tính toán tăng tốc GPU và HPC như mở rộng quy mô là một trong những cân nhắc hàng đầu đối với các nhà lãnh đạo công nghệ và kiến ​​trúc sư muốn xây dựng cơ sở hạ tầng AI của họ.

Nhưng đối với tất cả các tổ chức đã áp dụng thành công AI vào các vấn đề trong thế giới thực, nhiều tổ chức khác phải vật lộn để vượt qua giai đoạn thử nghiệm hoặc thử nghiệm. Nghiên cứu năm 2021 của IDC nhận thấy rằng chưa đến một phần ba số người được hỏi đã chuyển các dự án AI của họ vào sản xuất và chỉ một phần ba trong số đó đã đạt đến “giai đoạn sản xuất trưởng thành”.

Các rào cản được trích dẫn bao gồm các vấn đề về xử lý và chuẩn bị dữ liệu cũng như tăng cường cơ sở hạ tầng để hỗ trợ AI ở quy mô doanh nghiệp. IDC cho biết các doanh nghiệp cần đầu tư vào “cơ sở hạ tầng được xây dựng có mục đích và đúng quy mô”.

Vấn đề AI ở đây là gì?

Vậy những tổ chức đó đã sai ở đâu với AI? Một yếu tố có thể là các nhà lãnh đạo công nghệ và chuyên gia AI không có cái nhìn tổng thể về hệ thống AI rộng lớn hơn trong khi chú ý quá nhiều đến GPU so với các công cụ tính toán khác, đặc biệt là CPU đáng kính.

Bởi vì cuối cùng, vấn đề không phải là sao lưu CPU so với GPU so với ASIC. Thay vào đó, đó là việc tìm ra cách tối ưu để xây dựng một quy trình AI có thể đưa bạn từ ý tưởng, dữ liệu và xây dựng mô hình đến triển khai và suy luận. Và điều đó có nghĩa là đánh giá cao các điểm mạnh tương ứng của các kiến ​​trúc bộ xử lý khác nhau, để bạn có thể áp dụng công cụ tính toán phù hợp vào đúng thời điểm.

Với tư cách là giám đốc cấp cao của Intel, Chiến lược và Thực thi AI của Trung tâm dữ liệu, Shardul Brahmbhatt giải thích: “CPU đã được sử dụng cho các vi dịch vụ và phiên bản điện toán truyền thống trên đám mây. Và GPU đã được sử dụng để tính toán song song, như truyền phát phương tiện, chơi trò chơi và cho khối lượng công việc AI.”

Vì vậy, khi các công ty siêu quy mô và những người chơi trên đám mây khác chuyển sự chú ý của họ sang AI, rõ ràng là họ đang tận dụng những điểm mạnh giống nhau này cho các nhiệm vụ khác nhau.

Chẳng hạn, các khả năng của GPU xung quanh tính toán song song khiến chúng rất phù hợp để đào tạo các thuật toán AI. Trong khi đó, CPU có lợi thế khi có lô thấp, suy luận thời gian thực có độ trễ thấp và sử dụng các thuật toán đó để phân tích dữ liệu trực tiếp cũng như đưa ra kết quả và dự đoán.

Brahmbhatt giải thích một lần nữa, có những lưu ý, “Có những nơi bạn muốn thực hiện nhiều suy luận hàng loạt hơn. Và suy luận hàng loạt đó cũng là thứ đang được thực hiện thông qua GPU hoặc ASIC.”

Nhìn xuống đường ống

Nhưng hệ thống AI còn vượt ra ngoài đào tạo và suy luận. Ở phía bên trái của đường ống, dữ liệu phải được xử lý trước và các thuật toán được phát triển. CPU nói chung có một vai trò quan trọng ở đây.

Trên thực tế, GPU chiếm một tỷ lệ tương đối nhỏ trong tổng số hoạt động của bộ xử lý trên đường ống AI, với khối lượng công việc “giai đoạn dữ liệu” do CPU cung cấp chiếm XNUMX/XNUMX tổng thể, theo Intel (bạn có thể đọc Tóm tắt giải pháp – Tối ưu hóa suy luận với công nghệ CPU Intel đây).

Và Brahmbhatt nhắc nhở chúng ta rằng kiến ​​trúc CPU có những ưu điểm khác, bao gồm cả khả năng lập trình.

Ông nói: “Bởi vì CPU đã được sử dụng rất rộng rãi nên đã có sẵn một hệ sinh thái gồm các nhà phát triển và ứng dụng, cộng với các công cụ mang lại sự dễ sử dụng và khả năng lập trình cho điện toán cho mục đích chung.

“Thứ hai, CPU cung cấp khả năng truy cập nhanh hơn vào không gian bộ nhớ lớn hơn. Và sau đó, điều thứ ba là tính toán phi cấu trúc hơn so với GPU [mà] tính toán song song hơn. Vì những lý do này, CPU hoạt động như bộ chuyển dữ liệu cung cấp cho GPU, do đó giúp ích cho các mô hình Hệ thống đề xuất cũng như khối lượng công việc đang phát triển như Mạng nơ-ron đồ thị.”

Một kế hoạch mở để phát triển AI

Vậy chúng ta nên xem vai trò của CPU và GPU tương ứng như thế nào khi lập kế hoạch cho một quy trình phát triển AI, cho dù tại chỗ, trên đám mây hay kết hợp cả hai?

GPU đã cách mạng hóa quá trình phát triển AI, bởi vì chúng cung cấp một phương pháp tăng tốc giúp giảm tải các hoạt động từ CPU. Nhưng không có nghĩa đây là lựa chọn hợp lý nhất cho một công việc nhất định.

Như kiến ​​trúc sư nền tảng của Intel, Sharath Raghava giải thích “Các ứng dụng AI có tính toán vector hóa. Tính toán vector là song song. Để chạy khối lượng công việc AI một cách hiệu quả, người ta có thể khai thác khả năng của CPU và GPU khi xem xét kích thước của phép tính vectơ, độ trễ giảm tải, khả năng song song hóa và nhiều yếu tố khác”. Nhưng anh ấy tiếp tục, đối với một nhiệm vụ “nhỏ hơn”, “chi phí” giảm tải sẽ quá cao và việc chạy nó trên GPU hoặc máy gia tốc có thể không hợp lý.

CPU cũng có thể hưởng lợi từ việc tích hợp chặt chẽ hơn với các thành phần hệ thống khác cho phép chúng hoàn thành công việc AI nhanh hơn. Nhận được giá trị tối đa từ việc triển khai AI không chỉ liên quan đến việc chỉ chạy các mô hình – thông tin chi tiết được tìm kiếm phụ thuộc vào các hoạt động tiền xử lý, suy luận và hậu xử lý hiệu quả. Quá trình tiền xử lý yêu cầu dữ liệu phải được chuẩn bị để phù hợp với kỳ vọng đầu vào của mô hình được đào tạo trước khi nó được cung cấp để tạo suy luận. Thông tin hữu ích sau đó được trích xuất từ ​​các kết quả suy luận ở giai đoạn hậu xử lý.

Ví dụ: nếu chúng ta nghĩ về hệ thống phát hiện xâm nhập trung tâm dữ liệu (IDS), thì điều quan trọng là phải hành động dựa trên kết quả đầu ra của mô hình để kịp thời bảo vệ và ngăn chặn bất kỳ thiệt hại nào từ một cuộc tấn công mạng. Và thông thường, các bước tiền xử lý và hậu xử lý sẽ hiệu quả hơn khi chúng được thực hiện trên các CPU của hệ thống máy chủ vì chúng được tích hợp chặt chẽ hơn với phần còn lại của hệ sinh thái kiến ​​trúc.

Tăng hiệu suất theo đơn đặt hàng của người mới bắt đầu

Vì vậy, điều đó có nghĩa là từ bỏ hoàn toàn những lợi ích của việc tăng tốc GPU? Không cần thiết. Intel đã tích hợp khả năng tăng tốc AI vào các CPU Xeon có thể mở rộng của mình trong một số năm. Phạm vi này đã bao gồm Deep Learning Boost để có kết luận hiệu suất cao trên các mô hình học sâu, trong khi Phần mở rộng Vector nâng cao 512 (AVX 512) và Phần mở rộng mạng nơ-ron Vector (VNNI) của Intel tăng tốc hiệu suất kết nối INT8. Nhưng DL Boost cũng sử dụng định dạng dấu chấm động não bộ (BF16) để tăng hiệu suất cho khối lượng công việc đào tạo không yêu cầu độ chính xác cao.

Các CPU thế hệ thứ tư Xeon Scalable sắp ra mắt của Intel sẽ bổ sung phép nhân ma trận nâng cao hoặc AMX. Điều này sẽ tăng gấp 8 lần so với các phần mở rộng AVX-512 VNNI x86 được triển khai trong các bộ xử lý trước đó theo tính toán của Intel và cho phép bộ xử lý Intel Xeon Scalable thế hệ thứ 4 “xử lý khối lượng công việc đào tạo và thuật toán DL giống như GPU”. Nhưng những bộ tăng tốc tương tự đó cũng có thể được áp dụng cho tính toán CPU chung cho khối lượng công việc AI và không phải AI.

Điều đó không có nghĩa là Intel mong đợi các đường ống AI sẽ là x86 từ đầu đến cuối. Khi việc giảm tải hoàn toàn khối lượng công việc đào tạo sẽ được hưởng lợi từ quá trình song song hóa trở nên hợp lý hơn, Intel cung cấp Bộ xử lý đào tạo AI Habana Gaudi của mình. Các thử nghiệm điểm chuẩn cho thấy rằng các phiên bản Amazon EC2 DL1 mạnh mẽ sau này có thể mang lại hiệu suất giá tốt hơn tới 40% so với các phiên bản đào tạo dựa trên GPU Nvidia tương đương cũng được lưu trữ trên đám mây.

Đồng thời, Dòng sản phẩm GPU Flex dành cho Trung tâm dữ liệu của Intel hướng đến các khối lượng công việc và hoạt động được hưởng lợi từ quá trình song song hóa, chẳng hạn như suy luận AI, với các cách triển khai khác nhau dành cho các mô hình AI “nhẹ hơn” và phức tạp hơn. Một GPU khác của Trung tâm dữ liệu Intel®, có tên mã là Ponte Vecchio (PVC), sẽ sớm bắt đầu cung cấp năng lượng cho siêu máy tính Aurora tại Phòng thí nghiệm quốc gia Argonne.

Chúng ta có thể đi từ đầu đến cuối không?

Sau đó, có khả năng là silicon của Intel có thể củng cố toàn bộ hệ thống AI, đồng thời giảm thiểu nhu cầu giảm tải dữ liệu giữa các công cụ tính toán khác nhau một cách không cần thiết. Bộ xử lý của công ty – dù là GPU hay CPU – cũng hỗ trợ một mô hình phần mềm chung dựa trên công cụ và khung nguồn mở với sự tối ưu hóa của Intel thông qua chương trình OneAPI.

Brahmbhatt trích dẫn di sản của Intel trong việc xây dựng hệ sinh thái phần mềm x86 dựa trên cộng đồng và nguồn mở như một lợi thế khác. “Triết lý mà Intel có là … 'hãy để hệ sinh thái thúc đẩy việc áp dụng'. Và chúng tôi cần đảm bảo rằng chúng tôi công bằng và cởi mở với hệ sinh thái, đồng thời chúng tôi cung cấp bất kỳ loại nước sốt bí mật nào của mình trở lại hệ sinh thái.”

“Chúng tôi đang sử dụng một ngăn xếp phần mềm chung, về cơ bản để đảm bảo rằng các nhà phát triển không phải lo lắng về sự khác biệt cơ bản về IP giữa CPU và GPU cho AI.”

Sự kết hợp giữa ngăn xếp phần mềm chung và việc tập trung vào việc sử dụng công cụ tính toán phù hợp cho đúng nhiệm vụ thậm chí còn quan trọng hơn trong doanh nghiệp. Các doanh nghiệp đang dựa vào AI để giúp họ giải quyết một số vấn đề cấp bách nhất, cho dù vấn đề đó nằm trên đám mây hay tại chỗ. Nhưng khối lượng công việc hỗn hợp yêu cầu phần mềm đầy đủ tính năng, cũng như bảo trì và quản lý ngăn xếp hệ thống, để chạy mã không có trong nhân nằm trên máy gia tốc.

Vì vậy, khi trả lời câu hỏi “làm thế nào để đưa AI vào quy mô doanh nghiệp”, câu trả lời có thể phụ thuộc vào việc xem xét bức tranh toàn cảnh hơn và đảm bảo rằng bạn sử dụng đầy đủ bộ phần cứng và phần mềm theo ý của mình.

Được tài trợ bởi Intel.