Huấn luyện một lần, chạy ở bất cứ đâu, hầu như: nỗ lực của Qualcomm để đưa AI vào điện thoại, chip PC

Qualcomm biết rằng nếu họ muốn các nhà phát triển xây dựng và tối ưu hóa các ứng dụng AI trên danh mục silicon của mình, thì gã khổng lồ Snapdragon cần phải làm cho trải nghiệm đơn giản hơn và lý tưởng hơn là những gì mà các đối thủ của họ đã làm trong bộ phận ngăn xếp phần mềm.

Đó là lý do tại sao hôm thứ Tư, nhà thiết kế chip tuyệt vời đã giới thiệu cái mà họ gọi là Ngăn xếp AI của Qualcomm, nhằm mục đích cho phép các nhà phát triển sử dụng các mô hình AI mà họ đã phát triển cho một loại thiết bị, chẳng hạn như điện thoại thông minh và dễ dàng điều chỉnh chúng cho một loại thiết bị khác, như PC. Ngăn xếp này chỉ dành cho các thiết bị được cung cấp bởi hệ thống trên chip của Qualcomm, có thể là trong máy tính xách tay, điện thoại di động, thiết bị giải trí trên xe hơi hoặc thứ gì đó khác.

Trong khi Qualcomm nổi tiếng với chip Snapdragon dựa trên thiết bị di động, cung cấp năng lượng cho nhiều điện thoại Android, nhà chip này đang hy vọng phát triển sang các thị trường khác, chẳng hạn như máy tính cá nhân, Internet of Things và ô tô. Sự mở rộng này có nghĩa là Qualcomm đang cạnh tranh với những Apple , Intel, Nvidia, AMDvà những người khác, trên một chiến trường lớn hơn nhiều.

Cho rằng tất cả những người chơi này đều đồng ý rằng AI là khối lượng công việc quan trọng trong tương lai cho mọi thứ từ ô tô và thiết bị IoT đến PC và điện thoại thông minh, Qualcomm hy vọng sẽ nổi bật với một ngăn xếp phần mềm thống nhất, tập hợp tất cả các công cụ, khuôn khổ, thời gian chạy hiện có của công ty và các các loại phần mềm để phát triển các ứng dụng AI trên các dòng vi xử lý của nó.

Trong một cuộc họp báo với các nhà báo, giám đốc điều hành Qualcomm Ziad Asghar cho biết việc hợp nhất các nỗ lực phần mềm AI của công ty phù hợp với cách họ sử dụng công nghệ chip lõi của mình và điều chỉnh nó với các thị trường khác nhau với khả năng tùy chỉnh.

Asghar, phó chủ tịch quản lý sản phẩm của Qualcomm Technologies, cho biết: “Vì vậy, một khoản đầu tư trở thành một lợi thế tích cực thực sự đối với chúng tôi bởi vì giờ đây khoản đầu tư mà chúng tôi thực hiện trong một lĩnh vực thực sự có thể lan truyền rất mạnh mẽ sang tất cả các lĩnh vực khác nhau.

Mở bộ công cụ

Với Qualcomm AI Stack, công ty hiện đang hy vọng mang lại lợi ích này khi sử dụng một bộ công nghệ cho nhiều khu vực thị trường cho các nhà phát triển và nhà sản xuất thiết bị về mặt phần mềm.

Bằng cách cắt giảm khối lượng công việc cần thiết để điều chỉnh các ứng dụng AI từ loại chip Qualcomm này sang loại chip Qualcomm khác, biz hứa hẹn sẽ giúp các công ty tiết kiệm tiền cho các nguồn lực kỹ thuật đắt tiền.

“Chúng tôi đang trao khả năng cho cơ sở OEM của mình để có thể làm điều đó ở mức độ lớn mà không thực sự phải chi nhiều hơn về [kỹ thuật không lặp lại],” Asghar nói.

Theo Asghar, điều làm cho Qualcomm AI Stack khác biệt với các phần mềm cạnh tranh, là Bộ công cụ hiệu quả mô hình Qualcomm AI. Một trong những tính năng quan trọng nhất của nó là khả năng nén mô hình AI ngốn điện được đào tạo trên đám mây từ độ chính xác dấu phẩy động 32 bit sang định dạng số nguyên 8 bit để nó có thể chạy tốt trên các thiết bị tiêu thụ điện năng thấp.

Ông nói: “Khi bạn làm điều đó, bạn có thể mang lại những lợi ích to lớn về mức tiêu thụ điện năng, cải thiện mức tiêu thụ điện năng lên đến bốn lần trong nhiều trường hợp trong các tình huống như thế này.

Qualcomm cũng đang phát triển công cụ Tìm kiếm kiến ​​trúc thần kinh của mình, cho phép các nhà phát triển tối ưu hóa các mô hình AI bằng cách sử dụng nhiều ràng buộc khác nhau, chẳng hạn như độ chính xác cao hơn, độ trễ thấp hơn hoặc công suất thấp hơn. Asghar cho biết, điều này sẽ cho phép các nhà phát triển “có được độ chính xác cao hơn hoặc một mô hình có thể cung cấp cho bạn độ trễ thấp hơn hoặc một mô hình có thể thực hiện cùng một nhiệm vụ với công suất thấp hơn”.

Mặc dù phần lớn phần mềm cơ bản trong Qualcomm AI Stack không phải là mới, nhưng Asghar gọi việc hợp nhất các yếu tố là một “bước tiến nhảy vọt” đối với các nhà phát triển và nhà sản xuất thiết bị, đồng thời cho biết nó sẽ đóng vai trò là nền tảng cho các bộ phát triển phần mềm dành cho miền cụ thể trong tương lai. thị trường hình thành.

“Những gì chúng tôi hình dung là bây giờ với nền tảng rất vững chắc này, được thống nhất trên tất cả các ngành kinh doanh khác nhau, chúng tôi có thể bắt đầu viết thêm các SDK dành riêng cho miền này khi một ngành dọc mới xuất hiện, nơi chúng tôi thấy sự tập hợp của các khách hàng của mình,” anh ấy nói. ®