Đừng bận tâm đến việc sử dụng các mô hình ngôn ngữ lớn (LLM) để giúp viết mã, Giám đốc điều hành Nvidia Jensen Huang tin rằng trong tương lai, phần mềm doanh nghiệp sẽ chỉ là một tập hợp các bot trò chuyện được xâu chuỗi lại với nhau để hoàn thành nhiệm vụ.
“Không chắc là bạn sẽ viết nó từ đầu hoặc viết cả đống mã Python hay bất cứ thứ gì tương tự,” anh ấy nói trên sân khấu trong GTC của mình bài phát biểu Thứ hai. “Rất có khả năng bạn đã tập hợp được một nhóm AI.”
Jensen giải thích, nhóm AI này có thể bao gồm một mô hình được thiết kế để chia nhỏ và ủy thác yêu cầu cho nhiều mô hình khác. Một số mô hình này có thể được đào tạo để hiểu các dịch vụ kinh doanh như SAP hoặc Service Now, trong khi những mô hình khác có thể thực hiện phân tích số về dữ liệu được lưu trữ trong cơ sở dữ liệu vectơ. Dữ liệu này sau đó có thể được kết hợp và trình bày cho người dùng cuối bằng một mô hình khác.
“Chúng tôi có thể nhận được báo cáo hàng ngày hoặc bạn biết đấy, vào đầu giờ có liên quan đến kế hoạch xây dựng, một số dự báo, hoặc một số cảnh báo khách hàng, hoặc một số cơ sở dữ liệu về lỗi hoặc bất cứ điều gì xảy ra,” anh ấy giải thích
Để kết nối tất cả các mô hình này lại với nhau, Nvidia đang lấy một trang từ cuốn sách của Docker và đã tạo thời gian chạy vùng chứa cho AI.
Được đặt tên là Nvidia Inference Microservices, hay gọi tắt là NIM, về cơ bản đây là các hình ảnh chứa chứa cả mô hình, cho dù đó là nguồn mở hay độc quyền, cùng với tất cả các phụ thuộc cần thiết để mô hình chạy. Sau đó, các mô hình được đóng gói này có thể được triển khai trên bất kỳ số lượng thời gian chạy nào, bao gồm cả các nút Kubernetes được tăng tốc bởi Nvidia.
“Bạn có thể triển khai nó trên cơ sở hạ tầng của chúng tôi có tên là DGX Cloud hoặc bạn có thể triển khai nó tại chỗ hoặc bạn có thể triển khai nó ở bất cứ đâu bạn muốn. Một khi bạn phát triển nó, bạn có thể mang nó đi bất cứ đâu,” Jensen nói.
Tất nhiên, trước tiên bạn sẽ cần đăng ký bộ AI Enterprise của Nvidia, mức giá này không hề rẻ ở mức 4,500 USD/năm cho mỗi GPU hoặc 1 USD/giờ cho mỗi GPU trên đám mây. Chiến lược định giá này dường như khuyến khích các hệ thống có hiệu suất cao hơn, dày đặc hơn nói chung vì nó có giá như nhau bất kể bạn đang chạy trên L40 hay LXNUMX. B100s.
Nếu ý tưởng chứa khối lượng công việc tăng tốc GPU nghe có vẻ quen thuộc thì đây chính xác không phải là một ý tưởng mới đối với Nvidia. Tăng tốc CUDA đã được hỗ trợ trên nhiều thời gian chạy container khác nhau, bao gồm Docker, Podman, Containerd hoặc CRI-O trong nhiều năm và có vẻ như Container Runtime của Nvidia sẽ không đi đến đâu cả.
Đề xuất giá trị đằng sau NIM dường như là Nvidia sẽ xử lý việc đóng gói và tối ưu hóa các mô hình này để chúng có phiên bản CUDA, Triton Inference Server hoặc TensorRT LLM phù hợp, cần thiết để chúng đạt được hiệu suất tốt nhất.
Lập luận là nếu Nvidia phát hành một bản cập nhật giúp tăng đáng kể hiệu suất suy luận của một số loại mô hình nhất định, thì việc tận dụng chức năng đó sẽ chỉ cần kéo xuống hình ảnh NIM mới nhất.
Ngoài việc tối ưu hóa mô hình phần cứng cụ thể, Nvidia cũng đang nỗ lực cho phép liên lạc nhất quán giữa các vùng chứa để chúng có thể trò chuyện với nhau thông qua lệnh gọi API.
Theo hiểu biết của chúng tôi, các lệnh gọi API được sử dụng bởi các mô hình AI khác nhau trên thị trường hiện nay không phải lúc nào cũng nhất quán, dẫn đến việc kết hợp một số mô hình lại với nhau dễ dàng hơn và trong khi những mô hình khác có thể yêu cầu công việc bổ sung.
Cho mượn kiến thức thể chế vào các mô hình có mục đích chung
Bất cứ ai đã sử dụng chatbot AI đều sẽ biết rằng mặc dù chúng thường xử lý khá tốt các câu hỏi kiến thức tổng quát nhưng không phải lúc nào chúng cũng đáng tin cậy nhất với các yêu cầu kỹ thuật hoặc khó hiểu.
Jensen nhấn mạnh thực tế này trong bài phát biểu quan trọng của mình. Khi được hỏi về một chương trình nội bộ được sử dụng trong Nvidia, mô hình ngôn ngữ lớn Llama 2 70B của Meta không ngạc nhiên khi cung cấp định nghĩa cho một thuật ngữ không liên quan.
Thay vì cố gắng yêu cầu các doanh nghiệp đào tạo mô hình của riêng họ - thứ sẽ bán được nhiều GPU nhưng sẽ hạn chế đáng kể thị trường có thể định địa chỉ - Nvidia đã phát triển các công cụ để tinh chỉnh NIM của mình bằng dữ liệu và quy trình của khách hàng.
“Chúng tôi có một dịch vụ tên là NeMo Microservices giúp bạn quản lý dữ liệu, chuẩn bị dữ liệu để bạn có thể… tích hợp AI này. Bạn tinh chỉnh nó và sau đó bạn bảo vệ nó; sau đó bạn có thể đánh giá… hiệu suất của nó so với các ví dụ khác,” Huang giải thích.
Anh ấy cũng đề cập đến dịch vụ NeMo Retriever của Nvidia dựa trên khái niệm sử dụng thế hệ tăng cường truy xuất (RAG) để hiển thị thông tin mà mô hình chưa được đào tạo cụ thể.
Ý tưởng ở đây là các tài liệu, quy trình và dữ liệu khác có thể được tải vào cơ sở dữ liệu vectơ được kết nối với mô hình. Dựa trên một truy vấn, mô hình có thể tìm kiếm cơ sở dữ liệu đó, truy xuất và tóm tắt thông tin liên quan.
Các mô hình NIM và NeMo Retriever để tích hợp RAG hiện đã có sẵn, trong khi NeMo Microservices đang ở giai đoạn truy cập sớm. ®
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://go.theregister.com/feed/www.theregister.com/2024/03/19/nvidia_why_write_code_when/
- : có
- :là
- $ LÊN
- 7
- a
- Giới thiệu
- tăng tốc
- tăng tốc
- truy cập
- ngang qua
- Ngoài ra
- thêm vào
- có thể giải quyết
- Lợi thế
- chống lại
- AI
- Chatbot AI
- Mô hình AI
- Cảnh báo
- Tất cả
- dọc theo
- Ngoài ra
- luôn luôn
- an
- phân tích
- và
- Một
- bất kì
- bất cứ điều gì
- bất cứ nơi nào
- api
- xuất hiện
- LÀ
- đối số
- xung quanh
- AS
- At
- tăng cường
- có sẵn
- dựa
- BE
- được
- sau
- được
- tin
- BEST
- giữa
- cuốn sách
- tăng
- cả hai
- chương trình
- Nghỉ giải lao
- lỗi
- xây dựng
- xăn lên
- kinh doanh
- nhưng
- by
- gọi là
- Cuộc gọi
- CAN
- Có thể có được
- giám đốc điều hành
- nhất định
- chuỗi
- trò chuyện trên mạng
- chatbot
- giá rẻ
- đám mây
- CO
- mã
- bộ sưu tập
- kết hợp
- Truyền thông
- hoàn thành
- khái niệm
- kết nối
- thích hợp
- Container
- Container
- Chi phí
- Khóa học
- tạo ra
- cai trị
- khách hàng
- dữ liệu khách hàng
- dữ liệu
- Cơ sở dữ liệu
- ngày
- định nghĩa
- phụ thuộc
- triển khai
- triển khai
- thiết kế
- phát triển
- phát triển
- do
- phu bến tàu
- tài liệu
- doesn
- xuống
- đột ngột
- suốt trong
- mỗi
- Đầu
- dễ dàng hơn
- cho phép
- cuối
- Doanh nghiệp
- phần mềm doanh nghiệp
- doanh nghiệp
- chủ yếu
- Mỗi
- chính xác
- ví dụ
- Giải thích
- Giải thích
- thực tế
- quen
- cuối
- Tên
- Trong
- Dự báo
- từ
- chức năng
- tương lai
- Tổng Quát
- thế hệ
- được
- đi
- tốt
- GPU
- GPU
- xử lý
- xảy ra
- phần cứng
- Có
- he
- giúp đỡ
- giúp
- tại đây
- cao hơn
- Nhấn mạnh
- của mình
- giờ
- HTTPS
- huang
- ý tưởng
- if
- hình ảnh
- hình ảnh
- in
- khuyến khích
- bao gồm
- Bao gồm
- thông tin
- Cơ sở hạ tầng
- Thể chế
- Tích hợp
- nội bộ
- trong
- isn
- IT
- ITS
- jensen huang
- jpg
- chỉ
- Chủ âm
- Biết
- kiến thức
- Ngôn ngữ
- lớn
- mới nhất
- Lượt thích
- Có khả năng
- LIMIT
- ll
- Loài đà mã ở nam mỹ
- LLM
- Xem
- giống như
- Rất nhiều
- thị trường
- Có thể..
- Siêu dữ liệu
- microservices
- Might
- kiểu mẫu
- mô hình
- Thứ Hai
- hầu hết
- cần thiết
- Cần
- Mới
- các nút
- tại
- con số
- Nvidia
- of
- on
- onboard
- hàng loạt
- mở
- mã nguồn mở
- tối ưu hóa
- tối ưu hóa
- or
- Nền tảng khác
- Khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- riêng
- bao bì
- trang
- mỗi
- Thực hiện
- hiệu suất
- kế hoạch
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- tiền
- Chuẩn bị
- trình bày
- khá
- giá
- Quy trình
- chương trình
- đề xuất
- độc quyền
- cung cấp
- kéo
- mục đích
- Python
- truy vấn
- Câu hỏi
- giẻ lau
- RE
- Bất kể
- Phát hành
- có liên quan
- đáng tin cậy
- báo cáo
- yêu cầu
- yêu cầu
- yêu cầu
- kết quả
- thu hồi
- ngay
- chạy
- thời gian chạy
- s
- Nói
- tương tự
- sap
- xước
- Tìm kiếm
- hình như
- bán
- máy chủ
- dịch vụ
- DỊCH VỤ
- ngắn
- duy nhất
- So
- Phần mềm
- một số
- một cái gì đó
- âm thanh
- nguồn
- riêng
- đặc biệt
- Traineeship
- lưu trữ
- Chiến lược
- Chuỗi
- đăng ký
- bộ
- tóm tắt
- Bề mặt
- hệ thống
- Hãy
- dùng
- Nhiệm vụ
- nhóm
- Kỹ thuật
- kỳ hạn
- việc này
- Sản phẩm
- Tương lai
- cung cấp their dịch
- Them
- sau đó
- Kia là
- họ
- điều này
- đến
- bây giờ
- bên nhau
- công cụ
- hàng đầu
- Train
- đào tạo
- Triton
- cố gắng
- điều chỉnh
- loại
- hiểu
- không
- Cập nhật
- đã sử dụng
- người sử dang
- sử dụng
- thường
- giá trị
- nhiều
- khác nhau
- phiên bản
- rất
- thông qua
- we
- bất cứ điều gì
- liệu
- cái nào
- trong khi
- CHÚNG TÔI LÀ
- toàn bộ
- rộng
- sẽ
- với
- ở trong
- Công việc
- đang làm việc
- sẽ
- viết
- viết mã
- năm
- nhưng
- Bạn
- của bạn
- youtube
- zephyrnet