Khách hàng về chăm sóc sức khỏe và khoa học đời sống (HCLS) đang áp dụng AI tổng quát như một công cụ để khai thác được nhiều hơn từ dữ liệu của họ. Các trường hợp sử dụng bao gồm tóm tắt tài liệu để giúp người đọc tập trung vào các điểm chính của tài liệu và chuyển văn bản phi cấu trúc thành các định dạng chuẩn hóa để làm nổi bật các thuộc tính quan trọng. Với các định dạng dữ liệu độc đáo và yêu cầu quy định nghiêm ngặt, khách hàng đang tìm kiếm các lựa chọn để chọn mô hình hiệu quả nhất và tiết kiệm chi phí nhất, cũng như khả năng thực hiện tùy chỉnh cần thiết (tinh chỉnh) để phù hợp với trường hợp sử dụng kinh doanh của họ. Trong bài đăng này, chúng tôi sẽ hướng dẫn bạn cách triển khai mô hình ngôn ngữ lớn Falcon (LLM) bằng cách sử dụng Khởi động Amazon SageMaker và sử dụng mô hình để tóm tắt các tài liệu dài bằng LangChain và Python.
Tổng quan về giải pháp
Amazon SageMaker được xây dựng dựa trên kinh nghiệm hai thập kỷ của Amazon trong việc phát triển các ứng dụng ML trong thế giới thực, bao gồm đề xuất sản phẩm, cá nhân hóa, mua sắm thông minh, robot và thiết bị hỗ trợ giọng nói. SageMaker là dịch vụ được quản lý đủ điều kiện theo HIPAA, cung cấp các công cụ cho phép các nhà khoa học dữ liệu, kỹ sư ML và nhà phân tích kinh doanh đổi mới với ML. Trong SageMaker là Xưởng sản xuất Amazon SageMaker, một môi trường phát triển tích hợp (IDE) được xây dựng có mục đích dành cho các quy trình công việc ML cộng tác, từ đó chứa nhiều giải pháp khởi động nhanh và các mô hình ML được đào tạo trước trong một trung tâm tích hợp có tên là SageMaker JumpStart. Với SageMaker JumpStart, bạn có thể sử dụng các mô hình được đào tạo trước, chẳng hạn như Falcon LLM, với sổ ghi chép mẫu dựng sẵn và hỗ trợ SDK để thử nghiệm và triển khai các mô hình máy biến áp mạnh mẽ này. Bạn có thể sử dụng SageMaker Studio và SageMaker JumpStart để triển khai và truy vấn mô hình tổng quát của riêng bạn trong tài khoản AWS.
Bạn cũng có thể đảm bảo rằng dữ liệu tải trọng suy luận không rời khỏi VPC của bạn. Bạn có thể cung cấp các mô hình dưới dạng điểm cuối của một đối tượng thuê và triển khai chúng với chế độ cách ly mạng. Hơn nữa, bạn có thể sắp xếp và quản lý tập hợp mô hình đã chọn đáp ứng yêu cầu bảo mật của riêng mình bằng cách sử dụng khả năng trung tâm mô hình riêng trong SageMaker JumpStart và lưu trữ các mô hình đã được phê duyệt trong đó. SageMaker nằm trong phạm vi dành cho HIPAA BAA, SOC123và HITRUST CSF.
Sản phẩm Chim ưng LLM là một mô hình ngôn ngữ lớn, được đào tạo bởi các nhà nghiên cứu tại Viện Đổi mới Công nghệ (TII) trên hơn 1 nghìn tỷ token sử dụng AWS. Falcon có nhiều biến thể khác nhau, với hai thành phần chính là Falcon 40B và Falcon 7B, lần lượt bao gồm 40 tỷ và 7 tỷ thông số, với các phiên bản được tinh chỉnh được huấn luyện cho các nhiệm vụ cụ thể, chẳng hạn như làm theo hướng dẫn. Falcon thực hiện tốt nhiều nhiệm vụ khác nhau, bao gồm tóm tắt văn bản, phân tích cảm xúc, trả lời câu hỏi và trò chuyện. Bài đăng này cung cấp hướng dẫn mà bạn có thể làm theo để triển khai Falcon LLM vào tài khoản AWS của mình, sử dụng phiên bản sổ ghi chép được quản lý thông qua SageMaker JumpStart để thử nghiệm tính năng tóm tắt văn bản.
Trung tâm mô hình SageMaker JumpStart bao gồm các sổ ghi chép hoàn chỉnh để triển khai và truy vấn từng mô hình. Theo văn bản này, có sáu phiên bản Falcon có sẵn trong trung tâm mô hình SageMaker JumpStart: Falcon 40B Instruct BF16, Falcon 40B BF16, Falcon 180B BF16, Falcon 180B Chat BF16, Falcon 7B Instruct BF16 và Falcon 7B BF16. Bài đăng này sử dụng mô hình Hướng dẫn Falcon 7B.
Trong các phần sau, chúng tôi trình bày cách bắt đầu tóm tắt tài liệu bằng cách triển khai Falcon 7B trên SageMaker Jumpstart.
Điều kiện tiên quyết
Đối với hướng dẫn này, bạn sẽ cần tài khoản AWS có miền SageMaker. Nếu bạn chưa có miền SageMaker, hãy tham khảo Tích hợp vào Miền Amazon SageMaker để tạo ra một.
Triển khai Falcon 7B bằng SageMaker JumpStart
Để triển khai mô hình của bạn, hãy hoàn thành các bước sau:
- Điều hướng đến môi trường SageMaker Studio của bạn từ bảng điều khiển SageMaker.
- Trong IDE, dưới Khởi động SageMaker trong ngăn điều hướng, chọn Mô hình, sổ tay, lời giải.
- Triển khai mô hình Falcon 7B Instruct đến điểm cuối để suy luận.
Thao tác này sẽ mở thẻ mô hình cho mẫu Falcon 7B Instruct BF16. Trên trang này, bạn có thể tìm thấy Triển khai or Train các tùy chọn cũng như liên kết để mở sổ ghi chép mẫu trong SageMaker Studio. Bài đăng này sẽ sử dụng sổ ghi chép mẫu từ SageMaker JumpStart để triển khai mô hình.
- Chọn Mở sổ tay.
- Chạy bốn ô đầu tiên của sổ ghi chép để triển khai điểm cuối Falcon 7B Instruct.
Bạn có thể xem các mô hình JumpStart đã triển khai của mình trên Ra mắt tài sản JumpStart .
- Trong ngăn dẫn hướng, dưới Khởi động SageMaker, chọn Ra mắt tài sản JumpStart.
- Chọn Điểm cuối của mô hình tab để xem trạng thái điểm cuối của bạn.
Khi điểm cuối Falcon LLM được triển khai, bạn đã sẵn sàng truy vấn mô hình.
Chạy truy vấn đầu tiên của bạn
Để chạy truy vấn, hãy hoàn thành các bước sau:
- trên Tập tin menu, chọn Mới và Sổ tay để mở một sổ ghi chép mới.
Bạn cũng có thể tải xuống sổ ghi chép đã hoàn thành tại đây.
- Chọn hình ảnh, hạt nhân và loại phiên bản khi được nhắc. Đối với bài đăng này, chúng tôi chọn hình ảnh Khoa học dữ liệu 3.0, hạt nhân Python 3 và phiên bản ml.t3.medium.
- Nhập mô-đun Boto3 và JSON bằng cách nhập hai dòng sau vào ô đầu tiên:
- Ấn Bản Shift + Enter để chạy tế bào.
- Tiếp theo, bạn có thể xác định một hàm sẽ gọi điểm cuối của mình. Hàm này nhận trọng tải từ điển và sử dụng trọng tải đó để gọi ứng dụng khách thời gian chạy SageMaker. Sau đó, nó giải tuần tự hóa phản hồi và in văn bản đầu vào và văn bản được tạo.
Tải trọng bao gồm lời nhắc làm đầu vào, cùng với các tham số suy luận sẽ được chuyển đến mô hình.
- Bạn có thể sử dụng các tham số này cùng với lời nhắc để điều chỉnh đầu ra của mô hình cho trường hợp sử dụng của mình:
Truy vấn với lời nhắc tóm tắt
Bài đăng này sử dụng một bài nghiên cứu mẫu để minh họa cho bản tóm tắt. Tệp văn bản mẫu liên quan đến việc tóm tắt văn bản tự động trong tài liệu y sinh. Hoàn thành các bước sau:
- Tải về PDF và sao chép văn bản vào một tệp có tên
document.txt
. - Trong SageMaker Studio, chọn biểu tượng tải lên và tải tệp lên phiên bản SageMaker Studio của bạn.
Ngay lập tức, Falcon LLM cung cấp hỗ trợ tóm tắt văn bản.
- Hãy tạo một hàm sử dụng các kỹ thuật kỹ thuật nhanh chóng để tóm tắt
document.txt
:
Bạn sẽ nhận thấy rằng đối với các tài liệu dài hơn, sẽ xuất hiện lỗi—Falcon, cùng với tất cả các LLM khác, có giới hạn về số lượng mã thông báo được chuyển làm đầu vào. Chúng tôi có thể vượt qua giới hạn này bằng cách sử dụng khả năng tóm tắt nâng cao của LangChain, cho phép chuyển đầu vào lớn hơn nhiều đến LLM.
Nhập và chạy chuỗi tóm tắt
LangChain là một thư viện phần mềm nguồn mở cho phép các nhà phát triển và nhà khoa học dữ liệu nhanh chóng xây dựng, điều chỉnh và triển khai các ứng dụng tạo ra tùy chỉnh mà không cần quản lý các tương tác ML phức tạp, thường được sử dụng để trừu tượng hóa nhiều trường hợp sử dụng phổ biến cho các mô hình ngôn ngữ AI tạo ra chỉ trong một vài dòng mã. Sự hỗ trợ của LangChain dành cho các dịch vụ AWS bao gồm hỗ trợ cho các điểm cuối SageMaker.
LangChain cung cấp giao diện có thể truy cập được cho LLM. Các tính năng của nó bao gồm các công cụ tạo khuôn mẫu nhanh chóng và tạo chuỗi nhanh chóng. Những chuỗi này có thể được sử dụng để tóm tắt các tài liệu văn bản dài hơn những gì mô hình ngôn ngữ hỗ trợ trong một lệnh gọi. Bạn có thể sử dụng chiến lược thu nhỏ bản đồ để tóm tắt các tài liệu dài bằng cách chia nhỏ tài liệu đó thành các phần có thể quản lý được, tóm tắt và kết hợp chúng (và tóm tắt lại, nếu cần).
- Hãy cài đặt LangChain để bắt đầu:
- Nhập các mô-đun có liên quan và chia tài liệu dài thành nhiều phần:
- Để LangChain hoạt động hiệu quả với Falcon, bạn cần xác định các lớp xử lý nội dung mặc định cho đầu vào và đầu ra hợp lệ:
- Bạn có thể xác định lời nhắc tùy chỉnh là
PromptTemplate
object, phương tiện chính để nhắc nhở LangChain về phương pháp tóm tắt thu nhỏ bản đồ. Đây là bước tùy chọn vì các lời nhắc ánh xạ và kết hợp được cung cấp theo mặc định nếu các tham số trong lệnh gọi tải chuỗi tóm tắt (load_summarize_chain
) không được xác định.
- LangChain hỗ trợ LLM được lưu trữ trên điểm cuối suy luận SageMaker, vì vậy thay vì sử dụng AWS Python SDK, bạn có thể khởi tạo kết nối thông qua LangChain để có khả năng truy cập cao hơn:
- Cuối cùng, bạn có thể tải vào chuỗi tóm tắt và chạy bản tóm tắt trên các tài liệu đầu vào bằng mã sau:
Bởi vì verbose
tham số được đặt thành True
, bạn sẽ thấy tất cả kết quả đầu ra trung gian của phương pháp thu nhỏ bản đồ. Điều này rất hữu ích để theo dõi chuỗi sự kiện để đi đến bản tóm tắt cuối cùng. Với phương pháp thu nhỏ bản đồ này, bạn có thể tóm tắt tài liệu một cách hiệu quả lâu hơn nhiều so với giới hạn mã thông báo đầu vào tối đa của mô hình thường cho phép.
Làm sạch
Sau khi sử dụng xong điểm cuối suy luận, điều quan trọng là bạn phải xóa nó đi để tránh phát sinh những chi phí không cần thiết thông qua các dòng mã sau:
Sử dụng các mô hình nền tảng khác trong SageMaker JumpStart
Việc sử dụng các mô hình nền tảng khác có sẵn trong SageMaker JumpStart để tóm tắt tài liệu yêu cầu chi phí tối thiểu để thiết lập và triển khai. LLM đôi khi thay đổi theo cấu trúc của định dạng đầu vào và đầu ra, đồng thời khi các mô hình mới và giải pháp tạo sẵn được thêm vào SageMaker JumpStart, tùy thuộc vào việc triển khai tác vụ, bạn có thể phải thực hiện các thay đổi mã sau:
- Nếu bạn đang thực hiện tóm tắt thông qua
summarize()
(phương thức không sử dụng LangChain), bạn có thể phải thay đổi cấu trúc JSON củapayload
tham số, cũng như việc xử lý biến phản hồi trongquery_endpoint()
chức năng - Nếu bạn đang thực hiện tóm tắt thông qua LangChain's
load_summarize_chain()
phương pháp, bạn có thể phải sửa đổiContentHandlerTextSummarization
lớp học, cụ thể làtransform_input()
vàtransform_output()
để xử lý chính xác tải trọng mà LLM mong đợi và đầu ra mà LLM trả về
Các mô hình nền tảng khác nhau không chỉ ở các yếu tố như tốc độ và chất lượng suy luận mà còn ở các định dạng đầu vào và đầu ra. Tham khảo trang thông tin liên quan của LLM về đầu vào và đầu ra dự kiến.
Kết luận
Mô hình Falcon 7B Instruct có sẵn trên trung tâm mô hình SageMaker JumpStart và hoạt động trong một số trường hợp sử dụng. Bài đăng này minh họa cách bạn có thể triển khai điểm cuối Falcon LLM của riêng mình vào môi trường bằng SageMaker JumpStart và thực hiện các thử nghiệm đầu tiên từ SageMaker Studio, cho phép bạn nhanh chóng tạo nguyên mẫu cho mô hình của mình và chuyển đổi liền mạch sang môi trường sản xuất. Với Falcon và LangChain, bạn có thể tóm tắt một cách hiệu quả các tài liệu về khoa học đời sống và chăm sóc sức khỏe dạng dài trên quy mô lớn.
Để biết thêm thông tin về cách làm việc với AI tổng hợp trên AWS, hãy tham khảo Công bố các công cụ mới để xây dựng với AI sáng tạo trên AWS. Bạn có thể bắt đầu thử nghiệm và xây dựng các bằng chứng khái niệm tóm tắt tài liệu cho các ứng dụng GenAI theo định hướng khoa học đời sống và chăm sóc sức khỏe của mình bằng phương pháp được nêu trong bài đăng này. Khi nền tảng Amazon thường có sẵn, chúng tôi sẽ xuất bản một bài đăng tiếp theo hướng dẫn cách bạn có thể triển khai tính năng tóm tắt tài liệu bằng Amazon Bedrock và LangChain.
Về các tác giả
John Kitaoka là Kiến trúc sư giải pháp tại Amazon Web Services. John giúp khách hàng thiết kế và tối ưu hóa khối lượng công việc AI/ML trên AWS để giúp họ đạt được mục tiêu kinh doanh của mình.
Josh Famestad là Kiến trúc sư giải pháp tại Amazon Web Services. Josh làm việc với các khách hàng thuộc khu vực công để xây dựng và thực hiện các phương pháp tiếp cận dựa trên đám mây nhằm đáp ứng các ưu tiên kinh doanh.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- : có
- :là
- :không phải
- $ LÊN
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- có khả năng
- TÓM TẮT
- Chấp nhận
- khả năng tiếp cận
- có thể truy cập
- Tài khoản
- Đạt được
- thêm
- Nhận nuôi
- một lần nữa
- AI
- AI / ML
- Tất cả
- cho phép
- Cho phép
- cho phép
- bên cạnh
- Đã
- Ngoài ra
- đàn bà gan dạ
- Amazon SageMaker
- Khởi động Amazon SageMaker
- Amazon Web Services
- an
- phân tích
- Các nhà phân tích
- và
- động vật
- động vật
- Các Ứng Dụng
- các ứng dụng
- phương pháp tiếp cận
- cách tiếp cận
- phê duyệt
- LÀ
- xung quanh
- AS
- At
- thuộc tính
- Tự động
- có sẵn
- tránh
- AWS
- dựa
- BE
- bởi vì
- bắt đầu
- tin
- Tỷ
- y sinh
- thân hình
- đậm
- Hộp
- Nghỉ giải lao
- Phá vỡ
- xây dựng
- Xây dựng
- xây dựng
- kinh doanh
- nhưng
- by
- cuộc gọi
- gọi là
- CAN
- Có thể có được
- khả năng
- khả năng
- thẻ
- trường hợp
- trường hợp
- Tế bào
- chuỗi
- chuỗi
- thay đổi
- Những thay đổi
- lựa chọn
- Chọn
- lựa chọn
- tốt nghiệp lớp XNUMX
- các lớp học
- khách hàng
- đám mây
- mã
- hợp tác
- kết hợp
- kết hợp
- Chung
- thông thường
- so
- hoàn thành
- Hoàn thành
- phức tạp
- Bao gồm
- khái niệm
- ngắn gọn
- liên quan
- An ủi
- chứa
- nội dung
- chi phí-hiệu quả
- Chi phí
- tạo
- khách hàng
- khách hàng
- tùy biến
- dữ liệu
- khoa học dữ liệu
- thập kỷ
- Mặc định
- định nghĩa
- cung cấp
- chứng minh
- chứng minh
- Tùy
- triển khai
- triển khai
- triển khai
- triển khai
- Thiết kế
- phát triển
- phát triển
- Phát triển
- Thiết bị (Devices)
- khác nhau
- do
- tài liệu
- tài liệu
- Không
- miền
- dont
- xuống
- tải về
- mỗi
- trái đất
- hiệu quả
- cho phép
- Điểm cuối
- Kỹ Sư
- Kỹ sư
- nâng cao
- đảm bảo
- vào
- Môi trường
- lôi
- sự kiện
- ví dụ
- thi hành
- dự kiến
- kỳ vọng
- kinh nghiệm
- thử nghiệm
- thí nghiệm
- Đối mặt
- các yếu tố
- sai
- Tính năng
- vài
- Tập tin
- cuối cùng
- Tìm kiếm
- Tên
- phù hợp với
- Tập trung
- theo
- tiếp theo
- Trong
- Nền tảng
- 4
- từ
- chức năng
- chức năng
- Hơn nữa
- nói chung
- tạo ra
- tạo ra
- thế hệ
- Trí tuệ nhân tạo
- được
- Các mục tiêu
- lớn hơn
- xử lý
- Xử lý
- Có
- chăm sóc sức khỏe
- giúp đỡ
- giúp
- Đánh dấu
- tổ chức
- Độ đáng tin của
- Hướng dẫn
- HTML
- HTTPS
- Hub
- ICON
- if
- hình ảnh
- thực hiện
- thực hiện
- nhập khẩu
- quan trọng
- in
- bao gồm
- bao gồm
- Bao gồm
- thông tin
- đổi mới
- sự đổi mới
- đầu vào
- đầu vào
- cài đặt, dựng lên
- ví dụ
- thay vì
- Viện
- hướng dẫn
- tích hợp
- Thông minh
- tương tác
- Giao thức
- trong
- cô lập
- IT
- ITS
- nhà vệ sinh
- json
- chỉ
- Key
- Ngôn ngữ
- lớn
- lớn hơn
- phát động
- Rời bỏ
- Thư viện
- Cuộc sống
- Khoa học đời sống
- LIMIT
- dòng
- liên kết
- văn chương
- LLM
- tải
- dài
- còn
- tìm kiếm
- Chủ yếu
- làm cho
- quản lý
- quản lý
- quản lý
- quản lý
- nhiều
- lập bản đồ
- tối đa
- Có thể..
- trung bình
- Menu
- phương pháp
- tối thiểu
- ML
- kiểu mẫu
- mô hình
- sửa đổi
- Modules
- chi tiết
- hầu hết
- nhiều
- THÔNG TIN
- cần thiết
- Cần
- cần thiết
- mạng
- Mới
- NIH
- Thông thường
- máy tính xách tay
- Để ý..
- con số
- đối tượng
- of
- on
- ONE
- có thể
- mở
- mã nguồn mở
- Phần mềm mã nguồn mở
- Tối ưu hóa
- Các lựa chọn
- Nền tảng khác
- nêu
- đầu ra
- kết thúc
- riêng
- trang
- cửa sổ
- Giấy
- tham số
- thông số
- thông qua
- Thực hiện
- biểu diễn
- thực hiện
- cá nhân
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- điểm
- Bài đăng
- mạnh mẽ
- In
- in
- riêng
- quá trình
- Sản phẩm
- Sản lượng
- bằng chứng
- nguyên mẫu
- cho
- cung cấp
- cung cấp
- cung cấp
- công khai
- xuất bản
- Python
- chất lượng
- câu hỏi
- Mau
- nhanh chóng
- độc giả
- sẵn sàng
- thế giới thực
- khuyến nghị
- xem
- nhà quản lý
- có liên quan
- Yêu cầu
- đòi hỏi
- nghiên cứu
- nhà nghiên cứu
- tương ứng
- phản ứng
- trở lại
- robotics
- chạy
- nhà làm hiền triết
- Suy luận của SageMaker
- Quy mô
- Khoa học
- KHOA HỌC
- các nhà khoa học
- phạm vi
- sdk
- liền mạch
- phần
- ngành
- an ninh
- xem
- chọn
- TỰ
- tình cảm
- Trình tự
- dịch vụ
- DỊCH VỤ
- định
- thiết lập
- Mua sắm
- ngắn
- hiển thị
- duy nhất
- Six
- So
- Phần mềm
- Giải pháp
- riêng
- đặc biệt
- tốc độ
- Bắt đầu
- bắt đầu
- Trạng thái
- Bước
- Các bước
- lưu trữ
- Chiến lược
- Nghiêm ngặt
- cấu trúc
- phòng thu
- như vậy
- tóm tắt
- TÓM TẮT
- hỗ trợ
- Hỗ trợ
- mất
- Nhiệm vụ
- nhiệm vụ
- kỹ thuật
- Công nghệ
- Đổi mới Công nghệ
- văn bản
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- sau đó
- Đó
- Kia là
- điều này
- Thông qua
- đến
- bên nhau
- mã thông báo
- Tokens
- công cụ
- công cụ
- đào tạo
- biến áp
- biến đổi
- quá trình chuyển đổi
- Nghìn tỷ
- đúng
- XOAY
- hướng dẫn
- hai
- kiểu
- không xác định
- độc đáo
- không cần thiết
- Đang tải lên
- sử dụng
- ca sử dụng
- đã sử dụng
- sử dụng
- sử dụng
- biến
- nhiều
- xe
- phiên bản
- thông qua
- Xem
- đi bộ
- hương
- we
- web
- các dịch vụ web
- TỐT
- Điều gì
- khi nào
- cái nào
- rộng
- sẽ
- với
- ở trong
- không có
- Công việc
- Luồng công việc
- đang làm việc
- công trinh
- viết
- viết
- Bạn
- trên màn hình
- zephyrnet