Khi chúng ta nghiên cứu sâu hơn về kỷ nguyên kỹ thuật số, việc phát triển các mô hình đa phương thức đóng vai trò quan trọng trong việc nâng cao hiểu biết về máy móc. Các mô hình này xử lý và tạo nội dung trên nhiều dạng dữ liệu khác nhau, như văn bản và hình ảnh. Đặc điểm chính của các mô hình này là khả năng chuyển hình ảnh thành văn bản, cho thấy khả năng thành thạo vượt trội trong các tác vụ như chú thích hình ảnh và trả lời câu hỏi bằng hình ảnh.
Bằng cách dịch hình ảnh thành văn bản, chúng tôi mở khóa và khai thác lượng thông tin dồi dào có trong dữ liệu hình ảnh. Ví dụ: trong thương mại điện tử, tính năng chuyển hình ảnh thành văn bản có thể tự động hóa việc phân loại sản phẩm dựa trên hình ảnh, nâng cao hiệu quả và độ chính xác của tìm kiếm. Tương tự, nó có thể hỗ trợ tạo mô tả ảnh tự động, cung cấp thông tin có thể không có trong tiêu đề hoặc mô tả sản phẩm, từ đó cải thiện trải nghiệm người dùng.
Trong bài đăng này, chúng tôi cung cấp cái nhìn tổng quan về các mô hình đa phương thức phổ biến. Chúng tôi cũng trình bày cách triển khai các mô hình được đào tạo trước này trên Amazon SageMaker. Hơn nữa, chúng tôi thảo luận về các ứng dụng đa dạng của các mô hình này, đặc biệt tập trung vào một số tình huống trong thế giới thực, chẳng hạn như thẻ không chụp ảnh và tạo thuộc tính cho thương mại điện tử cũng như tạo lời nhắc tự động từ hình ảnh.
Nền tảng của các mô hình đa phương thức
Các mô hình học máy (ML) đã đạt được những tiến bộ đáng kể trong các lĩnh vực như xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính, trong đó các mô hình có thể thể hiện hiệu suất giống con người trong việc phân tích và tạo nội dung từ một nguồn dữ liệu duy nhất. Gần đây, người ta ngày càng chú ý đến việc phát triển các mô hình đa phương thức, có khả năng xử lý và tạo ra nội dung trên các phương thức khác nhau. Những mô hình này, chẳng hạn như sự kết hợp giữa mạng lưới thị giác và ngôn ngữ, đã trở nên nổi bật nhờ khả năng tích hợp thông tin từ các nguồn và phương thức đa dạng, từ đó nâng cao khả năng hiểu và diễn đạt của chúng.
Trong phần này, chúng tôi cung cấp cái nhìn tổng quan về hai mô hình đa phương thức phổ biến: CLIP (Đào tạo trước ngôn ngữ-hình ảnh tương phản) và BLIP (Đào tạo trước ngôn ngữ-hình ảnh Bootstrapping).
mô hình CLIP
CLIP là một mô hình ngôn ngữ và hình ảnh đa phương thức, có thể được sử dụng để tạo ra sự tương đồng giữa hình ảnh và văn bản và để phân loại hình ảnh không chụp. CLIP được đào tạo trên tập dữ liệu gồm 400 triệu cặp văn bản-hình ảnh được thu thập từ nhiều nguồn công khai khác nhau trên internet. Kiến trúc mô hình bao gồm bộ mã hóa hình ảnh và bộ mã hóa văn bản, như thể hiện trong sơ đồ sau.
Trong quá trình đào tạo, một hình ảnh và đoạn văn bản tương ứng được đưa qua bộ mã hóa để có được vectơ đặc trưng hình ảnh và vectơ đặc trưng văn bản. Mục đích là làm cho các đặc điểm hình ảnh và văn bản của một cặp khớp có độ tương tự cosine cao, trong khi các đặc điểm của các cặp không khớp có độ tương tự thấp. Điều này được thực hiện thông qua sự mất mát tương phản. Quá trình đào tạo trước tương phản này tạo ra các bộ mã hóa ánh xạ hình ảnh và văn bản tới một không gian nhúng chung nơi ngữ nghĩa được căn chỉnh.
Sau đó, các bộ mã hóa có thể được sử dụng để học chuyển giao không cần bắn cho các tác vụ tiếp theo. Tại thời điểm suy luận, bộ mã hóa được huấn luyện trước hình ảnh và văn bản sẽ xử lý đầu vào tương ứng của nó và biến nó thành biểu diễn vectơ chiều cao hoặc một nhúng. Sau đó, phần nhúng của hình ảnh và văn bản sẽ được so sánh để xác định độ giống nhau của chúng, chẳng hạn như độ tương tự cosine. Lời nhắc văn bản (lớp hình ảnh, danh mục hoặc thẻ) có cách nhúng tương tự nhất (ví dụ: có khoảng cách nhỏ nhất) với cách nhúng hình ảnh được coi là phù hợp nhất và hình ảnh được phân loại tương ứng.
mô hình BLIP
Một mô hình đa phương thức phổ biến khác là BLIP. Nó giới thiệu một kiến trúc mô hình mới có khả năng thích ứng với các tác vụ ngôn ngữ thị giác đa dạng và sử dụng kỹ thuật khởi động tập dữ liệu độc đáo để học từ dữ liệu web ồn ào. Kiến trúc BLIP bao gồm bộ mã hóa hình ảnh và bộ mã hóa văn bản: bộ mã hóa văn bản nối đất bằng hình ảnh đưa thông tin hình ảnh vào khối biến áp của bộ mã hóa văn bản và bộ giải mã văn bản nối đất bằng hình ảnh kết hợp thông tin hình ảnh vào khối giải mã biến áp. Với kiến trúc này, BLIP thể hiện hiệu suất vượt trội trên nhiều nhiệm vụ ngôn ngữ thị giác liên quan đến sự kết hợp thông tin hình ảnh và ngôn ngữ, từ tìm kiếm dựa trên hình ảnh và tạo nội dung đến hệ thống hộp thoại trực quan tương tác. Trong bài viết trước, chúng tôi đã đề xuất một giải pháp kiểm duyệt nội dung dựa trên mô hình BLIP đã giải quyết nhiều thách thức bằng cách sử dụng các phương pháp tiếp cận ML đơn phương về thị giác máy tính.
Trường hợp sử dụng 1: Thẻ zero-shot hoặc tạo thuộc tính cho nền tảng thương mại điện tử
Nền tảng thương mại điện tử đóng vai trò là thị trường năng động chứa đầy ý tưởng, sản phẩm và dịch vụ. Với hàng triệu sản phẩm được liệt kê, việc phân loại và phân loại hiệu quả đặt ra một thách thức đáng kể. Đây là lúc sức mạnh của tính năng tự động gắn thẻ và tạo thuộc tính phát huy tác dụng. Bằng cách khai thác các công nghệ tiên tiến như ML và NLP, các quy trình tự động này có thể cách mạng hóa hoạt động của nền tảng thương mại điện tử.
Một trong những lợi ích chính của việc tự động gắn thẻ hoặc tạo thuộc tính nằm ở khả năng nâng cao khả năng tìm kiếm. Khách hàng có thể tìm thấy sản phẩm được gắn thẻ chính xác một cách nhanh chóng và hiệu quả. Ví dụ: nếu khách hàng đang tìm kiếm “áo thun cổ tròn bằng vải cotton có logo phía trước”, tính năng tự động gắn thẻ và tạo thuộc tính cho phép công cụ tìm kiếm xác định chính xác các sản phẩm không chỉ phù hợp với danh mục “áo phông” rộng hơn, mà còn cả những thuộc tính cụ thể của “cotton” và “cổ tròn”. Sự kết hợp chính xác này có thể tạo điều kiện cho trải nghiệm mua sắm được cá nhân hóa hơn và nâng cao sự hài lòng của khách hàng. Hơn nữa, các thẻ hoặc thuộc tính được tạo tự động có thể cải thiện đáng kể các thuật toán đề xuất sản phẩm. Với sự hiểu biết sâu sắc về thuộc tính sản phẩm, hệ thống có thể gợi ý những sản phẩm phù hợp hơn cho khách hàng, từ đó tăng khả năng mua hàng và nâng cao sự hài lòng của khách hàng.
CLIP cung cấp một giải pháp đầy hứa hẹn để tự động hóa quá trình tạo thẻ hoặc thuộc tính. Nó lấy hình ảnh sản phẩm và danh sách các mô tả hoặc thẻ làm đầu vào, tạo ra biểu diễn vectơ hoặc nhúng cho mỗi thẻ. Những phần nhúng này tồn tại trong một không gian nhiều chiều, với khoảng cách và hướng tương đối của chúng phản ánh mối quan hệ ngữ nghĩa giữa các đầu vào. CLIP được đào tạo trước trên quy mô lớn các cặp văn bản-hình ảnh để gói gọn các phần nhúng có ý nghĩa này. Nếu thẻ hoặc thuộc tính mô tả chính xác một hình ảnh thì phần nhúng của chúng phải tương đối gần nhau trong không gian này. Để tạo các thẻ hoặc thuộc tính tương ứng, danh sách các thẻ tiềm năng có thể được nhập vào phần văn bản của mô hình CLIP và các phần nhúng kết quả được lưu trữ. Lý tưởng nhất là danh sách này phải đầy đủ, bao gồm tất cả các danh mục và thuộc tính tiềm năng có liên quan đến sản phẩm trên nền tảng thương mại điện tử. Hình dưới đây cho thấy một số ví dụ.
Để triển khai mô hình CLIP trên SageMaker, bạn có thể theo dõi sổ ghi chép sau đây Repo GitHub. Chúng tôi sử dụng SageMaker dựng sẵn bộ chứa suy luận mô hình lớn (LMI) để triển khai mô hình. Các thùng chứa LMI sử dụng phục vụ DJL để phục vụ cho mô hình suy luận của bạn. Để tìm hiểu thêm về cách lưu trữ các mô hình lớn trên SageMaker, hãy tham khảo Triển khai các mô hình lớn trên Amazon SageMaker bằng cách sử dụng suy luận song song của mô hình DJLServing và DeepSpeed và Triển khai các mô hình lớn với hiệu suất cao bằng FasterTransformer trên Amazon SageMaker.
Trong ví dụ này, chúng tôi cung cấp các tập tin serving.properties
, model.py
và requirements.txt
để chuẩn bị các tạo phẩm mô hình và lưu trữ chúng trong tệp tarball.
serving.properties
là tệp cấu hình có thể được sử dụng để chỉ ra cho DJL Serve biết thư viện tối ưu hóa suy luận và song song hóa mô hình nào bạn muốn sử dụng. Tùy theo nhu cầu mà bạn có thể thiết lập cấu hình phù hợp. Để biết thêm chi tiết về các tùy chọn cấu hình và danh sách đầy đủ, hãy tham khảo Cấu hình và cài đặt.model.py
là tập lệnh xử lý mọi yêu cầu phân phối.requirements.txt
là tệp văn bản chứa bất kỳ bánh xe pip bổ sung nào cần cài đặt.
Nếu bạn muốn tải xuống mô hình từ Ôm mặt trực tiếp, bạn có thể đặt option.model_id
tham số trong serving.properties
tệp dưới dạng id mô hình của mô hình được đào tạo trước được lưu trữ bên trong kho lưu trữ mô hình trên ômface.co. Vùng chứa sử dụng id mô hình này để tải xuống mô hình tương ứng trong thời gian triển khai. Nếu bạn đặt model_id
đến một Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), DJL sẽ tải xuống các tạo phẩm mô hình từ Amazon S3 và trao đổi model_id
đến vị trí thực tế của các tạo tác mô hình. Trong tập lệnh của mình, bạn có thể trỏ đến giá trị này để tải mô hình được đào tạo trước. Trong ví dụ của chúng tôi, chúng tôi sử dụng tùy chọn thứ hai, vì bộ chứa LMI sử dụng s5cmd để tải xuống dữ liệu từ Amazon S3, điều này làm giảm đáng kể tốc độ khi tải mô hình trong quá trình triển khai. Xem đoạn mã sau:
Trong tạp chí model.py script, chúng tôi tải đường dẫn mô hình bằng ID mô hình được cung cấp trong tệp thuộc tính:
Sau khi chuẩn bị và tải các thành phần mô hình lên Amazon S3, bạn có thể triển khai mô hình CLIP lên dịch vụ lưu trữ SageMaker bằng một vài dòng mã:
Khi điểm cuối đang hoạt động, bạn có thể gọi điểm cuối bằng hình ảnh đầu vào và danh sách nhãn làm dấu nhắc đầu vào để tạo xác suất nhãn:
Trường hợp sử dụng 2: Tự động tạo lời nhắc từ hình ảnh
Một ứng dụng sáng tạo sử dụng mô hình đa phương thức là tạo ra các lời nhắc mang tính thông tin từ hình ảnh. Trong AI sáng tạo, một nhanh chóng đề cập đến đầu vào được cung cấp cho một mô hình ngôn ngữ hoặc mô hình tổng quát khác để hướng dẫn nó về loại nội dung hoặc phản hồi mong muốn. Lời nhắc về cơ bản là điểm bắt đầu hoặc một tập hợp các hướng dẫn hướng dẫn quá trình tạo mô hình. Nó có thể ở dạng một câu, câu hỏi, một phần văn bản hoặc bất kỳ đầu vào nào truyền tải bối cảnh hoặc đầu ra mong muốn cho mô hình. Việc lựa chọn lời nhắc được xây dựng tốt có vai trò then chốt trong việc tạo ra hình ảnh chất lượng cao với độ chính xác và mức độ phù hợp. Kỹ thuật nhanh chóng là quá trình tối ưu hóa hoặc tạo nội dung đầu vào văn bản để đạt được phản hồi mong muốn từ mô hình ngôn ngữ, thường liên quan đến điều chỉnh từ ngữ, định dạng hoặc ngữ cảnh.
Kỹ thuật nhanh chóng để tạo hình ảnh đặt ra một số thách thức, bao gồm:
- Xác định chính xác các khái niệm trực quan – Việc mô tả các khái niệm trực quan bằng lời đôi khi có thể thiếu chính xác hoặc mơ hồ, gây khó khăn cho việc truyền tải chính xác hình ảnh mong muốn. Việc ghi lại những chi tiết phức tạp hoặc những cảnh phức tạp thông qua lời nhắc bằng văn bản có thể không đơn giản.
- Chỉ định phong cách mong muốn một cách hiệu quả – Việc truyền đạt các sở thích về phong cách cụ thể, chẳng hạn như tâm trạng, bảng màu hoặc phong cách nghệ thuật, có thể khó khăn chỉ thông qua văn bản. Việc chuyển các khái niệm thẩm mỹ trừu tượng thành hướng dẫn cụ thể cho mô hình có thể khó khăn.
- Cân bằng độ phức tạp để tránh quá tải mô hình – Lời nhắc phức tạp có thể gây nhầm lẫn cho mô hình hoặc dẫn đến làm mô hình bị quá tải thông tin, ảnh hưởng đến kết quả đầu ra được tạo. Đạt được sự cân bằng hợp lý giữa việc cung cấp đầy đủ hướng dẫn và tránh sự phức tạp quá mức là điều cần thiết.
Do đó, việc tạo ra các lời nhắc hiệu quả để tạo hình ảnh tốn nhiều thời gian, đòi hỏi phải thử nghiệm và tinh chỉnh lặp đi lặp lại để đạt được sự cân bằng hợp lý giữa độ chính xác và tính sáng tạo, khiến đây trở thành một nhiệm vụ tiêu tốn nhiều tài nguyên và phụ thuộc nhiều vào chuyên môn của con người.
Sản phẩm Bộ dò hỏi CLIP là một công cụ kỹ thuật nhắc nhở tự động dành cho hình ảnh kết hợp CLIP và BLIP để tối ưu hóa lời nhắc văn bản cho phù hợp với một hình ảnh nhất định. Bạn có thể sử dụng lời nhắc kết quả với các mô hình chuyển văn bản thành hình ảnh như Khuếch tán ổn định để tạo ra nghệ thuật mát mẻ. Lời nhắc do CLIP Interrogator tạo ra cung cấp mô tả toàn diện về hình ảnh, không chỉ bao gồm các yếu tố cơ bản mà còn cả phong cách nghệ thuật, nguồn cảm hứng tiềm ẩn đằng sau hình ảnh, phương tiện mà hình ảnh có thể đã hoặc có thể được sử dụng, v.v. Bạn có thể dễ dàng triển khai giải pháp CLIP Interrogator trên SageMaker để hợp lý hóa quy trình triển khai và tận dụng khả năng mở rộng, hiệu quả chi phí và bảo mật mạnh mẽ do dịch vụ được quản lý hoàn toàn cung cấp. Sơ đồ sau đây cho thấy logic luồng của giải pháp này.
Bạn có thể sử dụng như sau máy tính xách tay để triển khai giải pháp CLIP Interrogator trên SageMaker. Tương tự, đối với việc lưu trữ mô hình CLIP, chúng tôi sử dụng vùng chứa SageMaker LMI để lưu trữ giải pháp trên SageMaker bằng cách sử dụng Cung cấp DJL. Trong ví dụ này, chúng tôi đã cung cấp một tệp đầu vào bổ sung có các thành phần lạ của mô hình để chỉ định các mô hình được triển khai cho điểm cuối SageMaker. Bạn có thể chọn các mô hình CLIP hoặc BLIP khác nhau bằng cách chuyển tên mô hình chú thích và tên mô hình clip thông qua model_name.json
tập tin được tạo bằng mã sau:
Kịch bản suy luận model.py
chứa một hàm xử lý mà DJL Serve sẽ thực hiện yêu cầu của bạn bằng cách gọi hàm này. Để chuẩn bị tập lệnh điểm vào này, chúng tôi đã sử dụng mã từ bản gốc clip_interrogator.py tệp và sửa đổi nó để hoạt động với Phục vụ DJL trên dịch vụ lưu trữ SageMaker. Một bản cập nhật là tải mô hình BLIP. Các mô hình BLIP và CLIP được tải thông qua load_caption_model()
và load_clip_model()
trong quá trình khởi tạo đối tượng Interrogator. Để tải mô hình BLIP, trước tiên, chúng tôi tải xuống các tạo phẩm mô hình từ Ôm mặt và tải chúng lên Amazon S3 làm giá trị đích của model_id
trong tập tin thuộc tính. Điều này là do mô hình BLIP có thể là một tệp lớn, chẳng hạn như blip2-opt-2.7b model có dung lượng lớn hơn 15 GB. Việc tải xuống mô hình từ Ôm Mặt trong quá trình triển khai mô hình sẽ cần nhiều thời gian hơn để tạo điểm cuối. Vì vậy, chúng tôi chỉ ra model_id
đến vị trí Amazon S3 của mô hình BLIP2 và tải mô hình từ đường dẫn mô hình được chỉ định trong tệp thuộc tính. Lưu ý rằng, trong quá trình triển khai, đường dẫn mô hình sẽ được hoán đổi sang đường dẫn vùng chứa cục bộ nơi các thành phần lạ của mô hình được DJL Phục vụ tải xuống từ vị trí Amazon S3. Xem đoạn mã sau:
Vì mô hình CLIP có kích thước không lớn lắm nên chúng tôi sử dụng open_clip
để tải mô hình trực tiếp từ Ôm Mặt, giống với mô hình gốc clip_interrogator
thực hiện:
Chúng tôi sử dụng mã tương tự để triển khai giải pháp CLIP Interrogator tới điểm cuối SageMaker và gọi điểm cuối có hình ảnh đầu vào để nhận lời nhắc có thể dùng để tạo các hình ảnh tương tự.
Hãy lấy hình ảnh sau đây làm ví dụ. Bằng cách sử dụng điểm cuối CLIP Interrogator đã triển khai trên SageMaker, nó sẽ tạo ra mô tả văn bản sau: croissant on a plate, pexels contest winner, aspect ratio 16:9, cgsocietywlop, 8 h, golden cracks, the artist has used bright, picture of a loft in morning, object features, stylized border, pastry, french emperor.
Chúng tôi có thể kết hợp thêm giải pháp CLIP Interrogator với Khuếch tán ổn định và các kỹ thuật kỹ thuật nhanh chóng—một khía cạnh hoàn toàn mới về khả năng sáng tạo sẽ xuất hiện. Sự tích hợp này cho phép chúng ta không chỉ mô tả hình ảnh bằng văn bản mà còn có thể thao tác và tạo ra các biến thể đa dạng của hình ảnh gốc. Khuếch tán ổn định đảm bảo tổng hợp hình ảnh được kiểm soát bằng cách tinh chỉnh lặp đi lặp lại đầu ra được tạo và kỹ thuật nhắc nhở chiến lược hướng dẫn quá trình tạo hướng tới kết quả mong muốn.
Trong tạp chí phần thứ hai của cuốn sổ, chúng tôi trình bày chi tiết các bước sử dụng kỹ thuật nhanh chóng để định kiểu lại hình ảnh bằng mô hình Khuếch tán ổn định (Khuếch Tán Ổn Định XL 1.0). chúng tôi sử dụng SDK AI ổn định để triển khai mô hình này từ SageMaker JumpStart sau khi đăng ký mô hình này trên AWS thị trường. Bởi vì đây là phiên bản mới hơn và tốt hơn để tạo hình ảnh được cung cấp bởi AI ổn định, chúng ta có thể có được hình ảnh chất lượng cao dựa trên hình ảnh đầu vào ban đầu. Ngoài ra, nếu chúng ta thêm tiền tố vào phần mô tả trước đó và thêm lời nhắc bổ sung đề cập đến một nghệ sĩ nổi tiếng và một trong những tác phẩm của anh ấy, thì chúng ta sẽ nhận được kết quả đáng kinh ngạc khi thiết kế lại. Hình ảnh sau đây sử dụng lời nhắc: This scene is a Van Gogh painting with The Starry Night style, croissant on a plate, pexels contest winner, aspect ratio 16:9, cgsocietywlop, 8 h, golden cracks, the artist has used bright, picture of a loft in morning, object features, stylized border, pastry, french emperor.
Hình ảnh sau đây sử dụng lời nhắc: This scene is a Hokusai painting with The Great Wave off Kanagawa style, croissant on a plate, pexels contest winner, aspect ratio 16:9, cgsocietywlop, 8 h, golden cracks, the artist has used bright, picture of a loft in morning, object features, stylized border, pastry, french emperor.
Kết luận
Sự xuất hiện của các mô hình đa phương thức, như CLIP và BLIP, cùng các ứng dụng của chúng đang nhanh chóng thay đổi bối cảnh chuyển đổi hình ảnh thành văn bản. Thu hẹp khoảng cách giữa thông tin hình ảnh và ngữ nghĩa, họ đang cung cấp cho chúng tôi các công cụ để khai thác tiềm năng to lớn của dữ liệu hình ảnh và khai thác nó theo những cách mà trước đây không thể tưởng tượng được.
Trong bài đăng này, chúng tôi đã minh họa các ứng dụng khác nhau của mô hình đa phương thức. Những phạm vi này từ việc nâng cao hiệu quả và độ chính xác của tìm kiếm trong nền tảng thương mại điện tử thông qua gắn thẻ và phân loại tự động cho đến tạo lời nhắc cho các mô hình chuyển văn bản thành hình ảnh như Stable Diffusion. Những ứng dụng này mở ra những chân trời mới để tạo ra nội dung độc đáo và hấp dẫn. Chúng tôi khuyến khích bạn tìm hiểu thêm bằng cách khám phá các mô hình đa phương thức khác nhau trên SageMaker và xây dựng giải pháp mang tính đổi mới cho doanh nghiệp của bạn.
Về các tác giả
Yến Vệ Thôi, Tiến sĩ, là Kiến trúc sư giải pháp chuyên gia máy học cao cấp tại AWS. Anh bắt đầu nghiên cứu về máy học tại IRISA (Viện Nghiên cứu Khoa học Máy tính và Hệ thống Ngẫu nhiên) và có nhiều năm kinh nghiệm xây dựng các ứng dụng công nghiệp được hỗ trợ bởi AI trong thị giác máy tính, xử lý ngôn ngữ tự nhiên và dự đoán hành vi người dùng trực tuyến. Tại AWS, anh chia sẻ kiến thức chuyên môn về miền của mình và giúp khách hàng khai phá các tiềm năng kinh doanh cũng như thúc đẩy các kết quả có thể thực hiện được nhờ học máy trên quy mô lớn. Ngoài công việc, anh thích đọc sách và đi du lịch.
Raghu Ramesha là Kiến trúc sư giải pháp ML cao cấp của nhóm Dịch vụ SageMaker của Amazon. Anh tập trung vào việc giúp khách hàng xây dựng, triển khai và di chuyển khối lượng công việc sản xuất ML sang SageMaker trên quy mô lớn. Anh ấy chuyên về lĩnh vực học máy, AI và thị giác máy tính, đồng thời có bằng thạc sĩ về Khoa học Máy tính của UT Dallas. Khi rảnh rỗi, anh thích đi du lịch và chụp ảnh.
Sam Edwards, là Kỹ sư đám mây (AI/ML) tại AWS Sydney chuyên về học máy và Amazon SageMaker. Anh ấy rất nhiệt tình giúp đỡ khách hàng giải quyết các vấn đề liên quan đến quy trình học máy và tạo ra các giải pháp mới cho họ. Ngoài công việc, anh thích chơi các môn thể thao dùng vợt và đi du lịch.
Melanie Li, Tiến sĩ, là Chuyên gia AI/ML cấp cao TAM tại AWS có trụ sở tại Sydney, Australia. Cô giúp khách hàng doanh nghiệp xây dựng giải pháp bằng cách sử dụng các công cụ AI/ML tiên tiến trên AWS, đồng thời cung cấp hướng dẫn về kiến trúc và triển khai các giải pháp ML bằng các phương pháp thực hành tốt nhất. Khi rảnh rỗi, cô thích khám phá thiên nhiên và dành thời gian cho gia đình, bạn bè.
Gordon Vương là TAM Chuyên gia AI/ML cấp cao tại AWS. Ông hỗ trợ các khách hàng chiến lược bằng các phương pháp hay nhất về AI/ML trong nhiều ngành. Anh ấy đam mê thị giác máy tính, NLP, AI tổng quát và MLOps. Khi rảnh rỗi, anh ấy thích chạy bộ và đi bộ đường dài.
Dhawal Patel là một Kiến trúc sư chính về Học máy tại AWS. Ông đã làm việc với các tổ chức khác nhau, từ các doanh nghiệp lớn đến các công ty khởi nghiệp quy mô trung bình về các vấn đề liên quan đến máy tính phân tán và Trí tuệ nhân tạo. Ông tập trung vào Học sâu bao gồm các lĩnh vực NLP và Thị giác máy tính. Anh ấy giúp khách hàng đạt được khả năng suy luận mô hình hiệu suất cao trên SageMaker.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/build-an-image-to-text-generative-ai-application-using-multimodality-models-on-amazon-sagemaker/
- : có
- :là
- :không phải
- :Ở đâu
- 1
- 10
- 100
- 12
- 15%
- 16
- 400
- 7
- 8
- 9
- 97
- a
- có khả năng
- Giới thiệu
- TÓM TẮT
- cho phù hợp
- chính xác
- chính xác
- Đạt được
- đạt được
- ngang qua
- thực tế
- thêm vào
- thêm vào
- Ngoài ra
- giải quyết
- điều chỉnh
- con nuôi
- tiên tiến
- tiến bộ
- Lợi thế
- ảnh hưởng đến
- Sau
- AI
- Hỗ trợ AI
- AI / ML
- thuật toán
- căn chỉnh
- Tất cả
- cho phép
- cô đơn
- Ngoài ra
- tuyệt vời
- đàn bà gan dạ
- Amazon SageMaker
- Amazon Web Services
- an
- phân tích
- và
- bất kì
- Các Ứng Dụng
- các ứng dụng
- cách tiếp cận
- thích hợp
- kiến trúc
- LÀ
- Nghệ thuật
- nhân tạo
- trí tuệ nhân tạo
- nghệ sĩ
- nghệ thuật
- AS
- khía cạnh
- hỗ trợ
- At
- sự chú ý
- thuộc tính
- Châu Úc
- tự động hóa
- Tự động
- Tự động
- tự động hóa
- có sẵn
- tránh
- AWS
- Cân đối
- dựa
- BE
- bởi vì
- được
- hành vi
- sau
- Lợi ích
- BEST
- thực hành tốt nhất
- Hơn
- giữa
- Ngoài
- lớn
- Chặn
- thân hình
- tăng
- biên giới
- cầu nối
- Tươi
- rộng hơn
- xây dựng
- Xây dựng
- kinh doanh
- nhưng
- by
- CAN
- Có thể có được
- khả năng
- có khả năng
- Chụp
- trường hợp
- CON MÈO
- đố
- Phân loại
- Mèo
- thách thức
- thách thức
- thách thức
- sự lựa chọn
- Chọn
- các lớp học
- phân loại
- phân loại
- Đóng
- đám mây
- mã
- màu sắc
- kết hợp
- kết hợp
- đến
- Chung
- giao tiếp
- so
- phức tạp
- phức tạp
- toàn diện
- máy tính
- Khoa học Máy tính
- Tầm nhìn máy tính
- máy tính
- khái niệm
- Cấu hình
- xem xét
- bao gồm
- chứa
- Container
- Container
- chứa
- nội dung
- Tạo nội dung
- bối cảnh
- kiểm soát
- Chuyển đổi
- Mát mẻ
- Tương ứng
- có thể
- bao gồm
- tạo
- tạo ra
- Tạo
- tạo
- Sáng tạo
- sáng tạo
- quan trọng
- Vượt qua
- khách hàng
- Sự hài lòng của khách hàng
- khách hàng
- Dallas
- dữ liệu
- sâu
- học kĩ càng
- sâu sắc hơn
- Bằng cấp
- đào sâu
- chứng minh
- chứng minh
- Tùy
- triển khai
- triển khai
- triển khai
- mô tả
- Mô tả
- mong muốn
- chi tiết
- chi tiết
- Xác định
- Phát triển
- thiết bị
- Đối thoại
- khác nhau
- khó khăn
- Lôi thôi
- kỹ thuật số
- kích thước
- trực tiếp
- thảo luận
- khoảng cách
- phân phối
- phân phối máy tính
- khác nhau
- miền
- lĩnh vực
- thực hiện
- tải về
- lái xe
- hai
- suốt trong
- năng động
- mỗi
- dễ dàng
- thương mại điện tử
- Hiệu quả
- hiệu quả
- hiệu quả
- Kỹ lưỡng
- các yếu tố
- khác
- nhúng
- sự xuất hiện
- nổi lên
- sử dụng
- cho phép
- khuyến khích
- Điểm cuối
- tương tác
- Động cơ
- ky sư
- Kỹ Sư
- nâng cao
- tăng cường
- đảm bảo
- Doanh nghiệp
- doanh nghiệp
- nhập
- Kỷ nguyên
- thiết yếu
- chủ yếu
- ví dụ
- ví dụ
- triển lãm
- tồn tại
- kinh nghiệm
- chuyên môn
- khám phá
- Khám phá
- biểu hiện
- Đối mặt
- tạo điều kiện
- gia đình
- Đặc tính
- Tính năng
- Fed
- vài
- Lĩnh vực
- Hình
- Tập tin
- Các tập tin
- Tên
- dòng chảy
- tập trung
- tập trung
- theo
- tiếp theo
- Trong
- hình thức
- định dạng
- các hình thức
- tìm thấy
- Miễn phí
- Tiếng Pháp
- bạn bè
- từ
- trước mặt
- đầy đủ
- chức năng
- cơ bản
- xa hơn
- Hơn nữa
- nhiệt hạch
- đạt được
- khoảng cách
- tạo ra
- tạo ra
- tạo
- tạo ra
- thế hệ
- thế hệ
- Trí tuệ nhân tạo
- được
- được
- mục tiêu
- Vàng
- tuyệt vời
- hướng dẫn
- Hướng dẫn
- xử lý
- Xử lý
- khai thác
- Khai thác
- Có
- he
- nặng nề
- giúp đỡ
- giúp
- cô
- Cao
- chất lượng cao
- của mình
- giữ
- Horizons
- chủ nhà
- tổ chức
- lưu trữ
- Độ đáng tin của
- Hướng dẫn
- HTML
- http
- HTTPS
- Nhân loại
- ID
- lý tưởng
- ý tưởng
- if
- hình ảnh
- Phân loại hình ảnh
- hình ảnh
- thực hiện
- thực hiện
- nhập khẩu
- nâng cao
- cải thiện
- in
- bao gồm
- bao gồm
- Bao gồm
- tăng
- chỉ
- công nghiệp
- các ngành công nghiệp
- thông tin
- thông tin
- sáng tạo
- đầu vào
- đầu vào
- trong
- Cảm hứng
- cài đặt, dựng lên
- ví dụ
- Viện
- hướng dẫn
- tích hợp
- hội nhập
- Sự thông minh
- tương tác
- Internet
- trong
- Giới thiệu
- liên quan
- liên quan đến
- các vấn đề
- IT
- ITS
- jpg
- json
- Key
- nổi tiếng
- nhãn
- Nhãn
- cảnh quan
- Ngôn ngữ
- lớn
- Doanh nghiệp lớn
- dẫn
- LEARN
- học tập
- Li
- thư viện
- nằm
- Lượt thích
- khả năng
- dòng
- Danh sách
- Liệt kê
- tải
- tải
- địa phương
- địa điểm thư viện nào
- logic
- Logo
- sự mất
- yêu
- Thấp
- máy
- học máy
- làm cho
- Làm
- quản lý
- nhiều
- bản đồ
- chợ
- thạc sĩ
- Trận đấu
- phù hợp
- phù hợp
- có ý nghĩa
- trung bình
- chỉ đơn thuần là
- Might
- di chuyển
- triệu
- hàng triệu
- ML
- MLOps
- kiểu mẫu
- mô hình
- điều độ
- sửa đổi
- chi tiết
- Hơn thế nữa
- Buổi sáng
- hầu hết
- nhiều
- tên
- Tự nhiên
- Xử lý ngôn ngữ tự nhiên
- Thiên nhiên
- Cần
- mạng
- Mới
- những chân trời mới
- đêm
- nlp
- Không áp dụng
- máy tính xách tay
- tiểu thuyết
- vật
- of
- off
- cung cấp
- Cung cấp
- thường
- on
- ONE
- Trực tuyến
- có thể
- mở
- Hoạt động
- tối ưu hóa
- Tối ưu hóa
- tối ưu hóa
- Tùy chọn
- Các lựa chọn
- or
- tổ chức
- nguyên
- OS
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- kết quả
- đầu ra
- bên ngoài
- nổi bật
- tổng quan
- áp đảo
- riêng
- bức tranh
- đôi
- cặp
- palette
- Song song
- tham số
- một phần
- đặc biệt
- Đi qua
- đam mê
- con đường
- hiệu suất
- Cá nhân
- Bằng tiến sĩ
- hình chụp
- nhiếp ảnh
- hình ảnh
- quan trọng
- nền tảng
- Nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- chơi
- cắm
- Điểm
- Phổ biến
- đặt ra
- khả năng
- Bài đăng
- tiềm năng
- tiềm năng
- quyền lực
- thực hành
- cần
- Độ chính xác
- dự đoán
- ưu đãi
- Chuẩn bị
- chuẩn bị
- ngăn chặn
- trước
- trước đây
- Hiệu trưởng
- vấn đề
- quá trình
- Quy trình
- xử lý
- Sản phẩm
- Sản lượng
- Sản phẩm
- nổi bật
- hứa hẹn
- tài sản
- tài sản
- đề xuất
- cho
- cung cấp
- cung cấp
- cung cấp
- công khai
- mua hàng
- câu hỏi
- ngẫu nhiên
- phạm vi
- khác nhau,
- nhanh chóng
- tỉ lệ
- Reading
- thế giới thực
- gần đây
- Khuyến nghị
- làm giảm
- xem
- đề cập
- tinh luyện
- phản ánh
- khu
- liên quan
- Mối quan hệ
- tương đối
- tương đối
- sự liên quan
- có liên quan
- đáng chú ý
- kho
- đại diện
- yêu cầu
- yêu cầu
- yêu cầu
- đòi hỏi
- nghiên cứu
- nguồn lực chuyên sâu
- mà
- phản ứng
- phản ứng
- kết quả
- Kết quả
- trở lại
- cách mạng hóa
- ngay
- mạnh mẽ
- chạy
- chạy
- nhà làm hiền triết
- tương tự
- sự hài lòng
- khả năng mở rộng
- Quy mô
- kịch bản
- bối cảnh
- cảnh
- Khoa học
- kịch bản
- Tìm kiếm
- công cụ tìm kiếm
- tìm kiếm
- Phần
- an ninh
- xem
- TỰ
- ngữ nghĩa
- cao cấp
- kết án
- phục vụ
- dịch vụ
- DỊCH VỤ
- phục vụ
- định
- một số
- cổ phiếu
- chị ấy
- Mua sắm
- nên
- thể hiện
- Chương trình
- có ý nghĩa
- đáng kể
- tương tự
- Tương tự
- Đơn giản
- duy nhất
- Kích thước máy
- đoạn
- giải pháp
- Giải pháp
- động SOLVE
- một số
- đôi khi
- nguồn
- nguồn
- Không gian
- chuyên gia
- chuyên nghành
- chuyên
- riêng
- quy định
- quang phổ
- tốc độ
- tiêu
- Thể thao
- ổn định
- đầy sao
- bắt đầu
- Bắt đầu
- Startups
- nhà nước-of-the-art
- Các bước
- là gắn
- hàng
- lưu trữ
- đơn giản
- Chiến lược
- hợp lý hóa
- đình công
- phong cách
- đáng kể
- như vậy
- đủ
- đề nghị
- Hỗ trợ
- trao đổi
- nhanh chóng
- sydney
- hệ thống
- hệ thống
- TAG
- Hãy
- mất
- Mục tiêu
- Nhiệm vụ
- nhiệm vụ
- nhóm
- kỹ thuật
- Công nghệ
- mẫu
- văn bản
- văn bản
- hơn
- việc này
- Sản phẩm
- Phong cảnh
- cung cấp their dịch
- Them
- sau đó
- Đó
- bằng cách ấy
- vì thế
- Kia là
- họ
- điều này
- Thông qua
- thời gian
- trò chơi
- đến
- công cụ
- công cụ
- đối với
- đào tạo
- Hội thảo
- chuyển
- biến áp
- biến đổi
- biến đổi
- Đi du lịch
- hai
- kiểu
- sự hiểu biết
- không thể tưởng tượng được
- độc đáo
- mở khóa
- Cập nhật
- tải lên
- URL
- us
- sử dụng
- đã sử dụng
- người sử dang
- Kinh nghiệm người dùng
- sử dụng
- sử dụng
- giá trị
- nhiều
- khác nhau
- Lớn
- phiên bản
- rất
- thông qua
- tầm nhìn
- W
- muốn
- Sóng
- cách
- we
- Wealth
- web
- các dịch vụ web
- là
- Điều gì
- khi nào
- cái nào
- trong khi
- toàn bộ
- có
- sẽ
- người chiến thắng
- với
- từ ngữ
- từ
- Công việc
- làm việc
- Luồng công việc
- công trinh
- sẽ
- năm
- Bạn
- trên màn hình
- zephyrnet