Đây là bài đăng của khách do Andrew Masek, Kỹ sư phần mềm tại The Barcode Registry và Erik Quisling, CEO của The Barcode Registry, viết.
Làm giả sản phẩm là doanh nghiệp tội phạm lớn nhất trên thế giới. Tăng hơn 10,000% trong hai thập kỷ qua, doanh số bán hàng giả hiện đạt tổng số 1.7 nghìn tỷ đô la mỗi năm trên toàn thế giới, nhiều hơn cả ma túy và buôn người. Mặc dù các phương pháp phòng chống hàng giả truyền thống như mã vạch duy nhất và xác minh sản phẩm có thể rất hiệu quả, nhưng các công nghệ máy học (ML) mới như phát hiện đối tượng có vẻ rất hứa hẹn. Với tính năng phát hiện đối tượng, giờ đây bạn có thể chụp nhanh hình ảnh của một sản phẩm và gần như ngay lập tức biết được sản phẩm đó có khả năng là hợp pháp hay gian lận hay không.
Sản phẩm Đăng ký mã vạch (kết hợp với đối tác của nó Buyabarcode.com) là một giải pháp trọn gói giúp khách hàng ngăn chặn hành vi gian lận và làm giả sản phẩm. Nó thực hiện điều này bằng cách bán mã vạch đã đăng ký GS1 duy nhất, xác minh quyền sở hữu sản phẩm và đăng ký mã vạch và sản phẩm của người dùng trong cơ sở dữ liệu toàn diện. Sản phẩm mới nhất của họ, mà chúng ta thảo luận trong bài đăng này, sử dụng Amazon SageMaker để tạo ra các mô hình phát hiện đối tượng để giúp nhận ra ngay lập tức các sản phẩm giả mạo.
Tổng quan về giải pháp
Để sử dụng các mô hình phát hiện đối tượng này, trước tiên bạn cần thu thập dữ liệu để đào tạo chúng. Các công ty tải hình ảnh có chú thích về sản phẩm của họ lên Cơ quan đăng ký mã vạch trang mạng. Sau khi dữ liệu này được tải lên Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và được xử lý bởi AWS Lambda , bạn có thể sử dụng nó để đào tạo mô hình phát hiện đối tượng SageMaker. Mô hình này được lưu trữ trên một điểm cuối của SageMaker, nơi trang web kết nối nó với người dùng cuối.
Có ba bước chính để tạo Đăng ký mã vạch sử dụng để tạo mô hình phát hiện đối tượng tùy chỉnh với SageMaker:
- Tạo một tập lệnh đào tạo để SageMaker chạy.
- Tạo vùng chứa Docker từ tập lệnh đào tạo và tải nó lên Amazon ECR.
- Sử dụng bảng điều khiển SageMaker để đào tạo mô hình bằng thuật toán tùy chỉnh.
Dữ liệu sản phẩm
Là điều kiện tiên quyết để đào tạo mô hình phát hiện đối tượng, bạn sẽ cần tài khoản AWS và hình ảnh đào tạo, bao gồm ít nhất 100 hình ảnh chất lượng cao (độ phân giải cao và trong nhiều điều kiện ánh sáng) về đối tượng của bạn. Như với bất kỳ mô hình ML nào, dữ liệu chất lượng cao là điều tối quan trọng. Để đào tạo mô hình phát hiện đối tượng, chúng ta cần hình ảnh có chứa các sản phẩm liên quan cũng như các hộp giới hạn mô tả vị trí của sản phẩm trong hình ảnh, như thể hiện trong ví dụ sau.
Để đào tạo một mô hình hiệu quả, cần có hình ảnh của từng sản phẩm của một thương hiệu với bối cảnh và điều kiện ánh sáng khác nhau — khoảng 30–100 hình ảnh có chú thích duy nhất cho mỗi sản phẩm.
Sau khi hình ảnh được tải lên máy chủ web, chúng sẽ được tải lên Amazon S3 bằng cách sử dụng AWS SDK cho PHP. Sự kiện Lambda được kích hoạt mỗi khi một hình ảnh được tải lên. Hàm loại bỏ siêu dữ liệu Exif khỏi ảnh, điều này đôi khi có thể khiến chúng xuất hiện xoay khi chúng được mở bởi các thư viện ML sau này được sử dụng để huấn luyện mô hình. Dữ liệu hộp giới hạn liên quan được lưu trữ trong các tệp JSON và được tải lên Amazon S3 để đi kèm với hình ảnh.
SageMaker cho các mô hình phát hiện đối tượng
SageMaker là một dịch vụ ML được quản lý bao gồm nhiều công cụ để xây dựng, đào tạo và lưu trữ các mô hình trên đám mây. Đặc biệt, TheBarcodeRegistry sử dụng SageMaker cho dịch vụ phát hiện đối tượng của mình vì dịch vụ lưu trữ và đào tạo mô hình ML đáng tin cậy và có thể mở rộng của SageMaker. Điều này có nghĩa là nhiều thương hiệu có thể đào tạo và lưu trữ các mô hình phát hiện đối tượng của riêng họ và ngay cả khi việc sử dụng tăng đột biến một cách khó lường, sẽ không có bất kỳ thời gian chết nào.
Cơ quan đăng ký mã vạch sử dụng các vùng chứa Docker tùy chỉnh được tải lên Đăng ký container đàn hồi Amazon (Amazon ECR) để kiểm soát chi tiết hơn thuật toán phát hiện đối tượng được sử dụng để đào tạo và suy luận cũng như hỗ trợ cho Máy chủ đa mô hình (MMS). MMS rất quan trọng đối với trường hợp sử dụng phát hiện hàng giả vì nó cho phép nhiều mô hình của thương hiệu được lưu trữ hiệu quả về chi phí trên cùng một máy chủ. Ngoài ra, bạn có thể sử dụng thuật toán phát hiện đối tượng để nhanh chóng triển khai các mô hình tiêu chuẩn do AWS phát triển.
Đào tạo mô hình phát hiện đối tượng tùy chỉnh với SageMaker
Đầu tiên, bạn cần thêm thuật toán phát hiện đối tượng của mình. Trong trường hợp này, hãy tải lên vùng chứa Docker có các tập lệnh để đào tạo mô hình phát hiện đối tượng Yolov5 lên Amazon ECR:
- Trên bảng điều khiển SageMaker, dưới Sổ tay trong ngăn điều hướng, chọn Trường hợp máy tính xách tay.
- Chọn Tạo phiên bản sổ ghi chép.
- Nhập tên cho phiên bản sổ tay trở xuống Quyền và mã hóa Chọn một Quản lý truy cập và nhận dạng AWS (IAM) vai trò với các quyền cần thiết.
- Mở Kho lưu trữ Git đơn.
- Chọn Chỉ sao chép kho lưu trữ Git công khai vào phiên bản sổ tay này và dán những thứ sau URL kho lưu trữ Git: https://github.com/portoaj/SageMakerObjectDetection
- Nhấp chuột Tạo ví dụ máy tính xách tay và đợi khoảng năm phút để trạng thái của phiên bản cập nhật từ chưa giải quyết đến Phục vụ trong Ví dụ về sổ tay đơn.
- Một khi sổ ghi chép là Phục vụ, chọn nó và nhấp vào Hoạt động và Mở Jupyter để khởi chạy phiên bản sổ ghi chép trong một tab mới.
- Chọn hình ba gạch SageMakerPhát hiện đối tượng thư mục và sau đó nhấp vào
sagemakerobjectdetection.ipynb
để khởi chạy sổ ghi chép Jupyter. - Chọn hình ba gạch
conda_python3
kernel và nhấp chuột Đặt nhân. - Chọn ô mã và đặt
aws_account_id
biến thành ID tài khoản AWS của bạn. - Nhấp chuột chạy để bắt đầu quá trình xây dựng vùng chứa Docker và tải nó lên Amazon ECR. Quá trình này có thể mất khoảng 20 phút để hoàn thành.
- Khi vùng chứa Docker đã được tải lên, hãy quay lại Trường hợp máy tính xách tay trình đơn, chọn phiên bản của bạn và nhấp vào Hoạt động và Dừng để đóng phiên bản sổ ghi chép của bạn.
Sau khi thuật toán được xây dựng và đẩy lên Amazon ECR, bạn có thể sử dụng thuật toán này để đào tạo mô hình thông qua bảng điều khiển SageMaker.
- Trên bảng điều khiển SageMaker, dưới Hội thảo trong ngăn điều hướng, chọn Công việc đào tạo.
- Chọn Tạo công việc đào tạo.
- Nhập tên cho công việc và chọn Quản lý truy cập và nhận dạng AWS (IAM) vai trò với các quyền cần thiết.
- Trong Nguồn thuật toán, lựa chọn Vùng chứa thuật toán của riêng bạn trong ECR.
- Trong Container, nhập đường dẫn đăng ký.
- Đặt một phiên bản ml.p2.xlarge đơn lẻ trong cấu hình tài nguyên sẽ đủ để đào tạo mô hình Yolov5.
- Chỉ định vị trí Amazon S3 cho cả dữ liệu đầu vào và đường dẫn đầu ra của bạn và bất kỳ cài đặt nào khác, chẳng hạn như định cấu hình VPC qua Đám mây riêng ảo Amazon (Amazon VPC) hoặc bật Đào tạo tại chỗ được quản lý.
- Chọn Tạo công việc đào tạo.
Bạn có thể theo dõi tiến trình đào tạo của mô hình trên bảng điều khiển SageMaker.
Đào tạo mô hình tự động
Sơ đồ sau minh họa quy trình đào tạo mô hình tự động:
Để làm cho SageMaker bắt đầu đào tạo mô hình phát hiện đối tượng ngay sau khi người dùng tải lên xong dữ liệu của họ, máy chủ web sử dụng Cổng API Amazon để thông báo cho một chức năng Lambda rằng thương hiệu đã hoàn thành và bắt đầu công việc đào tạo.
Khi người mẫu của một thương hiệu được đào tạo thành công, Sự kiện Amazon gọi một hàm Lambda để di chuyển mô hình được đào tạo vào nhóm S3 của điểm cuối trực tiếp, nơi cuối cùng nó đã sẵn sàng để suy luận. Một giải pháp thay thế mới hơn cho việc sử dụng Amazon EventBridge để di chuyển các mô hình qua vòng đời MLOps mà bạn nên xem xét là Đường ống SageMaker.
Lưu trữ mô hình để suy luận
Sơ đồ sau minh họa quy trình suy luận:
Để sử dụng các mô hình đã đào tạo, SageMaker yêu cầu một mô hình suy luận phải được lưu trữ bởi một điểm cuối. Điểm cuối là máy chủ hoặc mảng máy chủ được sử dụng để thực sự lưu trữ mô hình suy luận. Tương tự như vùng chứa đào tạo mà chúng tôi đã tạo, vùng chứa Docker để suy luận được lưu trữ trong Amazon ECR. Mô hình suy luận sử dụng vùng chứa Docker đó và lấy hình ảnh đầu vào mà người dùng đã chụp bằng điện thoại của họ, chạy nó thông qua mô hình phát hiện đối tượng được đào tạo và xuất ra kết quả.
Một lần nữa, Cơ quan đăng ký mã vạch sử dụng vùng chứa Docker tùy chỉnh cho mô hình suy luận để cho phép sử dụng Máy chủ đa mô hình, nhưng nếu chỉ cần một mô hình là có thể dễ dàng lưu trữ thông qua thuật toán phát hiện đối tượng tích hợp sẵn.
Kết luận
Cơ quan đăng ký mã vạch (kết hợp với đối tác Buyabarcode.com) sử dụng AWS cho toàn bộ quy trình phát hiện đối tượng. Máy chủ web lưu trữ dữ liệu một cách đáng tin cậy trong Amazon S3 và sử dụng các hàm API Gateway và Lambda để kết nối máy chủ web với đám mây. SageMaker dễ dàng đào tạo và lưu trữ các mô hình ML, có nghĩa là người dùng có thể chụp ảnh sản phẩm trên điện thoại của họ và xem sản phẩm có phải là hàng giả hay không. Bài đăng này cho biết cách tạo và lưu trữ mô hình phát hiện đối tượng bằng SageMaker, cũng như cách tự động hóa quy trình.
Trong thử nghiệm, mô hình có thể đạt độ chính xác hơn 90% trên bộ đào tạo gồm 62 hình ảnh và bộ thử nghiệm gồm 32 hình ảnh, điều này khá ấn tượng đối với một mô hình được đào tạo mà không có bất kỳ sự can thiệp nào của con người. Để bắt đầu đào tạo các mô hình phát hiện đối tượng, hãy kiểm tra chính thức tài liệu hướng dẫn hoặc học cách triển khai mô hình phát hiện đối tượng đến tận cùng bằng cách sử dụng AWS IoT Greengrass.
Nội dung và ý kiến trong bài đăng này là của tác giả bên thứ ba và AWS không chịu trách nhiệm về nội dung hoặc tính chính xác của bài đăng này.
Về các tác giả
Andrew Masek, Kỹ sư phần mềm tại Cơ quan đăng ký mã vạch.
Erik Quisling, Giám đốc điều hành của Cơ quan đăng ký mã vạch.
- Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. TRUY CẬP MIỄN PHÍ.
- CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
- Nguồn: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- Giới thiệu
- truy cập
- Tài khoản
- thuật toán
- Mặc dù
- đàn bà gan dạ
- api
- Tự động
- AWS
- biên giới
- Hộp
- thương hiệu
- Xây dựng
- được xây dựng trong
- Nguyên nhân
- giám đốc điều hành
- đám mây
- mã
- thu thập
- Các công ty
- Cấu hình
- An ủi
- Container
- Container
- nội dung
- điều khiển
- Giả mạo
- Tạo
- Hình sự
- khách hàng
- khách hàng
- dữ liệu
- Cơ sở dữ liệu
- triển khai
- Phát hiện
- phát triển
- khác nhau
- thảo luận
- phu bến tàu
- xuống
- thời gian chết
- Thuốc
- dễ dàng
- Cạnh
- Hiệu quả
- cho phép
- Điểm cuối
- ky sư
- Doanh nghiệp
- Sự kiện
- ví dụ
- Cuối cùng
- Tên
- tiếp theo
- gian lận
- chức năng
- đi
- hàng hóa
- Phát triển
- Khách
- Bài đăng của Khách
- giúp đỡ
- giúp
- Độ đáng tin của
- Hướng dẫn
- HTTPS
- Nhân loại
- Bản sắc
- hình ảnh
- quan trọng
- iốt
- IT
- Việc làm
- Key
- mới nhất
- phóng
- LEARN
- học tập
- . Các địa điểm
- máy
- học máy
- quản lý
- ML
- kiểu mẫu
- mô hình
- chi tiết
- di chuyển
- THÔNG TIN
- máy tính xách tay
- cung cấp
- chính thức
- Ý kiến
- gọi món
- Nền tảng khác
- quyền sở hữu
- đối tác
- hình ảnh
- khá
- Phòng chống
- riêng
- quá trình
- Sản phẩm
- Sản phẩm
- hứa hẹn
- công khai
- Mau
- công nhận
- có liên quan
- kho
- tài nguyên
- chịu trách nhiệm
- chạy
- bán hàng
- khả năng mở rộng
- sdk
- dịch vụ
- DỊCH VỤ
- định
- tương tự
- Đơn giản
- Snap
- Phần mềm
- Kỹ sư phần mềm
- giải pháp
- Spot
- Bắt đầu
- bắt đầu
- Trạng thái
- là gắn
- cửa hàng
- Thành công
- hỗ trợ
- Công nghệ
- Kiểm tra
- thế giới
- của bên thứ ba
- Thông qua
- thời gian
- công cụ
- theo dõi
- truyền thống
- Hội thảo
- tàu hỏa
- độc đáo
- Cập nhật
- sử dụng
- Xác minh
- ảo
- chờ đợi
- web
- máy chủ web
- Website
- không có
- thế giới
- khắp thế giới
- năm