이것은 The Barcode Registry의 소프트웨어 엔지니어인 Andrew Masek과 The Barcode Registry의 CEO인 Erik Quisling이 작성한 게스트 게시물입니다.
제품 위조는 세계에서 가장 큰 단일 범죄 기업입니다. 지난 10,000년 동안 1.7% 이상 성장한 위조품 판매는 이제 전 세계적으로 연간 총 XNUMX조 XNUMX천억 달러로, 이는 마약 및 인신매매보다 많은 금액입니다. 고유한 바코드 및 제품 검증과 같은 기존의 위조 방지 방법은 매우 효과적일 수 있지만 물체 감지와 같은 새로운 기계 학습(ML) 기술은 매우 유망해 보입니다. 물체 감지를 사용하면 이제 제품 사진을 찍고 해당 제품이 합법적인지 사기성인지 거의 즉시 알 수 있습니다.
XNUMXD덴탈의 바코드 레지스트리 (파트너와 함께 Buyabarcode.com)는 고객이 제품 사기 및 위조를 방지할 수 있도록 지원하는 풀 서비스 솔루션입니다. 이를 위해 GS1에 등록된 고유 바코드를 판매하고 제품 소유권을 확인하며 사용자의 제품과 바코드를 종합 데이터베이스에 등록합니다. 이 게시물에서 논의하는 최신 제품은 다음을 사용합니다. 아마존 세이지 메이커 위조 제품을 즉시 식별하는 데 도움이 되는 물체 감지 모델을 생성합니다.
솔루션 개요
이러한 객체 감지 모델을 사용하려면 먼저 데이터를 수집하여 교육해야 합니다. 회사는 제품의 주석이 달린 사진을 바코드 레지스트리에 업로드합니다. 웹 사이트. 이 데이터가 에 업로드된 후 아마존 단순 스토리지 서비스 (Amazon S3) 및 처리 AWS 람다 함수를 사용하여 SageMaker 객체 감지 모델을 훈련할 수 있습니다. 이 모델은 웹사이트가 최종 사용자에게 연결하는 SageMaker 끝점에서 호스팅됩니다.
The Barcode Registry가 SageMaker로 사용자 정의 개체 감지 모델을 생성하는 데 사용하는 생성에는 세 가지 주요 단계가 있습니다.
- SageMaker가 실행할 교육 스크립트를 생성합니다.
- 교육 스크립트에서 Docker 컨테이너를 빌드하고 Amazon ECR에 업로드합니다.
- SageMaker 콘솔을 사용하여 사용자 지정 알고리즘으로 모델을 훈련합니다.
제품 데이터
객체 감지 모델을 교육하기 위한 전제 조건으로 AWS 계정과 객체의 고품질(고해상도 및 다중 조명 조건) 사진으로 구성된 교육 이미지가 필요합니다. 모든 ML 모델과 마찬가지로 고품질 데이터가 가장 중요합니다. 객체 감지 모델을 훈련시키려면 다음 예와 같이 관련 제품이 포함된 이미지와 이미지에서 제품이 있는 위치를 설명하는 경계 상자가 필요합니다.
효과적인 모델을 훈련시키려면 배경과 조명 조건이 다른 각 브랜드 제품의 사진이 필요합니다. 각 제품에 대해 약 30-100개의 고유한 주석이 달린 이미지가 필요합니다.
이미지가 웹 서버에 업로드된 후 다음을 사용하여 Amazon S3에 업로드됩니다. PHP용 AWS SDK. 이미지가 업로드될 때마다 Lambda 이벤트가 트리거됩니다. 이 함수는 이미지에서 Exif 메타데이터를 제거하므로 나중에 모델을 훈련하는 데 사용되는 ML 라이브러리에서 이미지를 열 때 회전된 것처럼 보일 수 있습니다. 연결된 경계 상자 데이터는 JSON 파일에 저장되고 Amazon S3에 업로드되어 이미지와 함께 제공됩니다.
객체 감지 모델용 SageMaker
SageMaker는 클라우드에서 모델을 구축, 교육 및 호스팅하기 위한 다양한 도구를 포함하는 관리형 ML 서비스입니다. 특히 TheBarcodeRegistry는 SageMaker의 안정적이고 확장 가능한 ML 모델 교육 및 호스팅 서비스로 인해 객체 감지 서비스에 SageMaker를 사용합니다. 즉, 많은 브랜드에서 자체 개체 감지 모델을 교육 및 호스팅할 수 있으며 사용량이 예기치 않게 급증하더라도 가동 중지 시간이 발생하지 않습니다.
Barcode Registry는 에 업로드된 사용자 정의 Docker 컨테이너를 사용합니다. Amazon Elastic Container Registry (Amazon ECR)에 대한 지원은 물론 훈련 및 추론에 사용되는 객체 감지 알고리즘을 보다 세밀하게 제어하기 위해 다중 모델 서버 (MMS). MMS는 여러 브랜드의 모델을 동일한 서버에서 비용 효율적으로 호스팅할 수 있기 때문에 위조 감지 사용 사례에 매우 중요합니다. 또는 내장된 물체 감지 알고리즘 AWS에서 개발한 표준 모델을 신속하게 배포합니다.
SageMaker로 사용자 정의 객체 감지 모델 훈련
먼저 객체 감지 알고리즘을 추가해야 합니다. 이 경우 Yolov5 객체 감지 모델을 Amazon ECR에 교육하는 스크립트가 포함된 Docker 컨테이너를 업로드합니다.
- SageMaker 콘솔의 수첩 탐색 창에서 노트북 인스턴스.
- 왼쪽 메뉴에서 노트북 인스턴스를 만듭니다.
- 노트북 인스턴스의 이름을 입력하고 권한 및 암호화 선택 AWS 자격 증명 및 액세스 관리 (IAM) 역할에 필요한 권한이 있습니다.
- 열기 힘내 리포지토리 메뉴를 선택합니다.
- 선택 이 노트북 인스턴스에만 공개 Git 저장소 복제 그리고 다음을 붙여넣기 Git 저장소 URL: https://github.com/portoaj/SageMakerObjectDetection
- 노트북 인스턴스 생성 인스턴스 상태가 업데이트될 때까지 약 XNUMX분 정도 기다립니다. 대기중 에 서비스 FBI 증오 범죄 보고서 노트북 인스턴스 메뉴를 선택합니다.
- 일단 노트북은 서비스, 그것을 선택하고 클릭하십시오 행위 와 주피터 열기 새 탭에서 노트북 인스턴스를 시작합니다.
- 선택 SageMaker 개체 감지 디렉토리를 클릭한 다음
sagemakerobjectdetection.ipynb
Jupyter 노트북을 시작합니다. - 선택
conda_python3
커널 및 클릭 커널 설정. - 코드 셀을 선택하고 설정
aws_account_id
AWS 계정 ID에 대한 변수. - 달리기 Docker 컨테이너를 구축하고 Amazon ECR에 업로드하는 프로세스를 시작합니다. 이 프로세스를 완료하는 데 약 20분이 소요될 수 있습니다.
- Docker 컨테이너가 업로드되면 노트북 인스턴스 메뉴에서 인스턴스를 선택하고 행위 와 중지 노트북 인스턴스를 종료합니다.
알고리즘이 빌드되어 Amazon ECR에 푸시되면 SageMaker 콘솔을 통해 모델을 훈련하는 데 사용할 수 있습니다.
- SageMaker 콘솔의 트레이닝 탐색 창에서 훈련 직업.
- 왼쪽 메뉴에서 학습 작업 만들기.
- 작업 이름을 입력하고 AWS 자격 증명 및 액세스 관리 (IAM) 역할에 필요한 권한이 있습니다.
- 럭셔리 알고리즘 소스, 고르다 ECR의 고유한 알고리즘 컨테이너.
- 럭셔리 컨테이너, 레지스트리 경로를 입력합니다.
- 리소스 구성에서 단일 ml.p2.xlarge 인스턴스를 설정하면 Yolov5 모델을 교육하기에 충분합니다.
- 입력 데이터와 출력 경로 모두에 대해 Amazon S3 위치를 지정하고 다음을 통해 VPC 구성과 같은 기타 설정을 지정합니다. 아마존 가상 프라이빗 클라우드 (Amazon VPC) 또는 관리형 스팟 교육 활성화.
- 왼쪽 메뉴에서 학습 작업 만들기.
SageMaker 콘솔에서 모델의 훈련 진행 상황을 추적할 수 있습니다.
자동화된 모델 교육
다음 다이어그램은 자동화된 모델 학습 워크플로를 보여줍니다.
사용자가 데이터 업로드를 완료하는 즉시 SageMaker가 객체 감지 모델 교육을 시작하도록 하기 위해 웹 서버는 다음을 사용합니다. 아마존 API 게이트웨이 브랜드가 완료되었음을 Lambda 함수에 알리고 교육 작업을 시작합니다.
브랜드 모델이 성공적으로 학습되면 아마존 이벤트 브리지 훈련된 모델을 라이브 엔드포인트의 S3 버킷으로 이동하는 Lambda 함수를 호출하여 마침내 추론할 준비가 되었습니다. Amazon EventBridge를 사용하여 MLOps 수명 주기를 통해 모델을 이동하는 새로운 대안은 다음과 같습니다. SageMaker 파이프 라인.
추론을 위한 모델 호스팅
훈련된 모델을 사용하려면 SageMaker에서 엔드포인트에서 호스팅할 추론 모델이 필요합니다. 끝점은 실제로 추론 모델을 호스팅하는 데 사용되는 서버 또는 서버 배열입니다. 우리가 만든 훈련 컨테이너와 유사하게 추론용 Docker 컨테이너는 Amazon ECR에서 호스팅됩니다. 추론 모델은 해당 Docker 컨테이너를 사용하고 사용자가 휴대전화로 찍은 입력 이미지를 가져와 학습된 개체 감지 모델을 통해 실행하고 결과를 출력합니다.
다시 말하지만, The Barcode Registry는 추론 모델에 맞춤형 Docker 컨테이너를 사용하여 다중 모델 서버를 사용할 수 있도록 하지만, 하나의 모델만 필요한 경우 내장된 객체 감지 알고리즘을 통해 쉽게 호스팅할 수 있습니다.
결론
Barcode Registry(파트너 Buyabarcode.com과 함께)는 전체 객체 감지 파이프라인에 AWS를 사용합니다. 웹 서버는 Amazon S3에 데이터를 안정적으로 저장하고 API Gateway 및 Lambda 함수를 사용하여 웹 서버를 클라우드에 연결합니다. SageMaker는 ML 모델을 쉽게 교육하고 호스팅하므로 사용자는 휴대폰으로 제품 사진을 찍어 제품이 위조품인지 확인할 수 있습니다. 이 게시물은 SageMaker를 사용하여 객체 감지 모델을 생성하고 호스팅하는 방법과 프로세스를 자동화하는 방법을 보여줍니다.
테스트에서 모델은 90개의 이미지로 구성된 훈련 세트와 62개의 이미지로 구성된 테스트 세트에서 32% 이상의 정확도를 달성할 수 있었습니다. 이는 인간의 개입 없이 훈련된 모델에 대해 꽤 인상적이었습니다. 객체 감지 모델 학습을 시작하려면 공식 문서를 확인하십시오. 선적 서류 비치 방법을 배우거나 AWS IoT Greengrass를 사용하여 엣지에 객체 감지 모델 배포.
이 게시물의 내용과 의견은 제 XNUMX 자 작성자의 것이며 AWS는이 게시물의 내용이나 정확성에 대해 책임을지지 않습니다.
저자에 관하여
- "
- 000
- 10
- 100
- 7
- 소개
- ACCESS
- 계정
- 연산
- 이기는하지만
- 아마존
- API를
- 자동화
- AWS
- 경계
- 보물상자
- 브랜드
- 건물
- 내장
- 원인
- 대표 이사
- 클라우드
- 암호
- 수집
- 기업
- 구성
- 콘솔에서
- 컨테이너
- 용기
- 함유량
- 제어
- 위조
- 만들기
- 범죄자
- 관습
- 고객
- 데이터
- 데이터베이스
- 배포
- Detection System
- 개발
- 다른
- 토론
- 도커
- 아래 (down)
- 중단 시간
- 약물
- 용이하게
- Edge
- 유효한
- 가능
- 종점
- 기사
- Enterprise
- 이벤트
- 예
- 최종적으로
- 먼저,
- 수행원
- 사기
- 기능
- 힘내
- 상품
- 성장하는
- 손님
- 고객 포스트
- 도움
- 도움이
- 방법
- How To
- HTTPS
- 사람의
- 통합 인증
- 영상
- 중대한
- IOT
- IT
- 일
- 키
- 최근
- 시작
- 배우다
- 배우기
- 위치
- 기계
- 기계 학습
- 관리
- ML
- 모델
- 모델
- 배우기
- 움직임
- 카테고리
- 수첩
- 제공
- 공무원
- 의견
- 주문
- 기타
- 소유권
- 파트너
- .
- 예쁜
- 예방
- 사설
- 방법
- 프로덕트
- 제품
- 장래가 촉망되는
- 공개
- 빨리
- 인식
- 관련된
- 저장소
- 의지
- 책임
- 달리기
- 판매
- 확장성
- SDK
- 서비스
- 서비스
- 세트
- 비슷한
- 단순, 간단, 편리
- 스냅
- 소프트웨어
- 소프트웨어 엔지니어
- 해결책
- Spot
- 스타트
- 시작
- Status
- 저장
- 상점
- 성공적으로
- SUPPORT
- 기술
- 지원
- 세계
- 타사
- 을 통하여
- 시간
- 검색을
- 선로
- 전통적인
- 트레이닝
- 기차
- 유일한
- 업데이트
- 사용
- 확인
- 온라인
- 기다리다
- 웹
- 웹 서버
- 웹 사이트
- 없이
- 세계
- 전세계적인
- year