Phát hiện khiếm khuyết trong hình ảnh có độ phân giải cao bằng cách sử dụng mô hình Nhãn tùy chỉnh nhận dạng lại Amazon hai giai đoạn | Dịch vụ web của Amazon

Hình ảnh có độ phân giải cao rất phổ biến trong thế giới ngày nay, từ hình ảnh vệ tinh đến máy bay không người lái và máy ảnh DLSR. Từ hình ảnh này, chúng ta có thể nắm bắt được những thiệt hại do thiên tai, sự bất thường trong thiết bị sản xuất hoặc những khuyết tật rất nhỏ như khuyết tật trên bảng mạch in (PCB) hoặc chất bán dẫn. Việc xây dựng các mô hình phát hiện bất thường bằng hình ảnh có độ phân giải cao có thể gặp khó khăn vì các mô hình thị giác máy tính hiện đại thường thay đổi kích thước hình ảnh thành độ phân giải thấp hơn để phù hợp với bộ nhớ nhằm huấn luyện và chạy suy luận. Giảm độ phân giải hình ảnh đáng kể có nghĩa là thông tin hình ảnh liên quan đến lỗi bị suy giảm hoặc mất hoàn toàn.

Một cách tiếp cận để vượt qua những thách thức này là xây dựng mô hình hai giai đoạn. Các mô hình Giai đoạn 1 phát hiện vùng quan tâm và mô hình Giai đoạn 2 phát hiện các khiếm khuyết trên vùng quan tâm đã cắt, do đó duy trì độ phân giải đủ cho các phát hiện nhỏ.

Trong bài đăng này, chúng ta sẽ tìm hiểu cách xây dựng một hệ thống phát hiện lỗi hai giai đoạn hiệu quả bằng cách sử dụng Nhãn tùy chỉnh Rekognition của Amazon và so sánh kết quả cho trường hợp sử dụng cụ thể này với các mô hình một giai đoạn. Lưu ý rằng một số mô hình một giai đoạn có hiệu quả ngay cả ở độ phân giải hình ảnh thấp hơn hoặc được thay đổi kích thước và những mô hình khác có thể chứa các hình ảnh lớn theo lô nhỏ hơn.

Tổng quan về giải pháp

Đối với trường hợp sử dụng của chúng tôi, chúng tôi sử dụng một tập dữ liệu hình ảnh của PCB với các chốt lỗ bị thiếu được tạo ra một cách tổng hợp, như trong ví dụ sau.

Chúng tôi sử dụng tập dữ liệu này để chứng minh rằng phương pháp tiếp cận một giai đoạn sử dụng tính năng phát hiện đối tượng sẽ mang lại hiệu suất phát hiện dưới mức trung bình đối với các khuyết tật chốt lỗ bị thiếu. Ưu tiên mô hình hai bước, trong đó trước tiên chúng tôi sử dụng Nhãn tùy chỉnh nhận dạng lại để phát hiện đối tượng nhằm xác định các ghim, sau đó là mô hình giai đoạn hai để phân loại các hình ảnh đã cắt của các ghim thành các ghim bị thiếu lỗ hoặc ghim thông thường.

Quá trình đào tạo cho mô hình Nhãn tùy chỉnh Rekognition bao gồm một số bước, như được minh họa trong sơ đồ sau.

Đầu tiên, chúng tôi sử dụng Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) để lưu trữ dữ liệu hình ảnh. Dữ liệu được nhập vào Nhà sản xuất hiền nhân Amazon Sổ ghi chép Jupyter, nơi thông thường một nhà khoa học dữ liệu sẽ kiểm tra hình ảnh và xử lý trước chúng, loại bỏ mọi hình ảnh có chất lượng kém như hình ảnh bị mờ hoặc điều kiện ánh sáng kém, đồng thời thay đổi kích thước hoặc cắt xén hình ảnh. Sau đó, dữ liệu được chia thành tập huấn luyện và tập kiểm tra, và Sự thật về mặt đất của Amazon SageMaker công việc ghi nhãn được chạy để gắn nhãn cho các tập hợp hình ảnh và xuất ra tệp kê khai thử nghiệm và huấn luyện. Các tệp kê khai được Nhãn tùy chỉnh Rekognition sử dụng để đào tạo.

Cách tiếp cận mô hình một giai đoạn

Cách tiếp cận đầu tiên mà chúng tôi thực hiện để xác định các lỗ bị thiếu trên PCB là gắn nhãn cho các lỗ bị thiếu và huấn luyện mô hình phát hiện đối tượng để xác định các lỗ bị thiếu. Sau đây là một ví dụ hình ảnh từ tập dữ liệu.

Chúng tôi đào tạo một mô hình với tập dữ liệu có 95 hình ảnh được sử dụng làm huấn luyện và 20 hình ảnh được sử dụng để thử nghiệm. Bảng sau đây tóm tắt kết quả của chúng tôi.

Những kết quả đánh giá
Điểm F1		Độ chính xác trung bình		Thu hồi tổng thể
0.468		0.750		0.340
Thời gian huấn luyện		Tập dữ liệu đào tạo		Bộ dữ liệu thử nghiệm
Được đào tạo trong 1.791 giờ		1 nhãn, 95 hình ảnh		1 nhãn, 20 hình ảnh
Hiệu suất trên mỗi nhãn
Tên nhãn	Điểm F1	Kiểm tra hình ảnh	Độ chính xác	Nhớ lại	Ngưỡng giả định
missing_hole	0.468	20	0.750	0.340	0.053

Mô hình thu được có độ chính xác cao nhưng khả năng thu hồi thấp, nghĩa là khi chúng tôi khoanh vùng một vùng có lỗ bị thiếu, chúng tôi thường đúng nhưng lại thiếu rất nhiều lỗ bị thiếu hiện có trên PCB. Để xây dựng một hệ thống phát hiện lỗi hiệu quả, chúng ta cần cải thiện việc thu hồi. Hiệu suất thấp của mô hình này có thể là do các khiếm khuyết nhỏ trên hình ảnh có độ phân giải cao của PCB, do đó mô hình không có tham chiếu về chân cắm khỏe mạnh.

Tiếp theo, chúng tôi khám phá việc chia hình ảnh thành bốn hoặc sáu phần cắt tùy thuộc vào kích thước PCB và ghi nhãn cho cả các lỗ lành và lỗ bị thiếu. Sau đây là một ví dụ về hình ảnh được cắt xén.

Chúng tôi đào tạo một mô hình với 524 hình ảnh được sử dụng làm huấn luyện và 106 hình ảnh được sử dụng để thử nghiệm. Chúng tôi duy trì các PCB được sử dụng trong đào tạo và thử nghiệm giống như mô hình bo mạch đầy đủ. Kết quả giữa các chốt khỏe mạnh bị cắt và các lỗ bị thiếu được thể hiện trong bảng sau.

Những kết quả đánh giá
Điểm F1		Độ chính xác trung bình		Thu hồi tổng thể
0.967		0.989		0.945
Thời gian huấn luyện		Tập dữ liệu đào tạo		Bộ dữ liệu thử nghiệm
Được đào tạo trong 2.118 giờ		2 nhãn, 524 hình ảnh		2 nhãn, 106 hình ảnh
Hiệu suất trên mỗi nhãn
Tên nhãn	Điểm F1	Kiểm tra hình ảnh	Độ chính xác	Nhớ lại	Ngưỡng giả định
missing_hole	0.949	42	0.980	0.920	0.536
pin	0.984	106	0.998	0.970	0.696

Cả độ chính xác và khả năng thu hồi đều được cải thiện đáng kể. Việc đào tạo mô hình bằng các hình ảnh được cắt phóng to và tham chiếu đến mô hình để có các chân khỏe mạnh đã giúp ích. Tuy nhiên, tỷ lệ thu hồi vẫn ở mức 92%, nghĩa là chúng ta vẫn sẽ bỏ sót 8% số lỗ còn thiếu và để các lỗi trôi qua mà không được chú ý.

Tiếp theo, chúng tôi khám phá cách tiếp cận mô hình hai giai đoạn trong đó chúng tôi có thể cải thiện hiệu suất mô hình hơn nữa.

Cách tiếp cận mô hình hai giai đoạn

Đối với mô hình hai giai đoạn, chúng tôi huấn luyện hai mô hình: một để phát hiện ghim và một để phát hiện xem ghim có bị thiếu hay không trên các hình ảnh đã cắt phóng to của ghim. Sau đây là hình ảnh từ bộ dữ liệu phát hiện pin.

Dữ liệu tương tự như thử nghiệm trước đây của chúng tôi, trong đó chúng tôi đã cắt PCB thành bốn hoặc sáu hình ảnh đã được cắt. Lần này, chúng tôi dán nhãn cho tất cả các ghim và không phân biệt xem ghim có thiếu lỗ hay không. Chúng tôi huấn luyện mô hình này với 522 hình ảnh và thử nghiệm với 108 hình ảnh, duy trì cùng mức phân chia huấn luyện/kiểm tra như các thử nghiệm trước đó. Kết quả được thể hiện trong bảng sau.

Những kết quả đánh giá
Điểm F1		Độ chính xác trung bình		Thu hồi tổng thể
1.000		0.999		1.000
Thời gian huấn luyện		Tập dữ liệu đào tạo		Bộ dữ liệu thử nghiệm
Được đào tạo trong 1.581 giờ		1 nhãn, 522 hình ảnh		1 nhãn, 108 hình ảnh
Hiệu suất trên mỗi nhãn
Tên nhãn	Điểm F1	Kiểm tra hình ảnh	Độ chính xác	Nhớ lại	Ngưỡng giả định
pin	1.000	108	0.999	1.000	0.617

Mô hình phát hiện các chân một cách hoàn hảo trên tập dữ liệu tổng hợp này.

Tiếp theo, chúng tôi xây dựng mô hình để phân biệt các lỗ còn thiếu. Chúng tôi sử dụng hình ảnh đã cắt của các lỗ để huấn luyện giai đoạn thứ hai của mô hình, như trong các ví dụ sau. Mô hình này khác biệt với các mô hình trước đó vì đây là mô hình phân loại và sẽ tập trung vào nhiệm vụ hẹp là xác định xem chốt có lỗ bị thiếu hay không.

Chúng tôi huấn luyện mô hình giai đoạn hai này trên 16,624 hình ảnh và thử nghiệm trên 3,266 hình ảnh, duy trì cùng các phần tách đào tạo/kiểm tra như các thử nghiệm trước đó. Bảng sau đây tóm tắt kết quả của chúng tôi.

Những kết quả đánh giá
Điểm F1		Độ chính xác trung bình		Thu hồi tổng thể
1.000		1.000		1.000
Thời gian huấn luyện		Tập dữ liệu đào tạo		Bộ dữ liệu thử nghiệm
Được đào tạo trong 6.660 giờ		2 nhãn, 16,624 hình ảnh		2 nhãn, 3,266 hình ảnh
Hiệu suất trên mỗi nhãn
Tên nhãn	Điểm F1	Kiểm tra hình ảnh	Độ chính xác	Nhớ lại	Ngưỡng giả định
anomaly	1.000	88	1.000	1.000	0.960
normal	1.000	3,178	1.000	1.000	0.996

Một lần nữa, chúng tôi nhận được độ chính xác hoàn hảo và khả năng thu hồi trên tập dữ liệu tổng hợp này. Kết hợp mô hình phát hiện pin trước đó với mô hình phân loại lỗ thiếu giai đoạn thứ hai này, chúng ta có thể xây dựng một mô hình vượt trội hơn bất kỳ mô hình một giai đoạn nào.

Bảng sau đây tóm tắt các thí nghiệm chúng tôi đã tiến hành.

Thử nghiệm	Kiểu	Mô tả	Điểm F1	Độ chính xác	Nhớ lại
1	Mô hình một giai đoạn	Mô hình phát hiện đối tượng để phát hiện các lỗ thiếu trên ảnh đầy đủ	0.468	0.75	0.34
2	Mô hình một giai đoạn	Mô hình phát hiện đối tượng để phát hiện các chân khỏe và các lỗ bị thiếu trên ảnh đã cắt	0.967	0.989	0.945
3	Mô hình hai giai đoạn	Giai đoạn 1: Phát hiện đối tượng trên tất cả các chân	1.000	0.999	1.000
		Giai đoạn 2: Phân loại hình ảnh chốt khỏe hoặc lỗ bị thiếu	1.000	1.000	1.000
		Trung bình từ đầu đến cuối	1.000	0.9995	1.000

Đường dẫn suy luận

Bạn có thể sử dụng kiến ​​trúc sau để triển khai các mô hình một giai đoạn và hai giai đoạn mà chúng tôi đã mô tả trong bài đăng này. Các thành phần chính sau đây có liên quan:

Đối với các mô hình một giai đoạn, bạn có thể gửi hình ảnh đầu vào đến điểm cuối API Gateway, sau đó là Lambda để xử lý trước hình ảnh cơ bản và định tuyến đến điểm cuối mô hình đã đào tạo Nhãn tùy chỉnh Rekognition. Trong các thử nghiệm của mình, chúng tôi đã khám phá các mô hình một giai đoạn chỉ có thể phát hiện các lỗ bị thiếu cũng như các lỗ bị thiếu và các chốt khỏe mạnh.

Đối với các mô hình hai giai đoạn, bạn có thể gửi hình ảnh tương tự đến điểm cuối API Gateway, sau đó là Lambda. Lambda đóng vai trò là người điều phối đầu tiên gọi mô hình phát hiện đối tượng (được đào tạo bằng cách sử dụng Nhãn tùy chỉnh Rekognition), tạo ra vùng quan tâm. Sau đó, hình ảnh gốc sẽ được cắt trong hàm Lambda và gửi đến một mô hình phân loại Nhãn tùy chỉnh Rekognition khác để phát hiện lỗi trong mỗi hình ảnh đã cắt.

Kết luận

Trong bài đăng này, chúng tôi đã đào tạo các mô hình một và hai giai đoạn để phát hiện các lỗ hổng còn thiếu trong PCB bằng Nhãn tùy chỉnh Rekognition. Chúng tôi đã báo cáo kết quả cho nhiều mô hình khác nhau; trong trường hợp của chúng tôi, mô hình hai giai đoạn hoạt động tốt hơn các biến thể khác. Chúng tôi khuyến khích khách hàng có hình ảnh có độ phân giải cao từ các miền khác thử nghiệm hiệu suất của mô hình bằng mô hình một và hai giai đoạn. Ngoài ra, hãy xem xét các cách sau để mở rộng giải pháp:

• Cắt cửa sổ trượt cho tập dữ liệu thực tế của bạn
• Sử dụng lại các mô hình phát hiện đối tượng của bạn trong cùng một đường dẫn
• Ghi nhãn trước quy trình làm việc bằng cách sử dụng dự đoán hộp giới hạn

---

Giới thiệu về tác giả

Andreas Karagounis là Giám đốc khoa học dữ liệu tại Accenture. Ông có bằng thạc sĩ Khoa học Máy tính của Đại học Brown. Anh ấy có kiến ​​thức nền tảng về thị giác máy tính và làm việc với khách hàng để giải quyết những thách thức kinh doanh của họ bằng cách sử dụng khoa học dữ liệu và học máy.

Yogesh Chaturvedi là Kiến trúc sư giải pháp chính tại AWS với trọng tâm là thị giác máy tính. Anh làm việc với khách hàng để giải quyết những thách thức kinh doanh của họ bằng cách sử dụng công nghệ đám mây. Ngoài công việc, anh thích đi bộ đường dài, du lịch và xem thể thao.

Shreyas Subramanian là Nhà khoa học dữ liệu chính và giúp đỡ khách hàng bằng cách sử dụng máy học để giải quyết các thách thức kinh doanh của họ bằng nền tảng AWS. Shreyas có nền tảng về tối ưu hóa quy mô lớn và học máy cũng như sử dụng học máy và học tăng cường để tăng tốc các nhiệm vụ tối ưu hóa.

Selimcan “Có thể” Sakar là nhà phát triển và Kiến trúc sư giải pháp ưu tiên đám mây tại Nhóm kinh doanh AWS Accenture, tập trung vào các công nghệ mới nổi như GenAI, ML và blockchain. Khi anh ấy không xem các người mẫu hội tụ, người ta có thể nhìn thấy anh ấy đang đạp xe hoặc chơi kèn clarinet.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/defect-detection-in-high-resolution-imagery-using-two-stage-amazon-rekognition-custom-labels-models/