برچسب‌گذاری ابر نقطه سه بعدی LiDAR با سنسور Velodyne LiDAR در Amazon SageMaker Ground Truth

LiDAR یک فناوری توانمند کلیدی در بازارهای رو به رشد مستقل مانند روباتیک، صنعتی، زیرساخت ها و خودرو است. LiDAR داده‌های سه‌بعدی دقیقی را در مورد محیط خود در زمان واقعی ارائه می‌کند تا "دیدگاه" را برای راه‌حل‌های مستقل ارائه دهد. برای وسایل نقلیه خودمختار (AVs)، تقریباً هر خودروسازی از LiDAR برای تقویت سیستم‌های دوربین و رادار برای یک پشته درک جامع استفاده می‌کند که قادر به هدایت ایمن در محیط‌های پیچیده جاده‌ای است. سیستم های بینایی کامپیوتری می توانند از نقشه های سه بعدی تولید شده توسط حسگرهای LiDAR برای تشخیص اشیا، طبقه بندی اشیا و تقسیم بندی صحنه استفاده کنند. مانند هر سیستم یادگیری ماشینی تحت نظارت دیگر (ML)، داده‌های ابر نقطه‌ای تولید شده توسط حسگرهای LiDAR باید به درستی برچسب‌گذاری شوند تا مدل ML استنتاج درستی داشته باشد. این به AV ها اجازه می دهد تا به آرامی و کارآمد عمل کنند و از حوادث و برخورد با اشیا، عابران پیاده، وسایل نقلیه و سایر کاربران جاده جلوگیری کنند.

در این پست، نحوه برچسب گذاری داده های ابر نقطه سه بعدی تولید شده توسط را نشان می دهیم Velodyne LiDAR استفاده از سنسورها Amazon SageMaker Ground Truth. ما روند ارسال داده ها را برای حاشیه نویسی تجزیه می کنیم تا بتوانید نتایج دقیق و باکیفیت به دست آورید.

کد این مثال در دسترس است GitHub.

بررسی اجمالی راه حل

SageMaker Ground Truth یک سرویس برچسب‌گذاری داده است که می‌توانید از آن برای ایجاد مجموعه داده‌های برچسب‌دار با کیفیت بالا برای انواع مختلف موارد استفاده ML استفاده کنید. SageMaker Ground Truth یک قابلیت در آمازون SageMaker، که یک سرویس ML جامع و کاملاً مدیریت شده است. با SageMaker، دانشمندان و توسعه دهندگان داده می توانند به سرعت و به راحتی مدل های ML را بسازند و آموزش دهند و سپس مستقیماً آنها را در یک محیط آماده برای تولید مستقر کنند.

علاوه بر داده‌های LiDAR، تصاویر دوربین را نیز با استفاده از ویژگی ترکیب حسگر در SageMaker Ground Truth برای ارائه اطلاعات بصری قوی درباره صحنه‌هایی که حاشیه‌نویس‌ها برچسب‌گذاری می‌کنند، اضافه می‌کنیم. از طریق ترکیب حسگر، حاشیه نویس ها می توانند برچسب ها را در صحنه سه بعدی و همچنین در تصاویر دو بعدی تنظیم کنند. این قابلیت منحصر به فرد را ارائه می دهد تا اطمینان حاصل شود که حاشیه نویسی در داده های LiDAR در تصاویر دوبعدی منعکس می شود و فرآیند را کارآمدتر می کند.

با SageMaker Ground Truth، داده‌های ابر نقطه سه‌بعدی Velodyne LiDAR که توسط حسگر Velodyne LiDAR نصب‌شده بر روی خودرو تولید می‌شود، می‌توانند برای ردیابی اجسام متحرک برچسب‌گذاری شوند. در این مورد کاربردی چالش برانگیز، می‌توانیم مسیر حرکت یک شی مانند ماشین یا عابر پیاده را در یک محیط پویا دنبال کنیم، در حالی که نقطه مرجع ما نیز در حال حرکت است. در این مورد نقطه مرجع ما خودرویی است که مجهز به Velodyne LiDAR است.

برای انجام این کار، موضوعات زیر را طی می کنیم:

• تکنولوژی Velodyne
• مجموعه داده
• ایجاد شغل برچسب زدن
• فایل مانیفست ورودی توالی ابر نقطه
• ساخت فایل مانیفست ورودی دنباله
• برچسب گذاری فایل پیکربندی دسته
• تعیین منابع شغلی
• تکمیل یک کار برچسب زدن

پیش نیازها

برای پیاده سازی راه حل در این پست، باید پیش نیازهای زیر را داشته باشید:

• یک حساب AWS برای اجرای کد.
• An سرویس ذخیره سازی ساده آمازون سطل (Amazon S3) که می توانید به آن بنویسید. سطل باید در همان منطقه نوت بوک SageMaker باشد. همچنین می توانیم یک پیشوند معتبر S3 تعریف کنیم. تمام فایل های مربوط به این آزمایش در آن پیشوند سطل ما ذخیره می شوند. ما باید سیاست CORS را به این سطل متصل کنیم. برای دستورالعمل، مراجعه کنید پیکربندی اشتراک منابع متقابل (CORS). خط مشی زیر را در ویرایشگر پیکربندی CORS وارد کنید:

<?xml version="1.0" encoding="UTF-8"?>
<CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<CORSRule>
    <AllowedOrigin>*</AllowedOrigin>
    <AllowedMethod>GET</AllowedMethod>
    <AllowedMethod>HEAD</AllowedMethod>
    <AllowedMethod>PUT</AllowedMethod>
    <MaxAgeSeconds>3000</MaxAgeSeconds>
    <ExposeHeader>Access-Control-Allow-Origin</ExposeHeader>
    <AllowedHeader>*</AllowedHeader>
</CORSRule>
<CORSRule>
    <AllowedOrigin>*</AllowedOrigin>
    <AllowedMethod>GET</AllowedMethod>
</CORSRule>
</CORSConfiguration>

تکنولوژی Velodyne

LiDAR را می توان به دسته های مختلفی تقسیم کرد، از جمله اسکن LiDAR و Flash LiDAR. اسکن معمولی LiDAR از چرخش مکانیکی برای چرخاندن سنسور برای تشخیص 360 درجه استفاده می کند. Velodyne که اولین LiDAR سه بعدی صنعت را اختراع کرد، همچنان به نوآوری و عرضه محصولات چرخشی جدید با فناوری پیشرفته ادامه می دهد. Velodyne's Ultra Puck یک حسگر LiDAR اسکن کننده است که از فناوری نمای فراگیر ثبت شده Velodyne استفاده می کند. این یک نمای محیطی کامل 3 درجه برای ارائه داده های سه بعدی دقیق در زمان واقعی ارائه می دهد. Ultra Puck دارای یک ضریب فرم جمع و جور است و تشخیص شی در زمان واقعی مورد نیاز برای ناوبری ایمن و عملکرد قابل اعتماد را ارائه می دهد. این سنسور با ترکیبی از قدرت بهینه و عملکرد بالا، اندازه گیری فاصله و بازتاب کالیبره شده را در تمام زوایای چرخشی ارائه می دهد. این یک راه حل ایده آل برای روباتیک، نقشه برداری، امنیت، کمک راننده و ناوبری مستقل است. علاوه بر خود حسگر LiDAR، Velodyne کیت توسعه Vella (VDK) را ایجاد کرده است، مجموعه‌ای از ابزارها، سخت‌افزار و اسنادی که دسترسی به پشته نرم‌افزار خودمختاری Velodyne را تسهیل می‌کند. VDK را می توان برای رابط ها و محیط های سفارشی مختلف پیکربندی کرد و طیف وسیعی از برنامه ها را برای افزایش استقلال و ایمنی بهبود یافته در اختیار شما قرار می دهد.

علاوه بر این، VDK می‌تواند کارهای اولیه‌ای را که در غیر این صورت برای فعال کردن خط لوله جمع‌آوری داده‌ها و حاشیه‌نویسی سرتاسر انجام می‌دادید، با ارائه قابلیت‌های لازم زیر کاهش دهد:

• همگام سازی ساعت بین LiDAR، کیلومتر شماری و فریم دوربین
• کالیبراسیون برای خودروی LiDAR کالیبراسیون خارجی 5-DOF (z قابل مشاهده نیست)
• کالیبراسیون برای پارامترهای بیرونی، ذاتی و اعوجاج دوربین LiDAR
• جمع آوری حرکت جبران شده (داخل فریم یا چند فریم)، ​​ابرهای نقطه LiDAR هماهنگ شده و تصاویر دوربین

برای توسعه قابلیت‌های ادراک مبتنی بر وسیله نقلیه، تیم نرم‌افزار Velodyne وسیله جمع‌آوری داده‌های خود را با یکی از واحدهای Ultra Puck LiDAR، دوربین و سنسورهای GPS/IMU نصب‌شده روی کاپوت خودرو راه‌اندازی کرده‌اند. در مراحل بعدی، ما به فرآیندهای داخلی آن‌ها اشاره می‌کنیم که از VDK برای آماده‌سازی، جمع‌آوری و حاشیه‌نویسی داده‌های مورد نیاز برای توسعه قابلیت‌های ادراک مبتنی بر وسیله نقلیه خود استفاده می‌کنند، به عنوان نمونه برای مشتریان دیگری که سعی در حل موارد استفاده از ادراک خودشان دارند.

همگام سازی ساعت

همگام سازی ساعت دقیق خروجی های LiDAR، کیلومتر شماری و دوربین می تواند برای هر برنامه کاربردی چند سنسوری که این جریان های داده را ترکیب می کند، حیاتی باشد. برای بهترین نتیجه، باید از a PTP سیستم همگام سازی با ساعت اولیه و پشتیبانی توسط تمام سنسورها. یکی از مزایای PTP توانایی همگام سازی چندین دستگاه با دقت بالا با یک منبع زمان بندی واحد است. چنین سیستمی می تواند به دقت همگام سازی بهتر از 1 میکروثانیه دست یابد. راه حل های دیگر شامل توزیع PPS و منابع زمانی برای هر دستگاه است. به‌عنوان یک گزینه جایگزین، VDK از همگام‌سازی نرم‌افزار با استفاده از مهر زمانی زمان رسیدن پشتیبانی می‌کند، که می‌تواند در غیاب زیرساخت مناسب همگام‌سازی ساعت، راهی عالی برای از بین بردن سریع برنامه‌ها باشد. این می تواند منجر به خطاهای مهر زمانی در حدود 1-10 میلی ثانیه به دلیل ترکیبی از تاخیر و تاخیر در صف در سطوح مختلف زیرساخت شبکه و سیستم عامل میزبان شود که بسته به برنامه ممکن است قابل قبول باشد یا نباشد.

کالیبراسیون خودرو LiDAR

کالیبراسیون خودروی LiDAR موقعیت بیرونی LiDAR را در قاب خودرو در امتداد پنج محور تخمین می‌زند. مقدار Z غیر قابل مشاهده است. بنابراین شما باید مقدار z را به طور مستقل اندازه گیری کنید. فرآیند ما یک تکنیک کالیبراسیون بدون هدف است، اما در محیطی که زمین نسبتاً مسطح است، و محیط دارای ویژگی‌های اجسام ساکن پیوسته به جای ویژگی‌های پویا (وسایل نقلیه، عابران پیاده) یا غیر پیوسته (بوته‌ها و بوته‌ها) است، به خوبی کار می‌کند. به پارکینگی با موانع کم و ساختمان هایی با نمای مسطح فکر کنید. وجود ساختارهای هندسی برای بهبود کیفیت کالیبراسیون ایده آل است. کاربر باید در برخی از الگوهای رانندگی از پیش تعریف شده که توسط VDK نشان داده شده است رانندگی کند تا بیشتر پارامترها در معرض دید قرار گیرند. یک دقیقه داده برای این کالیبراسیون کافی است. پس از آپلود داده‌ها در سرویس پلتفرم Veldoyne، کالیبراسیون روی ابر انجام می‌شود و نتیجه ظرف 24 ساعت در دسترس قرار می‌گیرد. برای اهداف این نوت بوک، پارامترهای کالیبراسیون قبلا پردازش و ارائه شده است.

مجموعه داده LiDAR

La مجموعه داده ها و منابع استفاده شده در این نوت بوک توسط Velodyne ارائه شده است. این مجموعه داده شامل یک صحنه پیوسته از یک آزمایش خودروی خودمختار در حال رانندگی در بزرگراهی در کالیفرنیا است. کل صحنه شامل 60 فریم است. محتویات مجموعه داده به شرح زیر است:

• lidar_cam_calib_vlp32_06_10_2021.yaml - اطلاعات کالیبراسیون دوربین، فقط یک دوربین
• عکس ها / - فیلم دوربین برای هر فریم
• ژست/ – یک فایل JSON حاوی ماتریس بیرونی LiDAR برای هر فریم قرار دهید
• rectified_scans_local/ – فایل های pcb. در سیستم مختصات محلی سنسور LiDAR

کد زیر را برای دانلود مجموعه داده به صورت محلی اجرا کنید و سپس در سطل S3 خود که در قسمت مقداردهی اولیه تعریف کردیم آپلود کنید:

source_bucket = 'velodyne-blog'
source_prefix = 'highway_data_07'
source_data = f's3://{source_bucket}/{source_prefix}'

!aws s3 cp $source_data ./$PREFIX --recursive
target_s3 = f's3://{BUCKET}/{PREFIX}'
!aws s3 cp ./$PREFIX $target_s3 –recursive

یک کار برچسب زدن ایجاد کنید

به عنوان گام بعدی، باید یک کار برچسب گذاری داده در SageMaker Ground Truth ایجاد کنیم. نوع وظیفه را به عنوان ردیابی شی انتخاب می کنیم. برای اطلاعات بیشتر در مورد انواع وظایف برچسب گذاری ابر نقطه سه بعدی، به انواع وظایف 3D Point Cloud. برای ایجاد یک کار برچسب‌گذاری ابری نقطه ردیابی شی، باید منابع زیر را به عنوان ورودی کار برچسب‌گذاری اضافه کنیم:

• مانیفست ورودی دنباله ابر نقطه ای - یک فایل JSON که دنباله قاب ابر نقطه ای و داده های ترکیب حسگر مربوطه را تعریف می کند. برای اطلاعات بیشتر ببین یک مانیفست ورودی توالی ابر نقطه ای ایجاد کنید.
• فایل مانیفست را وارد کنید – فایل ورودی برای کار برچسب زدن. هر خط از فایل مانیفست حاوی پیوندی به یک فایل دنباله ای است که در مانیفست ورودی توالی ابر نقطه ای تعریف شده است.
• فایل پیکربندی دسته برچسب – این فایل برای تعیین برچسب‌ها، دسته برچسب، ویژگی‌های فریم و دستورالعمل‌های کارگر استفاده می‌شود. برای اطلاعات بیشتر ببین یک فایل پیکربندی دسته برچسب‌گذاری با ویژگی‌های دسته برچسب و قاب ایجاد کنید.
• منابع AWS از پیش تعریف شده - شامل موارد زیر است:
  • قبل از حاشیه نویسی Lambda ARN - رجوع شود به PreHumanTaskLambdaArn.
  • یکپارچه سازی حاشیه نویسی ARN - AWS لامبدا تابعی که برای ادغام برچسب های کارگران مختلف استفاده می شود. رجوع شود به AnnotationConsolidationLambdaArn.
  • نیروی کار ARN – تعریف می کند که از کدام نوع نیروی کار می خواهیم استفاده کنیم. رجوع شود به ایجاد و مدیریت نیروی کار برای جزئیات بیشتر.
  • HumanTaskUiArn – الگوی UI کارگر را برای انجام کار برچسب گذاری تعریف می کند. این باید قالبی مشابه داشته باشد arn:aws:sagemaker:<region>:123456789012:human-task-ui/PointCloudObjectTracking.

موارد زیر را در نظر داشته باشید:

• نباید ورودی برای UiTemplateS3Uri پارامتر.
• شما LabelAttributeName باید به پایان برسد -ref. مثلا، ot-labels-ref.
• تعداد کارگران مشخص شده در NumberOfHumanWorkersPerDataObject باید 1 باشد.
• برچسب‌گذاری ابر نقطه سه بعدی از یادگیری فعال پشتیبانی نمی‌کند، بنابراین ما نباید مقادیری را برای پارامترها در LabelingJobAlgorithmsConfig.
• کارهای برچسب زدن ردیابی اشیاء ابری نقطه سه بعدی ممکن است چندین ساعت طول بکشد تا تکمیل شوند. شما باید محدودیت زمانی طولانی تری را برای این کارهای برچسب گذاری در آن مشخص کنید TaskTimeLimitInSeconds (تا 7 روز یا 604,800 ثانیه).

  #object tracking as our 3D Point Cloud Task Type. 
  task_type = "3DPointCloudObjectTracking"

فایل مانیفست ورودی توالی ابر نقطه ای

مهمترین مراحل برای ایجاد یک فایل مانیفست ورودی دنباله:

1. نقاط سه بعدی را به یک سیستم مختصات جهانی تبدیل کنید.
2. ماتریس بیرونی حسگر را برای فعال کردن ویژگی ترکیب حسگر در SageMaker Ground Truth ایجاد کنید.

سنسور LiDAR بر روی یک وسیله نقلیه متحرک (خودروی ego) نصب شده است که داده ها را در چارچوب مرجع خود ثبت می کند. برای انجام ردیابی اشیا، باید این داده ها را به یک چارچوب مرجع جهانی تبدیل کنیم تا خود وسیله نقلیه ego در حال حرکت را محاسبه کنیم. این سیستم مختصات جهانی است.

ادغام حسگر یک ویژگی در SageMaker Ground Truth است که فریم ابر نقطه سه بعدی را در کنار قاب دوربین همگام می کند. این زمینه بصری را برای برچسب‌گذاران انسانی فراهم می‌کند و به برچسب‌گذاران اجازه می‌دهد حاشیه‌نویسی را در تصاویر سه‌بعدی و دو بعدی به طور همزمان تنظیم کنند. برای دستورالعمل‌های مربوط به تبدیل ماتریس، به برچسب‌گذاری داده‌ها برای ردیابی شی سه بعدی و ترکیب حسگر در Amazon SageMaker Ground Truth.

La generate_transformed_pcd_from_point_cloud تابع ترجمه مختصات را انجام می دهد و سپس فایل داده نقطه سه بعدی را تولید می کند که SageMaker Ground Truth می تواند آن را مصرف کند.

برای ترجمه داده ها از سیستم مختصات سراسری محلی/حسگر، هر نقطه را در یک قاب سه بعدی با ماتریس بیرونی حسگر LiDAR ضرب کنید.

SageMaker Ground Truth داده های ابری نقطه سه بعدی را در قالب بسته باینری فشرده (bin.bin) یا ASCII (txt.) ارائه می کند. فایل‌های این فرمت‌ها باید حاوی اطلاعاتی در مورد مکان (مختصات x، y، و z) همه نقاط تشکیل‌دهنده آن قاب، و به صورت اختیاری، اطلاعاتی در مورد رنگ پیکسل هر نقطه برای ابرهای نقطه رنگی (i، r، g، b).

برای خواندن اطلاعات بیشتر در مورد فرمت‌های داده‌های سه بعدی خام پذیرفته شده SageMaker Ground Truth، رجوع کنید به فرمت های داده های سه بعدی خام پذیرفته شده است.

فایل مانیفست ورودی دنباله را بسازید

مرحله بعدی ساخت فایل مانیفست ورودی توالی ابر نقطه است. مراحل ذکر شده در این بخش نیز در دفترچه یادداشت موجود است.

1. داده های ابری را از .pcd فایل، ماتریس بیرونی LiDAR از فایل حالت، و داده های بیرونی، درونی و اعوجاج دوربین از کالیبراسیون دوربین .yaml فایل.
2. یک تبدیل در هر فریم از ابر نقطه خام به چارچوب مرجع جهانی انجام دهید. ASCII (txt.) را برای هر فریم در Amazon S3 تولید و ذخیره کنید.
3. ژست وسیله نقلیه ego را از ماتریس بیرونی LiDAR استخراج کنید.
4. با استخراج ژست دوربین از ماتریس بیرونی معکوس دوربین، یک موقعیت حسگر در سیستم مختصات جهانی ایجاد کنید.
5. پارامترهای کالیبراسیون دوربین (مانند اعوجاج و انحراف) را ارائه دهید.
6. آرایه فریم های داده را بسازید. به محل فایل ASCII مراجعه کنید، موقعیت خودرو را در سیستم مختصات جهانی تعریف کنید و غیره.
7. فایل مانیفست دنباله ای را ایجاد کنید sequence.json.
8. فایل مانیفست ورودی ما را ایجاد کنید. هر خط یک فایل توالی منفرد را مشخص می کند که ما به تازگی آپلود کرده ایم.

فایل پیکربندی دسته را برچسب بزنید

فایل پیکربندی دسته برچسب ما برای تعیین برچسب ها یا کلاس ها برای کار برچسب زدن ما استفاده می شود. هنگامی که از انواع وظایف تشخیص شی یا ردیابی شی استفاده می کنیم. همچنین می‌توانیم ویژگی‌های برچسب را در خود قرار دهیم فایل پیکربندی دسته برچسب. کارگران می توانند یک یا چند ویژگی را که ما ارائه می دهیم به حاشیه نویسی اختصاص دهند تا اطلاعات بیشتری در مورد آن شی ارائه کنند. به عنوان مثال، ممکن است بخواهیم از ویژگی استفاده کنیم occluded برای اینکه کارگران شناسایی کنند که یک شی تا حدی مسدود شده است. بیایید به نمونه ای از فایل پیکربندی دسته برچسب برای کار شناسایی شی یا برچسب گذاری ردیابی شی نگاه کنیم:

label_category = {
  "categoryGlobalAttributes": [
    {
      "enum": [
        "75-100%",
        "25-75%",
        "0-25%"
      ],
      "name": "Visibility",
      "type": "string"
    }
  ],
  "documentVersion": "2020-03-01",
  "instructions": {
    "fullInstruction": "Draw a tight Cuboid. You only need to annotate those in the first frame. Please make sure the direction of the cubiod is accurately representative of the direction of the vehicle it bounds.",
    "shortInstruction": "Draw a tight Cuboid. You only need to annotate those in the first frame."
  },
  "labels": [
    {
      "categoryAttributes": [],
      "label": "Car"
    },
    {
      "categoryAttributes": [],
      "label": "Truck"
    },
    {
      "categoryAttributes": [],
      "label": "Bus"
    },
    {
      "categoryAttributes": [],
      "label": "Pedestrian"
    },
    {
      "categoryAttributes": [],
      "label": "Cyclist"
    },
    {
      "categoryAttributes": [],
      "label": "Motorcyclist"
    },
  ]
}

category_key = f'{PREFIX}/manifests_categories/label_category.json'
write_json_to_s3(label_category, BUCKET, category_key)

label_category_file = f's3://{BUCKET}/{category_key}'
print(f"label category file uri: {label_category_file}")

منابع شغلی را مشخص کنید

به عنوان گام بعدی، منابع شغلی مختلف برچسب‌گذاری را مشخص می‌کنیم:

• ARN UI وظیفه انسانی - HumanTaskUiArn منبعی است که الگوی کار کارگر را که برای رندر کردن رابط کاربر و ابزارهای کار برچسب‌گذاری استفاده می‌شود، تعریف می‌کند. این ویژگی در زیر تعریف شده است UiConfig و نام منبع بر اساس منطقه و نوع وظیفه پیکربندی می شود:

  human_task_ui_arn = (
      f"arn:aws:sagemaker:{region}:123456789012:human-task-ui/{task_type[2:]}"
  )

• منبع کار – در این مثال از منابع تیم خصوصی استفاده می کنیم. برای دستورالعمل، مراجعه کنید ایجاد نیروی کار خصوصی (Amazon Cognito Console). وقتی کارمان تمام شد، باید منبع ARN خود را در پارامتر زیر قرار دهیم:

  workteam_arn = f"arn:aws:sagemaker:{region}:123456789012:workteam/private-crowd/test-team"#"<REPLACE W/ YOUR Private Team ARN>"

• قبل از حاشیه نویسی Lambda ARN و پس از حاشیه نویسی Lambda ARN - کد زیر را ببینید:

  ac_arn_map = {
      "us-west-2": "081040173940",
      "us-east-1": "432418664414",
      "us-east-2": "266458841044",
      "eu-west-1": "568282634449",
      "ap-northeast-1": "477331159723",
  }
  
  prehuman_arn = "arn:aws:lambda:{}:{}:function:PRE-{}".format(region, ac_arn_map[region], task_type)
  acs_arn = "arn:aws:lambda:{}:{}:function:ACS-{}".format(region, ac_arn_map[region], task_type)

• HumanTaskConfig - ما از این برای مشخص کردن تیم کاری خود و پیکربندی وظیفه شغلی برچسب زدن خود استفاده می کنیم. می توانید توضیحات کار را در کد زیر به روز کنید:

  job_name = f"velodyne-blog-test-{str(time.time()).split('.')[0]}"
  
  # Task description info =================
  task_description = "Draw 3D boxes around required objects"
  task_keywords = ['lidar', 'pointcloud']
  task_title = job_name
  
  human_task_config = {
      "AnnotationConsolidationConfig": {
          "AnnotationConsolidationLambdaArn": acs_arn,
      },
      "WorkteamArn": workteam_arn,
      "PreHumanTaskLambdaArn": prehuman_arn,
      "MaxConcurrentTaskCount": 200,
      "NumberOfHumanWorkersPerDataObject": 1,  # One worker will work on each task
      "TaskAvailabilityLifetimeInSeconds": 18000, # Your workteam has 5 hours to complete all pending tasks.
      "TaskDescription": task_description,
      "TaskKeywords": task_keywords,
      "TaskTimeLimitInSeconds": 36000, # Each seq must be labeled within 1 hour.
      "TaskTitle": task_title,
      "UiConfig": {
          "HumanTaskUiArn": human_task_ui_arn,
      },
  }

کار برچسب زدن را ایجاد کنید

در مرحله بعد، همانطور که در کد زیر نشان داده شده است، درخواست برچسب گذاری را ایجاد می کنیم:

labelAttributeName = f"{job_name}-ref" #must end with -ref

output_path = f"s3://{BUCKET}/{PREFIX}/output"

ground_truth_request = {
    "InputConfig" : {
      "DataSource": {
        "S3DataSource": {
          "ManifestS3Uri": manifest_uri,
        }
      },
      "DataAttributes": {
        "ContentClassifiers": [
          "FreeOfPersonallyIdentifiableInformation",
          "FreeOfAdultContent"
        ]
      },  
    },
    "OutputConfig" : {
      "S3OutputPath": output_path,
    },
    "HumanTaskConfig" : human_task_config,
    "LabelingJobName": job_name,
    "RoleArn": role, 
    "LabelAttributeName": labelAttributeName,
    "LabelCategoryConfigS3Uri": label_category_file,
    "Tags": [],
}

در نهایت، کار برچسب زدن را ایجاد می کنیم:

sagemaker_client.create_labeling_job(**ground_truth_request)

یک کار برچسب زدن را تکمیل کنید

هنگامی که کار برچسب زدن ما آماده شد، می توانیم خود را به تیم کاری خصوصی خود اضافه کنیم و با پورتال کارگر آزمایش کنیم. ما باید ایمیلی حاوی لینک پورتال، نام کاربری و رمز عبور موقت دریافت کنیم. وقتی وارد می شویم، کار برچسب زدن را از لیست انتخاب می کنیم و سپس باید پورتال کارگر را مانند تصویر زیر ببینیم. (ممکن است چند دقیقه طول بکشد تا یک کار برچسب‌گذاری جدید در پورتال نمایش داده شود). اطلاعات بیشتر در مورد نحوه راه اندازی کارگران و دستورالعمل ها را می توان یافت اینجا کلیک نمایید و اینجا کلیک نمایید بود.

وقتی کار برچسب زدن تمام شد، می توانیم انتخاب کنیم ارسالو سپس داده های خروجی را در محل خروجی S3 که قبلا مشخص کردیم مشاهده کنید.

نتیجه

در این پست، ما نشان دادیم که چگونه می‌توانیم یک کار برچسب‌گذاری ابر نقطه سه بعدی برای ردیابی اشیا برای داده‌های گرفته‌شده با استفاده از حسگر LiDAR Velodyne ایجاد کنیم. ما دستورالعمل های گام به گام در این پست را دنبال کردیم و کد ارائه شده را برای ایجاد یک کار برچسب گذاری SageMaker Ground Truth برای برچسب گذاری داده های ابر نقطه سه بعدی اجرا کردیم. مدل‌های ML می‌توانند از برچسب‌های ایجاد شده با این کار برای آموزش مدل‌های تشخیص اشیا، تشخیص اشیا و ردیابی اشیا که معمولاً در سناریوهای خودروی خودران استفاده می‌شوند، استفاده کنند.

اگر علاقه مند به برچسب گذاری داده های ابر نقطه سه بعدی گرفته شده از طریق حسگر LiDAR Velodyne هستید، مراحل این مقاله را برای برچسب گذاری داده ها با استفاده از آن دنبال کنید. Amazon SageMaker Ground Truth.

درباره نویسنده

شرث نیر رهبری تیم Computer Vision را بر عهده دارد که بر روی ساخت الگوریتم‌های ادراک برای برخی از محصولات نرم‌افزاری Velodyne مانند Object Detection & Tracking، Semantic Segmentation، SLAM و غیره تمرکز دارد. 6 سال گذشته

الیور مونسون یک مدیر ارشد عملیات داده در Velodyne Lidar است که مسئول خطوط لوله داده و استراتژی‌های اکتساب است که از توسعه نرم‌افزار ادراک پشتیبانی می‌کند. قبل از Velodyne، الیور تیم‌های عملیاتی را مدیریت کرده است که بر روی نقشه‌برداری HD، برنامه‌های جغرافیایی و باستان‌شناسی اجرا می‌کنند.

جان کوا مدیر مهندسی نرم افزار در Velodyne است و بر تیم های یکپارچه سازی سیستم و رباتیک، Vella Go و تولید نرم افزار نظارت دارد. قبل از پیوستن به Velodyne، جان بیش از یک دهه را صرف ساختن پلتفرم‌های حسگر چندوجهی برای طیف وسیعی از برنامه‌های محلی‌سازی و نقشه‌برداری سه بعدی در برنامه‌های تجاری و دولتی کرد. این پلتفرم‌ها شامل طیف گسترده‌ای از حسگرها از جمله دوربین‌های نور مرئی، حرارتی و فراطیفی، لیدار، GPS، IMU و حتی طیف‌سنج‌ها و تصویرگرهای پرتو گاما بودند.

سالی فرایکمن، مدیر ارشد بازاریابی در Velodyne، بر توسعه استراتژیک و اجرای برنامه های بازاریابی و ارتباطات جهانی که چشم انداز و اهداف نوآورانه شرکت را پیش می برد، نظارت می کند. نقش چندوجهی او طیف گسترده‌ای از مسئولیت‌ها را در بر می‌گیرد، از جمله ارتقای نام تجاری Velodyne، توسعه رهبری فکری، و تولید سرنخ فروش قوی که با بازاریابی دیجیتال بسیار جذاب تغذیه می‌شود. پیش از این، سالی در آموزش عمومی و مددکاری اجتماعی کار می کرد.

نیتین واق Sr. مدیر توسعه کسب و کار آمازون AI است. او این فرصت را دوست دارد تا به مشتریان در درک یادگیری ماشین و قدرت هوش مصنوعی افزوده در ابر AWS کمک کند. او در اوقات فراغت خود دوست دارد با خانواده در فعالیت های خارج از منزل وقت بگذراند.

جیمز وو یک معمار ارشد راه حل متخصص AI/ML در AWS است. کمک به مشتریان در طراحی و ساخت راه حل های AI/ML. کار جیمز طیف گسترده‌ای از موارد استفاده از ML را پوشش می‌دهد، با علاقه اولیه به بینایی رایانه، یادگیری عمیق، و مقیاس‌بندی ML در سراسر سازمان. قبل از پیوستن به AWS، جیمز بیش از 10 سال معمار، توسعه‌دهنده و رهبر فناوری بود، از جمله 6 سال در مهندسی و 4 سال در صنایع بازاریابی و تبلیغات.

فاروق صابر یک معمار ارشد راه حل های متخصص هوش مصنوعی و یادگیری ماشین در AWS است. او دارای مدرک دکتری و کارشناسی ارشد در مهندسی برق از دانشگاه تگزاس در آستین و کارشناسی ارشد در علوم کامپیوتر از موسسه فناوری جورجیا است. او بیش از 15 سال سابقه کار دارد و همچنین دوست دارد به دانشجویان کالج تدریس و راهنمایی کند. او در AWS به مشتریان کمک می کند تا مشکلات تجاری خود را در علم داده، یادگیری ماشین، بینایی کامپیوتر، هوش مصنوعی، بهینه سازی عددی و حوزه های مرتبط فرموله و حل کنند. او و خانواده اش که در دالاس، تگزاس مستقر هستند، عاشق سفر و سفرهای طولانی جاده ای هستند.