Pelabelan titik cloud 3D LiDAR dengan sensor Velodyne LiDAR di Amazon SageMaker Ground Truth

LiDAR adalah teknologi pendukung utama dalam pertumbuhan pasar otonom, seperti robotika, industri, infrastruktur, dan otomotif. LiDAR memberikan data 3D yang tepat tentang lingkungannya secara real time untuk memberikan "visi" untuk solusi otonom. Untuk kendaraan otonom (AV), hampir setiap produsen mobil menggunakan LiDAR untuk meningkatkan sistem kamera dan radar untuk persepsi komprehensif yang mampu menavigasi lingkungan jalan raya yang kompleks dengan aman. Sistem visi komputer dapat menggunakan peta 3D yang dihasilkan oleh sensor LiDAR untuk deteksi objek, klasifikasi objek, dan segmentasi pemandangan. Seperti sistem pembelajaran mesin (ML) terawasi lainnya, data point cloud yang dihasilkan oleh sensor LiDAR harus diberi label dengan benar agar model ML dapat membuat kesimpulan yang benar. Hal ini memungkinkan AV beroperasi dengan lancar dan efisien, menghindari insiden dan tabrakan dengan objek, pejalan kaki, kendaraan, dan pengguna jalan lainnya.

Dalam posting ini, kami mendemonstrasikan cara memberi label pada data cloud titik 3D yang dihasilkan oleh Velodyne LiDAR sensor menggunakan Kebenaran Dasar Amazon SageMaker. Kami memecah proses pengiriman data untuk anotasi sehingga Anda dapat memperoleh hasil yang tepat dan berkualitas tinggi.

Kode untuk contoh ini tersedia di GitHub.

Ikhtisar solusi

SageMaker Ground Truth adalah layanan pelabelan data yang dapat Anda gunakan untuk membuat set data berlabel berkualitas tinggi untuk berbagai jenis kasus penggunaan ML. SageMaker Ground Truth adalah kemampuan dalam Amazon SageMaker, yang merupakan layanan ML yang komprehensif dan terkelola sepenuhnya. Dengan SageMaker, ilmuwan dan pengembang data dapat dengan cepat dan mudah membuat dan melatih model ML, lalu menerapkannya secara langsung ke lingkungan yang siap produksi.

Selain data LiDAR, kami juga menyertakan gambar kamera, menggunakan fitur sensor fusion di SageMaker Ground Truth untuk memberikan informasi visual yang kuat tentang adegan yang diberi label oleh anotator. Melalui fusi sensor, annotator dapat menyesuaikan label dalam adegan 3D serta dalam gambar 2D. Ini memberikan kemampuan unik untuk memastikan bahwa anotasi dalam data LiDAR dicerminkan dalam citra 2D, membuat prosesnya lebih efisien.

Dengan SageMaker Ground Truth, data titik cloud 3D Velodyne LiDAR yang dihasilkan oleh sensor Velodyne LiDAR yang dipasang pada kendaraan dapat diberi label untuk melacak objek bergerak. Dalam kasus penggunaan yang menantang ini, kita dapat mengikuti lintasan suatu objek seperti mobil atau pejalan kaki di lingkungan yang dinamis, sementara titik acuan kita juga bergerak. Dalam hal ini, acuan kami adalah mobil yang dilengkapi dengan Velodyne LiDAR.

Untuk melakukan tugas ini, kami membahas topik-topik berikut:

• Teknologi Velodyne
• Dataset
• Membuat pekerjaan pelabelan
• File manifes input urutan cloud titik
• Membangun file manifes input urutan
• Memberi label pada file konfigurasi kategori
• Menentukan sumber daya pekerjaan
• Menyelesaikan pekerjaan pelabelan

Prasyarat

Untuk menerapkan solusi dalam posting ini, Anda harus memiliki prasyarat berikut:

• Akun AWS untuk menjalankan kode.
• An Layanan Penyimpanan Sederhana Amazon (Amazon S3) ember tempat Anda dapat menulis. Bucket harus berada di Wilayah yang sama dengan instans notebook SageMaker. Kami juga dapat menentukan awalan S3 yang valid. Semua file yang terkait dengan percobaan ini disimpan di awalan ember kami. Kita harus melampirkan kebijakan CORS ke ember ini. Untuk petunjuk, lihat Mengonfigurasi berbagi sumber daya lintas asal (CORS). Masukkan kebijakan berikut di editor konfigurasi CORS:

<?xml version="1.0" encoding="UTF-8"?>
<CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<CORSRule>
    <AllowedOrigin>*</AllowedOrigin>
    <AllowedMethod>GET</AllowedMethod>
    <AllowedMethod>HEAD</AllowedMethod>
    <AllowedMethod>PUT</AllowedMethod>
    <MaxAgeSeconds>3000</MaxAgeSeconds>
    <ExposeHeader>Access-Control-Allow-Origin</ExposeHeader>
    <AllowedHeader>*</AllowedHeader>
</CORSRule>
<CORSRule>
    <AllowedOrigin>*</AllowedOrigin>
    <AllowedMethod>GET</AllowedMethod>
</CORSRule>
</CORSConfiguration>

Teknologi Velodyne

LiDAR dapat dibagi menjadi beberapa kategori, termasuk pemindaian LiDAR dan flash LiDAR. Pemindaian LiDAR secara konvensional menggunakan rotasi mekanis untuk memutar sensor untuk deteksi 360 derajat. Velodyne, yang menemukan LiDAR 3D pertama di industri, terus berinovasi dan meluncurkan produk rotasi baru dengan teknologi mutakhir. Ultra Puck Velodyne adalah sensor LiDAR pemindaian yang menggunakan teknologi tampilan surround yang dipatenkan Velodyne. Ini memberikan tampilan lingkungan 360 derajat penuh untuk memberikan data 3D real-time yang akurat. Ultra Puck memiliki faktor bentuk yang ringkas dan menghadirkan deteksi objek waktu nyata yang diperlukan untuk navigasi yang aman dan pengoperasian yang andal. Dengan kombinasi daya optimal dan kinerja tinggi, sensor ini memberikan pengukuran reflektifitas jarak dan terkalibrasi di semua sudut rotasi. Ini adalah solusi ideal untuk robotika, pemetaan, keamanan, bantuan pengemudi, dan navigasi otonom. Selain sensor LiDAR itu sendiri, Velodyne telah membuat Vella Development Kit (VDK), kumpulan alat, perangkat keras, dan dokumentasi yang memfasilitasi akses ke tumpukan perangkat lunak otonomi Velodyne. VDK dapat dikonfigurasi untuk antarmuka dan lingkungan khusus yang berbeda, memberi Anda berbagai aplikasi untuk meningkatkan otonomi dan meningkatkan keamanan.

Selain itu, VDK dapat mengurangi pekerjaan di muka yang seharusnya Anda lakukan untuk mengaktifkan pengumpulan data dan alur anotasi end-to-end dengan menyediakan kemampuan yang diperlukan berikut ini:

• Sinkronisasi jam antara LiDAR, odometri, dan bingkai kamera
• Kalibrasi untuk kendaraan LiDAR Kalibrasi ekstrinsik 5-DOF (z tidak dapat diamati)
• Kalibrasi untuk parameter ekstrinsik, intrinsik, dan distorsi kamera LiDAR
• Kumpulkan kompensasi gerakan (intra-frame atau multi-frame), awan titik LiDAR yang disinkronkan dan gambar kamera

Untuk mengembangkan kemampuan persepsi berbasis kendaraan, tim perangkat lunak Velodyne telah menyiapkan kendaraan pengumpul data mereka sendiri dengan salah satu unit Ultra Puck LiDAR mereka, sebuah kamera dan sensor GPS/IMU yang dipasang di kap kendaraan. Pada langkah selanjutnya, kami merujuk ke proses internal mereka yang menggunakan VDK untuk menyiapkan, mengumpulkan, dan membubuhi keterangan data yang diperlukan untuk mengembangkan kemampuan persepsi berbasis kendaraan mereka sebagai contoh bagi pelanggan lain yang mencoba memecahkan kasus penggunaan persepsi mereka sendiri.

sinkronisasi jam

Sinkronisasi jam yang akurat dari LiDAR, odometri, dan output kamera dapat menjadi sangat penting untuk aplikasi multi-sensor yang menggabungkan aliran data tersebut. Untuk hasil terbaik, Anda harus menggunakan PTP sistem sinkronisasi dengan jam utama dan didukung oleh semua sensor. Salah satu keuntungan PTP adalah kemampuan untuk menyinkronkan beberapa perangkat dengan akurasi tinggi dengan satu sumber waktu. Sistem seperti itu dapat mencapai akurasi sinkronisasi lebih baik dari 1 mikrodetik. Solusi lain termasuk distribusi PPS dan sumber waktu per perangkat. Sebagai opsi alternatif, VDK mendukung sinkronisasi perangkat lunak dengan memanfaatkan time-of-arrival timestamping, yang dapat menjadi cara yang bagus untuk menjalankan aplikasi dengan cepat tanpa adanya infrastruktur sinkronisasi jam yang tepat. Hal ini dapat mengakibatkan kesalahan timestamping pada urutan 1–10 milidetik karena kombinasi latensi dan penundaan antrian di berbagai tingkat infrastruktur jaringan dan sistem operasi host, yang mungkin atau mungkin tidak dapat diterima, tergantung pada aplikasinya.

Kalibrasi kendaraan LiDAR

Kalibrasi kendaraan LiDAR memperkirakan posisi ekstrinsik LiDAR dalam rangka kendaraan di sepanjang lima sumbu. Nilai Z tidak dapat diamati; oleh karena itu Anda harus mengukur nilai z secara independen. Proses kami adalah teknik kalibrasi tanpa target tetapi bekerja dengan baik di lingkungan di mana tanahnya relatif datar, dan lingkungan memiliki fitur objek statis yang berdekatan daripada fitur dinamis (kendaraan, pejalan kaki) atau non-berdekatan (semak dan semak). Pikirkan tempat parkir dengan sedikit rintangan dan bangunan dengan fasad datar. Kehadiran struktur geometris sangat ideal untuk meningkatkan kualitas kalibrasi. Pengguna diharuskan mengemudi dalam beberapa pola mengemudi yang telah ditentukan sebelumnya yang ditunjukkan oleh VDK untuk mengekspos sebagian besar parameter. Satu menit data cukup untuk kalibrasi ini. Setelah data diunggah ke layanan platform Veldoyne, kalibrasi dilakukan di cloud dan hasilnya tersedia dalam waktu 24 jam. Untuk keperluan notebook ini, parameter kalibrasi telah diproses dan disediakan.

Kumpulan data LiDAR

Grafik kumpulan data dan sumber daya digunakan dalam notebook ini disediakan oleh Velodyne. Dataset ini berisi satu adegan berkelanjutan dari eksperimen kendaraan otonom yang mengemudi di jalan raya di California. Seluruh adegan berisi 60 frame. Isi dataset adalah sebagai berikut:

• lidar_cam_calib_vlp32_06_10_2021.yaml – Informasi kalibrasi kamera, hanya satu kamera
• images / – Rekaman kamera untuk setiap bingkai
• berpose/ – Pose file JSON yang berisi matriks ekstrinsik LiDAR untuk setiap frame
• diperbaiki_scans_local/ – File .pcb dalam sistem koordinat lokal sensor LiDAR

Jalankan kode berikut untuk mengunduh kumpulan data secara lokal dan kemudian mengunggah ke bucket S3 Anda, yang kami definisikan di bagian inisialisasi:

source_bucket = 'velodyne-blog'
source_prefix = 'highway_data_07'
source_data = f's3://{source_bucket}/{source_prefix}'

!aws s3 cp $source_data ./$PREFIX --recursive
target_s3 = f's3://{BUCKET}/{PREFIX}'
!aws s3 cp ./$PREFIX $target_s3 –recursive

Buat tugas pelabelan

Sebagai langkah selanjutnya, kita perlu membuat pekerjaan pelabelan data di SageMaker Ground Truth. Kami memilih jenis tugas sebagai pelacakan objek. Untuk informasi lebih lanjut tentang jenis tugas pelabelan titik cloud 3D, lihat Jenis-jenis Tugas Cloud 3D Point. Untuk membuat tugas pelabelan awan titik pelacakan objek, kita perlu menambahkan sumber daya berikut sebagai input tugas pelabelan:

• Manifes input urutan cloud titik – File JSON yang mendefinisikan urutan frame cloud titik dan data fusi sensor terkait. Untuk informasi lebih lanjut, lihat Buat Manifes Input Urutan Cloud Point.
• Masukkan file manifes – File input untuk pekerjaan pelabelan. Setiap baris file manifes berisi tautan ke file urutan yang ditentukan dalam manifes input urutan cloud titik.
• File konfigurasi kategori label – File ini digunakan untuk menentukan label, kategori label, atribut bingkai, dan instruksi pekerja Anda. Untuk informasi lebih lanjut, lihat Buat File Konfigurasi Kategori Pelabelan dengan Kategori Label dan Atribut Bingkai.
• Sumber daya AWS yang telah ditentukan sebelumnya - Termasuk yang berikut:
  • Pra-anotasi Lambda ARN - Mengacu pada PraManusiaTugasLambdaArn.
  • Konsolidasi anotasi ARN - The AWS Lambda fungsi yang digunakan untuk mengkonsolidasikan label dari pekerja yang berbeda. Mengacu pada AnotasiKonsolidasiLambdaArn.
  • Tenaga Kerja ARN – Menentukan jenis tenaga kerja yang ingin kita gunakan. Mengacu pada Buat dan Kelola Tenaga Kerja lebih lanjut.
  • ManusiaTugasUiArn – Mendefinisikan template UI pekerja untuk melakukan pekerjaan pelabelan. Ini harus memiliki format yang mirip dengan arn:aws:sagemaker:<region>:123456789012:human-task-ui/PointCloudObjectTracking.

Ingatlah hal berikut:

• Seharusnya tidak ada entri untuk UiTemplateS3Uri parameter.
• Anda LabelAttributeName harus berakhir di -ref. Sebagai contoh, ot-labels-ref.
• Jumlah pekerja yang ditentukan dalam NumberOfHumanWorkersPerDataObject harus 1.
• Pelabelan titik cloud 3D tidak mendukung pembelajaran aktif, jadi kami tidak boleh menentukan nilai untuk parameter di LabelingJobAlgorithmsConfig.
• Pekerjaan pelabelan pelacakan objek awan titik 3D dapat memakan waktu beberapa jam untuk diselesaikan. Anda harus menentukan batas waktu yang lebih lama untuk pekerjaan pelabelan ini di TaskTimeLimitInSeconds (hingga 7 hari, atau 604,800 detik).

  #object tracking as our 3D Point Cloud Task Type. 
  task_type = "3DPointCloudObjectTracking"

File manifes masukan urutan awan titik

Berikut langkah-langkah terpenting untuk menghasilkan file manifes input urutan:

1. Ubah titik 3D menjadi sistem koordinat dunia.
2. Hasilkan matriks ekstrinsik sensor untuk mengaktifkan fitur sensor fusion di SageMaker Ground Truth.

Sensor LiDAR dipasang pada kendaraan yang bergerak (kendaraan ego), yang menangkap data dalam kerangka acuannya sendiri. Untuk melakukan pelacakan objek, kita perlu mengubah data ini menjadi kerangka acuan global untuk memperhitungkan kendaraan ego yang bergerak itu sendiri. Ini adalah sistem koordinat dunia.

Penggabungan sensor adalah fitur di SageMaker Ground Truth yang menyinkronkan bingkai awan titik 3D secara berdampingan dengan bingkai kamera. Ini memberikan konteks visual untuk pemberi label manusia dan memungkinkan pemberi label untuk menyesuaikan anotasi dalam gambar 3D dan 2D secara sinkron. Untuk instruksi tentang transformasi matriks, lihat Memberi label data untuk pelacakan objek 3D dan fusi sensor di Amazon SageMaker Ground Truth.

Grafik generate_transformed_pcd_from_point_cloud fungsi melakukan terjemahan koordinat dan kemudian menghasilkan file data titik 3D, yang dapat digunakan oleh SageMaker Ground Truth.

Untuk menerjemahkan data dari sistem koordinat global lokal/sensor, kalikan setiap titik dalam bingkai 3D dengan matriks ekstrinsik untuk sensor LiDAR.

SageMaker Ground Truth merender data cloud titik 3D dalam format Compact Binary Pack (.bin) atau ASCII (.txt). File dalam format ini perlu berisi informasi tentang lokasi (x, y, dan z koordinat) dari semua titik yang membentuk bingkai itu, dan, opsional, informasi tentang warna piksel setiap titik untuk awan titik berwarna (i, r, g, b).

Untuk membaca lebih lanjut tentang SageMaker Ground Truth menerima format data 3D mentah, lihat Format Data 3D Mentah yang Diterima.

Buat file manifes input urutan

Langkah selanjutnya adalah membangun file manifest input point cloud sequence. Langkah-langkah yang tercantum di bagian ini juga tersedia di buku catatan.

1. Arahkan data cloud dari .pcd file, matriks ekstrinsik LiDAR dari file pose, dan data ekstrinsik, intrinsik, dan distorsi kamera dari kalibrasi kamera .yaml file.
2. Lakukan transformasi per-frame dari raw point cloud ke kerangka acuan global. Buat dan simpan ASCII (.txt) untuk setiap bingkai ke Amazon S3.
3. Ekstrak pose kendaraan ego dari matriks ekstrinsik LiDAR.
4. Bangun posisi sensor dalam sistem koordinat global dengan mengekstrak pose kamera dari matriks ekstrinsik terbalik kamera.
5. Berikan parameter kalibrasi kamera (seperti distorsi dan kemiringan).
6. Membangun array frame data. Referensi lokasi file ASCII, tentukan posisi kendaraan dalam sistem koordinat dunia, dan sebagainya.
7. Buat file manifes urutan sequence.json.
8. Buat file manifes input kami. Setiap baris mengidentifikasi satu file urutan yang baru saja kita unggah.

Beri label pada file konfigurasi kategori

File konfigurasi kategori label kami digunakan untuk menentukan label, atau kelas, untuk pekerjaan pelabelan kami. Saat kami menggunakan jenis tugas deteksi objek atau pelacakan objek; kami juga dapat menyertakan atribut label di . kami file konfigurasi kategori label. Pekerja dapat menetapkan satu atau beberapa atribut yang kami berikan ke anotasi untuk memberikan lebih banyak informasi tentang objek itu. Misalnya, kita mungkin ingin menggunakan atribut occluded untuk meminta pekerja mengidentifikasi ketika suatu objek terhalang sebagian. Mari kita lihat contoh file konfigurasi kategori label untuk tugas pendeteksian objek atau pelabelan pelacakan objek:

label_category = {
  "categoryGlobalAttributes": [
    {
      "enum": [
        "75-100%",
        "25-75%",
        "0-25%"
      ],
      "name": "Visibility",
      "type": "string"
    }
  ],
  "documentVersion": "2020-03-01",
  "instructions": {
    "fullInstruction": "Draw a tight Cuboid. You only need to annotate those in the first frame. Please make sure the direction of the cubiod is accurately representative of the direction of the vehicle it bounds.",
    "shortInstruction": "Draw a tight Cuboid. You only need to annotate those in the first frame."
  },
  "labels": [
    {
      "categoryAttributes": [],
      "label": "Car"
    },
    {
      "categoryAttributes": [],
      "label": "Truck"
    },
    {
      "categoryAttributes": [],
      "label": "Bus"
    },
    {
      "categoryAttributes": [],
      "label": "Pedestrian"
    },
    {
      "categoryAttributes": [],
      "label": "Cyclist"
    },
    {
      "categoryAttributes": [],
      "label": "Motorcyclist"
    },
  ]
}

category_key = f'{PREFIX}/manifests_categories/label_category.json'
write_json_to_s3(label_category, BUCKET, category_key)

label_category_file = f's3://{BUCKET}/{category_key}'
print(f"label category file uri: {label_category_file}")

Tentukan sumber daya pekerjaan

Sebagai langkah selanjutnya, kami menentukan berbagai sumber daya pekerjaan pelabelan:

• Tugas manusia UI ARN - ManusiaTugasUiArn adalah sumber daya yang mendefinisikan template tugas pekerja yang digunakan untuk merender UI pekerja dan alat untuk pekerjaan pelabelan. Atribut ini didefinisikan di bawah UiConfig dan nama sumber daya dikonfigurasi oleh Wilayah dan jenis tugas:

  human_task_ui_arn = (
      f"arn:aws:sagemaker:{region}:123456789012:human-task-ui/{task_type[2:]}"
  )

• Sumber daya kerja – Dalam contoh ini, kami menggunakan sumber daya tim pribadi. Untuk petunjuk, lihat Buat Tenaga Kerja Pribadi (Amazon Cognito Console). Setelah selesai, kita harus meletakkan ARN sumber daya kita di parameter berikut:

  workteam_arn = f"arn:aws:sagemaker:{region}:123456789012:workteam/private-crowd/test-team"#"<REPLACE W/ YOUR Private Team ARN>"

• Lambda ARN pra-anotasi dan Lambda ARN pasca-anotasi – Lihat kode berikut:

  ac_arn_map = {
      "us-west-2": "081040173940",
      "us-east-1": "432418664414",
      "us-east-2": "266458841044",
      "eu-west-1": "568282634449",
      "ap-northeast-1": "477331159723",
  }
  
  prehuman_arn = "arn:aws:lambda:{}:{}:function:PRE-{}".format(region, ac_arn_map[region], task_type)
  acs_arn = "arn:aws:lambda:{}:{}:function:ACS-{}".format(region, ac_arn_map[region], task_type)

• Konfigurasi Tugas Manusia – Kami menggunakan ini untuk menentukan tim kerja kami dan mengonfigurasi tugas pekerjaan pelabelan kami. Jangan ragu untuk memperbarui deskripsi tugas dalam kode berikut:

  job_name = f"velodyne-blog-test-{str(time.time()).split('.')[0]}"
  
  # Task description info =================
  task_description = "Draw 3D boxes around required objects"
  task_keywords = ['lidar', 'pointcloud']
  task_title = job_name
  
  human_task_config = {
      "AnnotationConsolidationConfig": {
          "AnnotationConsolidationLambdaArn": acs_arn,
      },
      "WorkteamArn": workteam_arn,
      "PreHumanTaskLambdaArn": prehuman_arn,
      "MaxConcurrentTaskCount": 200,
      "NumberOfHumanWorkersPerDataObject": 1,  # One worker will work on each task
      "TaskAvailabilityLifetimeInSeconds": 18000, # Your workteam has 5 hours to complete all pending tasks.
      "TaskDescription": task_description,
      "TaskKeywords": task_keywords,
      "TaskTimeLimitInSeconds": 36000, # Each seq must be labeled within 1 hour.
      "TaskTitle": task_title,
      "UiConfig": {
          "HumanTaskUiArn": human_task_ui_arn,
      },
  }

Buat tugas pelabelan

Selanjutnya, kita membuat permintaan pelabelan, seperti yang ditunjukkan pada kode berikut:

labelAttributeName = f"{job_name}-ref" #must end with -ref

output_path = f"s3://{BUCKET}/{PREFIX}/output"

ground_truth_request = {
    "InputConfig" : {
      "DataSource": {
        "S3DataSource": {
          "ManifestS3Uri": manifest_uri,
        }
      },
      "DataAttributes": {
        "ContentClassifiers": [
          "FreeOfPersonallyIdentifiableInformation",
          "FreeOfAdultContent"
        ]
      },  
    },
    "OutputConfig" : {
      "S3OutputPath": output_path,
    },
    "HumanTaskConfig" : human_task_config,
    "LabelingJobName": job_name,
    "RoleArn": role, 
    "LabelAttributeName": labelAttributeName,
    "LabelCategoryConfigS3Uri": label_category_file,
    "Tags": [],
}

Akhirnya, kami membuat pekerjaan pelabelan:

sagemaker_client.create_labeling_job(**ground_truth_request)

Selesaikan pekerjaan pelabelan

Ketika pekerjaan pelabelan kami sudah siap, kami dapat menambahkan diri kami ke tim kerja pribadi kami dan bereksperimen dengan portal pekerja. Kami akan menerima email dengan tautan portal, nama pengguna kami, dan kata sandi sementara. Saat kami masuk, kami memilih pekerjaan pelabelan dari daftar, dan kemudian kami akan melihat portal pekerja seperti tangkapan layar berikut. (Mungkin perlu beberapa menit agar pekerjaan pelabelan baru muncul di portal). Informasi lebih lanjut tentang cara mengatur pekerja dan instruksi dapat ditemukan di sini dan di sini masing.

Ketika kita selesai dengan pekerjaan pelabelan, kita dapat memilih Kirim, lalu lihat data keluaran di lokasi keluaran S3 yang kami tentukan sebelumnya.

Kesimpulan

Dalam posting ini, kami menunjukkan bagaimana kami dapat membuat pekerjaan pelabelan titik cloud 3D untuk pelacakan objek untuk data yang diambil menggunakan sensor LiDAR Velodyne. Kami mengikuti petunjuk langkah demi langkah dalam posting ini dan menjalankan kode yang disediakan untuk membuat pekerjaan pelabelan SageMaker Ground Truth untuk melabeli data cloud titik 3D. Model ML dapat menggunakan label yang dibuat dengan tugas ini untuk melatih model deteksi objek, pengenalan objek, dan pelacakan objek yang biasa digunakan dalam skenario kendaraan otonom.

Jika Anda tertarik untuk memberi label pada data point cloud 3D yang diambil melalui sensor LiDAR Velodyne, ikuti langkah-langkah dalam artikel ini untuk melabeli data menggunakan Kebenaran Dasar Amazon SageMaker.

Tentang Penulis

Sharath Nair memimpin tim Computer Vision yang berfokus pada membangun algoritme persepsi untuk beberapa produk perangkat lunak Velodyne seperti Deteksi & Pelacakan Objek, Segmentasi Semantik, SLAM, dll. Sebelum Velodyne, Sharath bekerja pada Kendaraan Otonom dan Robotika dan telah terlibat dalam ruang ini untuk 6 tahun terakhir.

Oliver Monson adalah Manajer Operasi Data Senior di Velodyne Lidar, yang bertanggung jawab atas jalur pipa data dan strategi akuisisi yang mendukung pengembangan perangkat lunak persepsi. Sebelum Velodyne, Oliver telah mengelola tim operasional yang mengeksekusi pemetaan HD, geospasial, dan aplikasi arkeologi.

John Kua adalah Direktur Rekayasa Perangkat Lunak di Velodyne, membawahi tim Integrasi Sistem dan Robotika, Vella Go, dan Produksi Perangkat Lunak. Sebelum bergabung dengan Velodyne, John menghabiskan lebih dari satu dekade membangun platform sensor multimodal untuk berbagai aplikasi pelokalan dan pemetaan 3D dalam aplikasi komersial dan pemerintah. Platform ini mencakup beragam sensor termasuk kamera cahaya tampak, termal, dan hiperspektral, lidar, GPS, IMU, dan bahkan spektrometer dan pencitra sinar gamma.

Sally Frikman, Chief Marketing Officer di Velodyne, mengawasi pengembangan strategis dan pelaksanaan program pemasaran dan komunikasi global yang memajukan visi dan tujuan inovatif perusahaan. Perannya yang beragam mencakup beragam tanggung jawab, termasuk promosi merek Velodyne, pengembangan kepemimpinan pemikiran, dan generasi pemimpin penjualan yang kuat yang didorong oleh pemasaran digital yang sangat menarik. Sebelumnya, Sally bekerja di bidang pendidikan publik dan pekerjaan sosial.

Nitin Wagh adalah Manajer Pengembangan Bisnis Senior untuk Amazon AI. Dia menyukai kesempatan untuk membantu pelanggan memahami Pembelajaran Mesin dan kekuatan Augmented AI di AWS cloud. Di waktu luangnya, ia senang menghabiskan waktu bersama keluarga dalam kegiatan di luar ruangan.

James Wu adalah Arsitek Solusi Spesialis AI/ML Senior di AWS. membantu pelanggan merancang dan membangun solusi AI/ML. Pekerjaan James mencakup berbagai kasus penggunaan ML, dengan minat utama pada visi komputer, pembelajaran mendalam, dan penskalaan ML di seluruh perusahaan. Sebelum bergabung dengan AWS, James adalah seorang arsitek, pengembang, dan pemimpin teknologi selama lebih dari 10 tahun, termasuk 6 tahun di bidang teknik dan 4 tahun di industri pemasaran & periklanan.

Farooq Sabir adalah Arsitek Solusi Spesialis Kecerdasan Buatan dan Pembelajaran Mesin Senior di AWS. Dia memegang gelar PhD dan MS di bidang Teknik Elektro dari The University of Texas di Austin dan MS di bidang Ilmu Komputer dari Georgia Institute of Technology. Dia memiliki lebih dari 15 tahun pengalaman kerja dan juga suka mengajar dan membimbing mahasiswa. Di AWS, ia membantu pelanggan merumuskan dan memecahkan masalah bisnis mereka dalam ilmu data, pembelajaran mesin, visi komputer, kecerdasan buatan, pengoptimalan numerik, dan domain terkait. Berbasis di Dallas, Texas, dia dan keluarganya suka bepergian dan melakukan perjalanan jauh.