NVIDIA memperkenalkan agent skills di konferensi computer vision CVPR 2026 yang berlangsung pada 3–7 Juni di Denver, Amerika Serikat. Teknologi ini dirancang untuk menyederhanakan proses riset physical AI, khususnya dalam pengembangan kendaraan otonom, robot, dan sistem vision AI.
Menurut NVIDIA, hambatan utama dalam riset physical AI bukan hanya kemampuan model, melainkan rangkaian pekerjaan yang harus dilakukan peneliti. Proses tersebut mencakup rekonstruksi kondisi dunia nyata, pembuatan skenario langka atau edge case, evaluasi perilaku sistem, hingga pengulangan eksperimen secara cepat. Selama ini, setiap tahap kerap menggunakan perangkat yang terpisah sehingga peneliti harus menghubungkannya secara manual.
Modul kerja untuk berbagai agen AI
Agent skills ditawarkan sebagai kumpulan modul pengetahuan untuk AI agent. Setiap modul berisi instruksi dalam berkas bernama SKILL.md yang menjelaskan cara menggunakan teknologi NVIDIA, seperti CUDA-X, TensorRT-LLM, NeMo, Omniverse, serta perangkat untuk robotika dan kendaraan otonom.
Dengan pendekatan ini, agen dapat menjalankan tugas seperti melatih model, memproses video, atau menyimulasikan robot tanpa harus diprogram ulang dari awal. Skill tersebut mengikuti standar terbuka “Agent Skills”, sehingga dapat digunakan pada sejumlah platform, termasuk Claude Code, Codex, dan Cursor.
NVIDIA juga menyertakan lapisan keamanan. Setiap skill diperiksa, diberi identitas digital yang mencatat asal-usulnya, dan ditandatangani secara kriptografis. Pengguna dapat memeriksa keaslian serta memastikan modul tidak diubah tanpa izin.
Agent skills bekerja bersama NVIDIA Cosmos 3, model fondasi terbuka untuk physical AI yang juga diumumkan perusahaan. NVIDIA menyebut Cosmos 3 sebagai omnimodel pertama yang menggabungkan penalaran visual, pembuatan dunia virtual, dan generasi aksi dalam satu model.
Fokus pada kendaraan otonom, vision AI, dan robotika
Untuk riset kendaraan otonom, agent skills membantu mengolah data armada menjadi adegan 3D yang dapat diedit, lalu dipakai untuk simulasi dan pembuatan data sintetis. Kebutuhan ini berkaitan dengan persoalan long tail, seperti interaksi lalu lintas yang jarang terjadi, kondisi jalan tidak umum, perubahan pencahayaan, dan perilaku pengemudi lain.
Alur tersebut memanfaatkan Omniverse NuRec, InstantNuRec, Harmonizer, serta renderer HiGS. NVIDIA turut memperkenalkan AlpaGym, kerangka kerja reinforcement learning sumber terbuka yang dapat menjalankan simulasi pada ribuan GPU, dan Cosmos-Dreams, model dunia generatif yang menghasilkan tampilan kamera secara real time berdasarkan aksi kebijakan.
Di sektor yang sama, Alpamayo 2 Super hadir sebagai model bahasa-visi-aksi (vision-language-action/VLA) sumber terbuka dengan 32 miliar parameter. NVIDIA mengklaimnya sebagai model mengemudi sumber terbuka paling canggih milik perusahaan dan merancangnya untuk mendukung pengembangan sistem otonom level 4.
Pada bidang vision AI, skill dari NVIDIA Metropolis dapat digunakan untuk membuat skenario visual sintetis, simulasi anomali, pengayaan data, dan pseudo-labeling. Skill Defect Image Generation, misalnya, memungkinkan pembuatan berbagai cacat produk pada permukaan berbeda berdasarkan gambar asli.
Untuk robotika, agen dapat membantu menyiapkan skenario, menjalankan simulasi, mengumpulkan data, dan memvalidasi lingkungan melalui Omniverse, Isaac Sim, dan Isaac Lab. Skill tambahan mencakup navigasi, manipulasi, konversi format file, pendaftaran lingkungan simulasi, serta evaluasi kebijakan. NVIDIA juga memperkenalkan Cosmos-H-Surgical-Simulator untuk menghasilkan data robotika bedah bagi kebutuhan pelatihan dan evaluasi.
Dataset dan akses terbuka
Di CVPR 2026, NVIDIA juga membuka AI City Challenge, PAI-AV Reasoning Challenge, dan AlpaSim Closed-Loop End-to-End Driving Challenge. Perusahaan merilis dataset GRAIL yang berisi sekitar 50 jam interaksi manusia humanoid dengan objek, serta enam dataset video sintetis untuk robotika, fisika, manusia digital, kendaraan otonom, keselamatan gudang, dan penalaran spasial.
Seluruh alat dan agent skills physical AI tersedia melalui GitHub. Skill Neural Reconstruction, Video Augmentation, dan Defect Image Generation juga dapat dicoba lewat NVIDIA Brev dalam bentuk Physical AI Launchables. Lingkungan yang telah dikonfigurasi itu berjalan pada GPU NVIDIA H100 Tensor Core dan dilengkapi kredit uji coba gratis bagi peneliti.
