Tentang Menilai Kegunaan Domain Proxy untuk Mengembangkan dan Mengevaluasi Agen Terwujud

  • Bagikan
Tentang Menilai Kegunaan Domain Proxy untuk Mengembangkan dan Mengevaluasi Agen Terwujud


Mengembangkan dan mengevaluasi agen seperti robot dalam pengaturan di mana mereka dimaksudkan untuk digunakan bisa mahal, berbahaya, dan memakan waktu. Oleh karena itu, proxy dari domain tugas target bisa menjadi lingkungan simulasi yang berguna.

Makalah terbaru di arXiv.org menyelidiki kegunaan domain proxy dengan menyediakan metrik kegunaan (semi) proxy.

Dua jenis tugas dibedakan. Untuk proxy yang digunakan untuk memprediksi kinerja tugas, metrik untuk mengukur prediktifitas proxy diusulkan. Ini memungkinkan peneliti untuk menemukan proxy paling prediktif yang tersedia. Jenis proxy kedua adalah yang menghasilkan data.

Dalam hal ini, para peneliti memperkenalkan metrik yang memungkinkan untuk membandingkan domain penghasil data yang berbeda dan memilih domain yang menghasilkan agen terbaik. Metrik yang diusulkan memungkinkan peneliti untuk menyesuaikan beberapa parameter dari domain proxy mereka yang nilai ground-truth untuk domain target tidak tersedia.

Dalam banyak situasi, tidak mungkin atau tidak praktis untuk mengembangkan dan mengevaluasi agen sepenuhnya pada domain target di mana mereka akan ditempatkan. Hal ini terutama berlaku dalam robotika, di mana melakukan eksperimen pada perangkat keras jauh lebih sulit daripada dalam simulasi. Ini telah menjadi bisa dibilang lebih dalam kasus agen berbasis pembelajaran. Untuk tujuan ini, upaya baru-baru ini yang cukup besar telah dicurahkan untuk mengembangkan simulator fidelitas yang semakin realistis dan lebih tinggi. Namun, kami kekurangan cara berprinsip untuk mengevaluasi seberapa bagus “domain proxy”, khususnya dalam hal seberapa bergunanya dalam membantu kami mencapai tujuan akhir kami untuk membangun agen yang berkinerja baik di domain target. Dalam pekerjaan ini, kami menyelidiki metode untuk mengatasi kebutuhan ini. Kita mulai dengan memisahkan dengan jelas dua penggunaan domain proxy yang sering digabungkan: 1) kemampuannya untuk menjadi prediktor kinerja agen yang tepat dan 2) kemampuannya untuk menjadi alat yang berguna untuk pembelajaran. Dalam makalah ini, kami mencoba untuk mengklarifikasi peran domain proxy dan membuat metrik kegunaan proxy (PU) baru untuk membandingkan kegunaan domain proxy yang berbeda. Kami mengusulkan PU prediktif relatif untuk menilai kemampuan prediktif domain proxy dan PU pembelajaran untuk mengukur kegunaan proxy sebagai alat untuk menghasilkan data pembelajaran. Selanjutnya, kami berpendapat bahwa nilai proxy dikondisikan pada tugas yang digunakan untuk membantu menyelesaikannya. Kami mendemonstrasikan bagaimana metrik baru ini dapat digunakan untuk mengoptimalkan parameter domain proxy yang tidak mudah untuk memperoleh kebenaran dasar melalui identifikasi sistem.

Makalah penelitian: Courchesne, A., Censi, A., dan Paull, L., “Tentang Menilai Kegunaan Domain Proxy untuk Mengembangkan dan Mengevaluasi Agen yang Diwujudkan”, 2021. Tautan: https://arxiv.org/abs/2109.14516





Source link

  • Bagikan

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *