TechScape: Akankah LLM sumber terbuka Meta membuat AI lebih aman – atau menyerahkannya ke tangan yang salah? | apel | KoranPrioritas.com

oleh -8 views

TMusim panas AI baik-baik saja dan benar-benar ada pada kita. (Lelucon ini mungkin tidak cocok untuk pembaca di belahan bumi selatan.) Apakah kita menyebut periode ini sebagai puncak dari “siklus hype” atau hanya saat kurva menjadi vertikal hanya akan terlihat jelas di belakang, tetapi irama berita besar di lapangan telah berubah dari mingguan menjadi hampir setiap hari. Mari kita lihat apa saja pemain terbesar di AI – Meta, MicrosoftApple dan OpenAI – lakukan.

apel

Selalu satu untuk menjaga kartunya dekat dengan dadanya, jangan berharap untuk mendengar banyak terobosan R&D dari Cupertino. Bahkan karya AI yang membuatnya menjadi produk pengapalan disembunyikan daripada diteriakkan dari atap, dengan perusahaan berbicara tentang “pembelajaran mesin” dan “transformer” pada konferensi pengembang tahunan di seluruh dunia (WWDC) bulan lalu, tetapi secara mencolok menghindari mengatakan “AI”.

Tapi itu tidak berarti itu tidak memainkan permainan yang sama seperti orang lain. Per Bloomberg (£):

Pembuat iPhone telah membangun kerangka kerjanya sendiri untuk membuat model bahasa besar — ​​sistem berbasis AI di jantung penawaran baru seperti ChatGPT dan Google Bard — menurut orang yang mengetahui upaya tersebut. Dengan dasar tersebut, yang dikenal sebagai “Ajax”, Apple juga telah membuat layanan chatbot yang oleh beberapa insinyur disebut “Apple GPT”.

Dalam beberapa bulan terakhir, dorongan AI telah menjadi upaya besar Apple, dengan beberapa tim yang berkolaborasi dalam proyek tersebut, kata orang-orang yang meminta untuk tidak disebutkan namanya karena masalah pribadi. Pekerjaan tersebut termasuk mencoba untuk mengatasi masalah privasi potensial yang terkait dengan teknologi.

Di satu sisi: tentu saja. Sulit untuk diingat, karena sudah lama berada di belakang, tetapi Apple memimpin industri dengan asisten suara ketika meluncurkan Siri pada tahun 2011. Tetapi dalam beberapa tahun – tentu saja dengan peluncuran speaker pintar Echo pada tahun 2014 – itu telah tertinggal, dan sekarang telah terdegradasi hampir ke status lelucon. Memperbaiki Siri adalah pekerjaan yang sulit, tetapi pekerjaan LLM yang canggih sangat cocok untuk itu. Jadi tidak mengherankan jika perusahaan sedang mengerjakannya.

Di sisi lain: membangun model pondasi itu sulit, mahal – dan mungkin tidak perlu. Apple telah membangun di atas akar sumber terbuka sebelumnya (setiap sistem operasinya, misalnya, pada akhirnya berada di atas kernel Darwin sumber terbuka), dan memiliki teknologi lisensi dari pihak ketiga (terutama, saat ini, Arm, yang masih menyediakan desain inti untuk chipnya). Dan ada banyak peluang untuk salah satu dari pendekatan itu …

Meta dan Microsoft

Model yayasan Meta’s Llama telah menjadi, eh, fondasi yang tidak disengaja dari seluruh komunitas riset. Pesaing GPT dirilis untuk diunduh ke sekelompok peneliti terpilih, yang telah menandatangani NDA dan berjanji untuk tidak membagikannya secara lebih luas… ketika itu segera bocor. Salinan Samizdat telah dibagikan di seluruh internet, begitu pula seluruh sistem untuk berkolaborasi tanpa pernah secara terbuka menerbitkan LLM yang dicuri. Semuanya bertentangan dengan persyaratan Meta, tetapi perusahaan tampaknya tidak terlalu senang menjadi pusat revolusi komputasi.

Dan sekarang, sudah resmi. Meta merilis Llama 2 dengan ketentuan layanan yang melegitimasi ekosistem tersebut. Dari pengumumannya:

Kami sekarang siap untuk membuka sumber Llama 2 versi berikutnya dan membuatnya tersedia gratis untuk penelitian dan penggunaan komersial. Kami menyertakan bobot model dan kode awal untuk model yang telah dilatih sebelumnya dan juga versi percakapan yang disempurnakan.

Dan perusahaan telah bermitra dengan Microsoft untuk memperluas akses:

Mulai hari ini, Llama 2 tersedia dalam katalog model Azure AI, memungkinkan pengembang menggunakan Microsoft Azure untuk membangun dengannya dan memanfaatkan alat cloud-native mereka untuk pemfilteran konten dan fitur keamanan. Ini juga dioptimalkan untuk berjalan secara lokal di Windows, memberi pengembang alur kerja yang mulus saat mereka menghadirkan pengalaman AI yang generatif kepada pelanggan di berbagai platform

Modelnya adalah free-as-in-beer, bukan free-as-in-speech. Persyaratan komersial Meta memerlukan lisensi dari perusahaan mana pun dengan lebih dari 700 juta pengguna aktif bulanan – pada dasarnya, setiap perusahaan lain dibahas dalam buletin hari ini dan sangat sedikit lainnya. Selain itu, ini mencegah siapa pun menggunakan Llama 2 untuk meningkatkan LLM lainnya. Dengan kata lain, ini mungkin gratis, tetapi bukan open source.

OpenAI

Apakah tindakan untuk membuat LLM lebih aman juga membuat mereka lebih bodoh? OpenAI Foto: Olivier Morin/AFP/Getty Images

Tapi itu masih lebih terbuka daripada kompetisi. Mengizinkan pengguna, peneliti, dan pesaing (yang lebih kecil) untuk mengunduh model lengkap dan melihat-lihat bagaimana performanya jelas membantu siapa saja yang ingin membangun di atas apa yang telah Anda buat, tetapi juga membantu membangun kepercayaan dengan calon mitra. Untuk tanda jebakan yang datang dengan pendekatan sebaliknya, lihat OpenAI. Dari Ars Technica:

Dalam sebuah penelitian berjudul “Bagaimana perilaku ChatGPT berubah waktu?” diterbitkan di arXiv, Lingjiao Chen, Matei Zaharia, dan James Zou, meragukan kinerja yang konsisten dari model bahasa besar (LLM) OpenAI, khususnya GPT-3.5 dan GPT-4. Menggunakan akses API, mereka menguji versi Maret dan Juni 2023 dari model ini pada tugas-tugas seperti pemecahan masalah matematika, menjawab pertanyaan sensitif, pembuatan kode, dan penalaran visual. Terutama, kemampuan GPT-4 untuk mengidentifikasi bilangan prima dilaporkan turun drastis dari akurasi 97,6 persen di bulan Maret menjadi hanya 2,4 persen di bulan Juni. Anehnya, GPT-3.5 menunjukkan peningkatan kinerja pada periode yang sama.

Hasilnya menimbulkan ketakutan yang dipegang secara luas bahwa upaya untuk meningkatkan keamanan GPT membuatnya semakin bodoh. OpenAI tentu saja merilis tweak ke GPT secara teratur, dan mengingat keteraturan yang dibicarakan kepala eksekutif Sam Altman tentang keamanan AI, sangat masuk akal bahwa tweak tersebut sebagian besar berfokus pada keselamatan. Jadi jika sistemnya semakin buruk, bukan lebih baik, itu mungkin karena trade-off itu.

lewati promosi buletin sebelumnya

Tapi kertas itu sendiri tidak tahan. Ars Technica, sekali lagi:

Peneliti AI Simon Willison juga menantang kesimpulan makalah tersebut. “Saya tidak merasa sangat meyakinkan,” katanya kepada Ars. “Sebagian besar kritik mereka melibatkan apakah output kode dibungkus dengan Markdown backticks atau tidak”… Sejauh ini, Willison berpikir bahwa setiap perubahan yang dirasakan dalam kemampuan GPT-4 berasal dari kebaruan LLM yang berkurang. Lagi pula, GPT-4 memicu gelombang kepanikan AGI tak lama setelah diluncurkan dan pernah diuji untuk melihat apakah bisa mengambil alih dunia. Sekarang teknologinya menjadi lebih biasa, kesalahannya tampak mencolok.

Tapi tuduhan itu menyerang jantung model OpenAI (ironisnya) tertutup. Perusahaan meluncurkan perubahan pada GPT secara teratur, dengan sedikit penjelasan, dan tidak ada kemampuan bagi pengguna untuk memahami mengapa atau bagaimana setiap model baru berbeda. Memeriksa LLM apa pun adalah masalah “kotak hitam”, dengan sedikit kemampuan untuk mengintip ke dalam dan melihat bagaimana pemikirannya – tetapi masalah itu jauh lebih buruk ketika satu-satunya cara Anda berinteraksi adalah melalui API ke versi yang dihosting oleh pihak ketiga.

Ars Tehcnica, untuk terakhir kalinya:

Willison setuju. “Sejujurnya, kurangnya catatan rilis dan transparansi mungkin menjadi cerita terbesar di sini,” katanya kepada Ars. “Bagaimana kita bisa membangun perangkat lunak yang dapat diandalkan di atas platform yang berubah dengan cara yang benar-benar tidak terdokumentasi dan misterius setiap beberapa bulan?”

x menandai titiknya

Burung biru Twitter telah menerbangkan kandang Musk.
Tweet burung biru Twitter tidak ada lagi. Foto: Mateusz Słodkowski/ZUMA Press Wire/Shutterstock

Jadi Twitter memiliki nama baru: inilah semua yang kami ketahui sejauh ini.

Setiap TikTok bernilai 1.000 kata: sebagai tanggapan terhadap Twitter dan Utas, platform berbagi video sekarang menawarkan opsi untuk membuat posting hanya teks yang panjang.

Jika Anda ingin membaca buletin versi lengkap silakan berlangganan untuk menerima TechScape di kotak masuk Anda setiap hari Selasa.