Kacamata pintar Ray-Ban Meta menggunakan kecerdasan buatan untuk melihat, mendengar, dan berbicara. Seperti apa itu?

Sebagai tanda bahwa industri teknologi semakin aneh, Meta berencana segera merilis pembaruan besar yang mengubah Ray-Ban Meta, kacamata kamera videonya, menjadi gadget yang hanya terlihat di film fiksi ilmiah.

Bulan depan, kacamata tersebut akan dapat menggunakan perangkat lunak AI baru untuk melihat dunia nyata dan mendeskripsikan apa yang Anda lihat, mirip dengan asisten AI di film “Her”.

Kacamata, yang tersedia dalam berbagai bingkai mulai dari $300 dan lensa mulai dari $17, sebagian besar digunakan untuk mengambil foto dan video serta mendengarkan musik. Namun dengan perangkat lunak kecerdasan buatan yang baru, mereka dapat digunakan untuk memindai landmark terkenal, menerjemahkan bahasa, dan mengidentifikasi ras hewan dan buah-buahan eksotis, serta tugas-tugas lainnya.

Untuk menggunakan perangkat lunak AI, semua pemakainya harus mengatakan: “Hai, Meta,” diikuti dengan perintah, seperti “Lihat dan beri tahu saya jenis anjing apa ini.” AI kemudian merespons dengan suara yang dihasilkan komputer yang diputar melalui speaker kecil di kacamata.

Konsep perangkat lunak kecerdasan buatan sangat baru dan aneh ketika kita — Brian Memproduksi acara memasak -Saya mendengarnya, dan kami sangat ingin mencobanya. Meta telah memberi kami akses awal ke pembaruan, dan kami telah bereksperimen dengan teknologi ini selama beberapa minggu terakhir.

Kami mengenakan kacamata ke kebun binatang, toko kelontong, dan museum sambil memanggang AI dengan pertanyaan dan permintaan.

Hasilnya: Kami secara bersamaan menikmati kesalahan asisten virtual tersebut—misalnya, membingungkan monyet dengan jerapah—dan mengagumi ketika asisten virtual tersebut melakukan tugas yang berguna seperti menentukan bahwa paket kue bebas gluten.

Seorang juru bicara Meta mengatakan bahwa karena teknologi ini masih baru, AI tidak selalu dapat memperbaiki keadaan, dan masukan ini akan memperbaiki kacamata seiring berjalannya waktu.

Perangkat lunak Meta juga menghasilkan transkrip untuk pertanyaan kami dan jawaban AI, yang kami tangkap dalam tangkapan layar. Berikut adalah hal-hal penting dari bulan Hidup dengan Meta Assistant kami.

Hewan peliharaan

Brian: Tentu saja, hal pertama yang harus saya coba pada AI Meta adalah corgi saya, Max. Dia memandangi anjing gemuk itu dan bertanya, “Hei Mita, apa yang aku lihat?”

“Seekor corgi lucu sedang duduk di lantai sambil menjulurkan lidahnya,” kata asisten tersebut. Benar, khususnya bagian tentang bersikap baik.

mike: AI Meta dengan tepat mengidentifikasi anjing saya, Bruna, sebagai “Anjing Gunung Bernese hitam dan coklat”. Saya setengah berharap program AI akan mengira itu adalah beruang, hewan yang selalu disalahartikan oleh tetangga.

Kebun Binatang

Brian: Setelah AI mengenali anjing saya dengan benar, langkah logis berikutnya adalah mencobanya pada hewan di kebun binatang. Jadi saya baru-baru ini mengunjungi Kebun Binatang Oakland di Oakland, Kalifornia, di sana saya memandangi sekitar selusin hewan selama dua jam, termasuk burung beo, kura-kura, monyet, dan zebra. Saya berkata: “Mita, lihat dan beri tahu saya binatang apa ini.”

AI sering kali salah, sebagian karena banyak hewan yang dikurung dan berada jauh. Mereka salah mengira antara lain primata sebagai jerapah, bebek sebagai kura-kura, dan meerkat sebagai panda raksasa. Di sisi lain, saya terkesan ketika AI dengan tepat mengidentifikasi jenis burung beo yang dikenal sebagai macaw biru dan emas, serta zebra.

Bagian paling aneh dari pengalaman ini adalah berbicara dengan asisten AI tentang anak-anak dan orang tua mereka. Mereka berpura-pura tidak mendengarkan satu-satunya orang di taman sementara aku sepertinya bergumam pada diriku sendiri.

makanan

mike: Saya juga mengalami saat-saat yang aneh saat berbelanja. Berada di dalam Safeway dan berbicara sendiri terasa agak canggung, jadi aku berusaha menjaga suaraku tetap pelan. Aku masih melirik ke samping.

Ketika AI Meta bekerja, itu ajaib. Saya mengambil paket Oreo yang berbentuk aneh dan memintanya untuk melihat paket tersebut dan memberi tahu saya apakah itu bebas gluten. (Ternyata tidak). Ini menjawab pertanyaan seperti ini dengan benar sekitar separuh waktu, meskipun saya tidak bisa mengatakan itu menghemat waktu dibandingkan dengan membaca label.

Namun alasan utama saya mendapatkan kacamata ini adalah untuk memulai kacamata saya sendiri Program memasak di Instagram – Cara menyenangkan untuk mengatakan saya merekam diri saya menyiapkan makanan untuk minggu ini sambil berbicara kepada diri sendiri. Kacamata ini membuat melakukan hal ini jauh lebih mudah dibandingkan menggunakan ponsel dengan satu tangan.

Asisten AI juga dapat memberikan bantuan di dapur. Jika saya ingin mengetahui berapa sendok teh dalam satu sendok makan dan tangan saya terlumuri minyak zaitun, misalnya, saya dapat memintanya untuk memberi tahu saya. (Ada tiga sendok teh dalam satu sendok makan, sekedar FYI.)

Namun ketika saya meminta AI untuk melihat sekumpulan bahan yang saya miliki dan membuat resep, AI mengeluarkan instruksi singkat untuk puding telur — yang tidak terlalu membantu dalam mengikuti petunjuk dengan kecepatan saya sendiri.

Beberapa contoh yang dapat dipilih mungkin akan lebih membantu, namun hal ini memerlukan modifikasi pada UI dan bahkan mungkin layar di dalam lensa saya.

Juru bicara Meta mengatakan pengguna dapat mengajukan pertanyaan lanjutan untuk mendapatkan jawaban yang lebih sulit dan bermanfaat dari asistennya.

Brian: Saya pergi ke toko kelontong dan membeli buah paling eksotis yang bisa saya temukan—cherimoya, buah hijau bersisik yang bentuknya seperti telur dinosaurus. Ketika AI Meta diberi beberapa kesempatan untuk mengidentifikasinya, ia membuat tebakan yang berbeda setiap kali: pecan berlapis coklat, buah batu, apel, dan terakhir, durian, yang merupakan kerabat dekat, tapi bukan pisang.

Monumen dan museum

mike: Kemampuan perangkat lunak baru untuk mengenali landmark dan monumen tampaknya semakin meningkat. Saat melihat gedung apartemen di pusat kota San Francisco dengan kubah yang menjulang tinggi, AI Meta menjawab dengan tepat, “Balai Kota”. Ini adalah trik yang bagus dan mungkin berguna jika Anda seorang turis.

Di lain waktu itu terkena atau meleset. Saat saya berkendara dari kota ke rumah saya di Auckland, saya bertanya kepada Mita di jembatan mana saya berada sambil melihat ke luar jendela di depan saya (tentu saja dengan kedua tangan di kemudi). Tanggapan pertama adalah Jembatan Golden Gate, yang salah. Pada percobaan kedua, saya menemukan bahwa saya berada di Bay Bridge, yang membuat saya bertanya-tanya apakah diperlukan bidikan yang lebih jelas dari tiang gantung putih tinggi di bagian yang lebih baru agar benar.

Brian: Saya mengunjungi Museum Seni Modern di San Francisco untuk memeriksa apakah AI Meta dapat melakukan pekerjaan sebagai pemandu wisata. Setelah mengambil foto sekitar dua lusin lukisan dan meminta asisten memberi tahu saya karya seni apa yang saya lihat, AI dapat mendeskripsikan gambar dan media yang digunakan untuk membuat karya seni tersebut — sesuatu yang bagus untuk sebuah seni. mahasiswa sejarah — tetapi tidak dapat mengidentifikasi artis atau judulnya. (Seorang juru bicara Meta mengatakan bahwa pembaruan perangkat lunak lain yang dirilis setelah kunjungan saya ke museum meningkatkan kemampuan ini.)

Setelah pembaruan, saya mencoba melihat gambar di layar komputer saya dari karya seni yang lebih terkenal, termasuk Mona Lisa, dan AI dapat mengidentifikasinya dengan benar.

Bahasa

Brian: Di sebuah restoran Cina, saya menunjuk ke item menu yang ditulis dalam bahasa Cina dan meminta Meta untuk menerjemahkannya ke bahasa Inggris, tetapi AI mengatakan saat ini hanya mendukung bahasa Inggris, Spanyol, Italia, Prancis, dan Jerman. (Saya terkejut Mark Zuckerberg belajar bahasa Mandarin.)

mike: Dia melakukan pekerjaan yang sangat baik dalam menerjemahkan judul buku ke dalam bahasa Jerman dari bahasa Inggris.

minimum

Kacamata Meta yang didukung AI menawarkan gambaran menarik tentang masa depan yang tampaknya masih jauh. Kerugiannya menggarisbawahi keterbatasan dan tantangan dalam merancang produk jenis ini. Kacamata kemungkinan besar akan lebih baik dalam mengenali hewan dan buah-buahan di kebun binatang, misalnya, jika kamera memiliki resolusi lebih tinggi, namun lensa yang lebih baik akan menambah ukuran gambar. Di mana pun kami berada, rasanya canggung untuk berbicara dengan asisten virtual di depan umum. Tidak jelas apakah itu akan terlihat normal atau tidak.

Namun ketika berhasil, itu bekerja dengan baik dan kami bersenang-senang – dan fakta bahwa AI Meta dapat melakukan hal-hal seperti menerjemahkan bahasa dan mengidentifikasi landmark melalui kacamata yang tampak modern menunjukkan sejauh mana kemajuan teknologi.