Perangkat wearable, mulai dari jam tangan pintar hingga pelacak kebugaran, telah ada di mana-mana dan terus menangkap aliran data yang kaya tentang kehidupan kita. Mereka mencatat detak jantung kita, menghitung langkah kita, melacak langkah kita kebugaran dan tidurdan banyak lagi. Banjir informasi ini memiliki potensi besar bagi kesehatan dan kesejahteraan pribadi. Namun, sementara kita bisa dengan mudah melihatnya Apa yang dilakukan tubuh kita (misalnya, detak jantung 150 bpm), konteks penting dari Mengapa (misalnya, “lari cepat menanjak” vs. “acara berbicara di depan umum yang menegangkan”) sering kali tidak ada. Kesenjangan antara data sensor mentah dan maknanya di dunia nyata telah menjadi penghalang utama untuk memaksimalkan potensi perangkat ini.
Tantangan utamanya terletak pada kelangkaan kumpulan data berskala besar yang memasangkan rekaman sensor dengan teks deskriptif yang kaya. Membuat anotasi jutaan jam data secara manual sangatlah mahal dan memakan waktu. Untuk mengatasi hal ini, dan agar data wearable dapat “berbicara sendiri”, kita memerlukan model yang dapat mempelajari hubungan rumit di antara keduanya sinyal sensor dan bahasa manusia langsung dari data.
Di dalam “SensorLM: Mempelajari Bahasa Sensor yang Dapat Dipakai”, kami memperkenalkan SensorLM, keluarga bahasa sensor model pondasi yang menjembatani kesenjangan ini. Dilatih sebelumnya dengan 59,7 juta jam yang belum pernah terjadi sebelumnya multimodal data sensor dari lebih dari 103.000 individu, SensorLM belajar menafsirkan dan menghasilkan deskripsi yang bernuansa dan dapat dibaca manusia dari data wearable berdimensi tinggi, menetapkan kecanggihan baru dalam pemahaman data sensor.
