Memberi anotasi pada wilayah yang diminati dalam gambar medis, sebuah proses yang dikenal sebagai segmentasi, sering kali merupakan salah satu langkah pertama yang diambil peneliti klinis ketika menjalankan studi baru yang melibatkan gambar biomedis.
Misalnya, untuk menentukan bagaimana ukuran hipokampus otak berubah seiring bertambahnya usia pasien, ilmuwan pertama-tama menguraikan setiap hipokampus dalam serangkaian pemindaian otak. Bagi banyak struktur dan tipe gambar, proses ini sering kali merupakan proses manual yang sangat memakan waktu, terutama jika wilayah yang diteliti sulit untuk digambarkan.
Untuk menyederhanakan proses tersebut, para peneliti MIT mengembangkan sistem berbasis kecerdasan buatan yang memungkinkan peneliti dengan cepat melakukan segmentasi kumpulan data pencitraan biomedis baru dengan mengklik, mencoret-coret, dan menggambar kotak pada gambar. Model AI baru ini menggunakan interaksi ini untuk memprediksi segmentasi.
Saat pengguna menandai gambar tambahan, jumlah interaksi yang perlu mereka lakukan berkurang, dan akhirnya turun ke nol. Model kemudian dapat mengelompokkan setiap gambar baru secara akurat tanpa masukan pengguna.
Hal ini dapat dilakukan karena arsitektur model telah dirancang khusus untuk menggunakan informasi dari gambar yang telah disegmentasi untuk membuat prediksi baru.
Tidak seperti model segmentasi citra medis lainnya, sistem ini memungkinkan pengguna untuk mensegmentasi seluruh kumpulan data tanpa mengulangi pekerjaan mereka untuk setiap gambar.
Selain itu, alat interaktif ini tidak memerlukan kumpulan data gambar yang telah disegmentasi untuk pelatihan, sehingga pengguna tidak memerlukan keahlian pembelajaran mesin atau sumber daya komputasi yang ekstensif. Mereka dapat menggunakan sistem untuk tugas segmentasi baru tanpa melatih ulang modelnya.
Dalam jangka panjang, alat ini dapat mempercepat penelitian metode pengobatan baru dan mengurangi biaya uji klinis dan penelitian medis. Hal ini juga dapat digunakan oleh dokter untuk meningkatkan efisiensi aplikasi klinis, seperti perencanaan pengobatan radiasi.
“Banyak ilmuwan mungkin hanya punya waktu untuk melakukan segmentasi beberapa gambar per hari untuk penelitian mereka karena segmentasi gambar manual sangat memakan waktu. Harapan kami adalah bahwa sistem ini akan memungkinkan ilmu pengetahuan baru dengan memungkinkan peneliti klinis melakukan penelitian yang sebelumnya dilarang karena kurangnya alat yang efisien,” kata Hallee Wong, mahasiswa pascasarjana teknik elektro dan ilmu komputer dan penulis utama a makalah tentang alat baru ini.
Dia bergabung dalam makalah ini dengan Jose Javier Gonzalez Ortiz PhD ’24; John Guttag, Profesor Ilmu Komputer dan Teknik Elektro Dugald C. Jackson; dan penulis senior Adrian Dalca, asisten profesor di Harvard Medical School dan MGH, dan ilmuwan peneliti di MIT Computer Science and Artificial Intelligence Laboratory (CSAIL). Penelitian ini akan dipresentasikan pada Konferensi Internasional tentang Computer Vision.
Memperlancar segmentasi
Ada dua metode utama yang digunakan peneliti untuk mensegmentasi kumpulan gambar medis baru. Dengan segmentasi interaktif, mereka memasukkan gambar ke dalam sistem AI dan menggunakan antarmuka untuk menandai area yang diminati. Model tersebut memprediksi segmentasi berdasarkan interaksi tersebut.
Sebuah alat yang sebelumnya dikembangkan oleh para peneliti MIT, CoretanPromptmemungkinkan pengguna melakukan ini, tetapi mereka harus mengulangi proses tersebut untuk setiap gambar baru.
Pendekatan lainnya adalah mengembangkan model AI khusus tugas untuk melakukan segmentasi gambar secara otomatis. Pendekatan ini mengharuskan pengguna melakukan segmentasi ratusan gambar secara manual untuk membuat kumpulan data, lalu melatih model pembelajaran mesin. Model tersebut memprediksi segmentasi untuk gambar baru. Namun pengguna harus memulai proses kompleks berbasis pembelajaran mesin dari awal untuk setiap tugas baru, dan tidak ada cara untuk memperbaiki model jika membuat kesalahan.
Sistem baru ini, MultiverSegmenggabungkan yang terbaik dari setiap pendekatan. Ini memprediksi segmentasi untuk gambar baru berdasarkan interaksi pengguna, seperti coretan, namun juga menjaga setiap gambar tersegmentasi dalam rangkaian konteks yang dirujuknya nanti.
Saat pengguna mengunggah gambar baru dan menandai area yang diminati, model akan menggunakan contoh dalam kumpulan konteksnya untuk membuat prediksi yang lebih akurat, dengan masukan pengguna yang lebih sedikit.
Para peneliti merancang arsitektur model untuk menggunakan kumpulan konteks dengan ukuran berapa pun, sehingga pengguna tidak perlu memiliki sejumlah gambar tertentu. Hal ini memberikan MultiverSeg fleksibilitas untuk digunakan dalam berbagai aplikasi.
“Pada titik tertentu, untuk banyak tugas, Anda tidak perlu memberikan interaksi apa pun. Jika Anda memiliki cukup contoh dalam kumpulan konteks, model dapat memprediksi segmentasinya sendiri secara akurat,” kata Wong.
Para peneliti dengan hati-hati merekayasa dan melatih model tersebut pada beragam kumpulan data pencitraan biomedis untuk memastikan model tersebut memiliki kemampuan untuk secara bertahap meningkatkan prediksinya berdasarkan masukan pengguna.
Pengguna tidak perlu melatih ulang atau menyesuaikan model untuk datanya. Untuk menggunakan MultiverSeg untuk tugas baru, seseorang dapat mengunggah gambar medis baru dan mulai menandainya.
Ketika para peneliti membandingkan MultiverSeg dengan alat canggih untuk segmentasi gambar dalam konteks dan interaktif, kinerjanya mengungguli setiap baseline.
Lebih sedikit klik, hasil lebih baik
Berbeda dengan alat lainnya, MultiverSeg memerlukan lebih sedikit input pengguna pada setiap gambar. Pada gambar baru kesembilan, hanya diperlukan dua klik dari pengguna untuk menghasilkan segmentasi yang lebih akurat daripada model yang dirancang khusus untuk tugas tersebut.
Untuk beberapa jenis gambar, seperti sinar-X, pengguna mungkin hanya perlu melakukan segmentasi satu atau dua gambar secara manual sebelum model menjadi cukup akurat untuk membuat prediksi sendiri.
Interaktivitas alat ini juga memungkinkan pengguna melakukan koreksi terhadap prediksi model, melakukan iterasi hingga mencapai tingkat akurasi yang diinginkan. Dibandingkan dengan sistem para peneliti sebelumnya, MultiverSeg mencapai akurasi 90 persen dengan sekitar 2/3 jumlah coretan dan 3/4 jumlah klik.
“Dengan MultiverSeg, pengguna selalu dapat memberikan lebih banyak interaksi untuk menyempurnakan prediksi AI. Hal ini masih mempercepat proses secara signifikan karena biasanya lebih cepat memperbaiki sesuatu yang ada dibandingkan memulai dari awal,” kata Wong.
Ke depannya, para peneliti ingin menguji alat ini dalam situasi dunia nyata dengan kolaborator klinis dan memperbaikinya berdasarkan masukan dari pengguna. Mereka juga ingin mengaktifkan MultiverSeg untuk mensegmentasi gambar biomedis 3D.
Pekerjaan ini sebagian didukung oleh Quanta Computer, Inc. dan National Institutes of Health, dengan dukungan perangkat keras dari Massachusetts Life Sciences Center.
