Para ilmuwan lingkungan semakin banyak yang menggunakan model kecerdasan buatan dalam jumlah besar untuk membuat prediksi mengenai perubahan cuaca dan iklim, namun sebuah studi baru yang dilakukan oleh para peneliti MIT menunjukkan bahwa model yang lebih besar tidak selalu lebih baik.
Tim tersebut menunjukkan bahwa, dalam skenario iklim tertentu, model berbasis fisika yang jauh lebih sederhana dapat menghasilkan prediksi yang lebih akurat dibandingkan model pembelajaran mendalam yang canggih.
Analisis mereka juga mengungkapkan bahwa teknik benchmarking yang biasa digunakan untuk mengevaluasi teknik pembelajaran mesin untuk prediksi iklim dapat terdistorsi oleh variasi alami dalam data, seperti fluktuasi pola cuaca. Hal ini dapat membuat seseorang percaya bahwa model pembelajaran mendalam menghasilkan prediksi yang lebih akurat padahal sebenarnya tidak demikian.
Para peneliti mengembangkan cara yang lebih kuat dalam mengevaluasi teknik-teknik ini, yang menunjukkan bahwa, meskipun model sederhana lebih akurat ketika memperkirakan suhu permukaan regional, pendekatan pembelajaran mendalam dapat menjadi pilihan terbaik untuk memperkirakan curah hujan lokal.
Mereka menggunakan hasil ini untuk menyempurnakan alat simulasi yang dikenal sebagai a emulator iklimyang dapat dengan cepat mensimulasikan dampak aktivitas manusia terhadap iklim masa depan.
Para peneliti melihat pekerjaan mereka sebagai “kisah peringatan” tentang risiko penerapan model AI dalam skala besar untuk ilmu iklim. Meskipun model pembelajaran mendalam telah menunjukkan keberhasilan luar biasa dalam bidang seperti bahasa alami, ilmu iklim berisi serangkaian hukum dan perkiraan fisika yang telah terbukti, dan tantangannya adalah bagaimana cara menggabungkannya ke dalam model AI.
“Kami mencoba mengembangkan model yang akan berguna dan relevan untuk hal-hal yang diperlukan oleh para pengambil keputusan di masa depan ketika membuat pilihan kebijakan iklim. Meskipun mungkin menarik untuk menggunakan model pembelajaran mesin gambaran besar terbaru mengenai masalah iklim, studi ini menunjukkan bahwa melangkah mundur dan benar-benar memikirkan masalah mendasar adalah hal yang penting dan bermanfaat,” kata penulis senior studi Noelle Selin, seorang profesor di MIT Institute for Data, Systems, and Society (IDSS) dan Departemen Bumi, Atmosfer, dan Planet. Sciences (EAPS), dan direktur Pusat Sains dan Strategi Keberlanjutan.
Rekan penulis Selin adalah penulis utama Björn Lütjens, mantan postdoc EAPS yang sekarang menjadi ilmuwan riset di IBM Research; penulis senior Raffaele Ferrari, Profesor Oseanografi Cecil dan Ida Green di EAPS dan salah satu direktur Lorenz Center; dan Duncan Watson-Parris, asisten profesor di Universitas California di San Diego. Selin dan Ferrari juga merupakan penyelidik utama Membawa Komputasi ke Tantangan Iklim proyek, dari mana penelitian ini muncul. Itu kertas muncul hari ini di Jurnal Kemajuan dalam Pemodelan Sistem Bumi.
Membandingkan emulator
Karena iklim bumi sangat kompleks, menjalankan model iklim canggih untuk memprediksi bagaimana tingkat polusi akan berdampak pada faktor lingkungan seperti suhu dapat memakan waktu berminggu-minggu dengan menggunakan superkomputer paling kuat di dunia.
Para ilmuwan sering kali membuat emulator iklim, perkiraan sederhana dari model iklim canggih, yang lebih cepat dan lebih mudah diakses. Pembuat kebijakan dapat menggunakan emulator iklim untuk melihat bagaimana asumsi alternatif mengenai emisi gas rumah kaca akan mempengaruhi suhu di masa depan, sehingga membantu mereka mengembangkan peraturan.
Namun emulator tidak terlalu berguna jika memberikan prediksi yang tidak akurat mengenai dampak lokal perubahan iklim. Meskipun pembelajaran mendalam semakin populer untuk ditiru, hanya sedikit penelitian yang mengeksplorasi apakah model ini memiliki kinerja yang lebih baik daripada pendekatan yang telah terbukti benar.
Para peneliti MIT melakukan penelitian serupa. Mereka membandingkan teknik tradisional yang disebut penskalaan pola linier (LPS) dengan model pembelajaran mendalam yang menggunakan kumpulan data tolok ukur umum untuk mengevaluasi emulator iklim.
Hasilnya menunjukkan bahwa LPS mengungguli model pembelajaran mendalam dalam memprediksi hampir semua parameter yang mereka uji, termasuk suhu dan curah hujan.
“Metode AI yang besar sangat menarik bagi para ilmuwan, namun metode tersebut jarang memecahkan masalah yang benar-benar baru, jadi penerapan solusi yang sudah ada terlebih dahulu diperlukan untuk mengetahui apakah pendekatan pembelajaran mesin yang kompleks benar-benar dapat memperbaiki permasalahan tersebut,” kata Lütjens.
Beberapa hasil awal tampaknya tidak sesuai dengan domain pengetahuan para peneliti. Model pembelajaran mendalam yang canggih seharusnya lebih akurat saat membuat prediksi tentang curah hujan, karena data tersebut tidak mengikuti pola linier.
Mereka menemukan bahwa tingginya jumlah variabilitas alami dalam model iklim dapat menyebabkan model pembelajaran mendalam berkinerja buruk pada osilasi jangka panjang yang tidak dapat diprediksi, seperti El Niño/La Niña. Hal ini membuat skor benchmarking tidak mendukung LPS, yang menghitung rata-rata fluktuasi tersebut.
Membangun evaluasi baru
Dari sana, para peneliti menyusun evaluasi baru dengan lebih banyak data yang membahas variabilitas iklim alami. Dengan evaluasi baru ini, kinerja model pembelajaran mendalam sedikit lebih baik dibandingkan LPS untuk curah hujan lokal, namun LPS masih lebih akurat untuk prediksi suhu.
“Penting untuk menggunakan alat pemodelan yang tepat untuk suatu masalah, namun untuk melakukannya Anda juga harus menyiapkan masalah dengan cara yang benar sejak awal,” kata Selin.
Berdasarkan hasil ini, para peneliti memasukkan LPS ke dalam platform emulasi iklim untuk memprediksi perubahan suhu lokal dalam berbagai skenario emisi.
“Kami tidak menganjurkan agar LPS selalu menjadi tujuan. LPS masih memiliki keterbatasan. Misalnya, LPS tidak memprediksi variabilitas atau kejadian cuaca ekstrem,” tambah Ferrari.
Sebaliknya, mereka berharap hasil penelitian ini menekankan perlunya mengembangkan teknik benchmarking yang lebih baik, yang dapat memberikan gambaran lebih lengkap tentang teknik emulasi iklim mana yang paling sesuai untuk situasi tertentu.
“Dengan tolok ukur emulasi iklim yang lebih baik, kita dapat menggunakan metode pembelajaran mesin yang lebih kompleks untuk mengeksplorasi permasalahan yang saat ini sangat sulit diatasi, seperti dampak aerosol atau perkiraan curah hujan ekstrem,” kata Lütjens.
Pada akhirnya, teknik benchmarking yang lebih akurat akan membantu memastikan para pengambil kebijakan mengambil keputusan berdasarkan informasi terbaik yang tersedia.
Para peneliti berharap pihak lain dapat melanjutkan analisis mereka, mungkin dengan mempelajari perbaikan tambahan pada metode dan tolok ukur emulasi iklim. Penelitian semacam ini dapat mengeksplorasi metrik yang berorientasi pada dampak seperti indikator kekeringan dan risiko kebakaran hutan, atau variabel baru seperti kecepatan angin regional.
Penelitian ini sebagian didanai oleh Schmidt Sciences, LLC, dan merupakan bagian dari tim Climate Grand Challenges MIT untuk “Membawa Komputasi ke Tantangan Iklim.”
