Mengevaluasi potensi S2R
Ketika sistem ASR tradisional mengubah audio menjadi string teks tunggal, sistem tersebut mungkin kehilangan isyarat kontekstual yang dapat membantu memperjelas maknanya (misalnya, hilangnya informasi). Jika sistem salah menafsirkan audio sejak awal, kesalahan tersebut akan diteruskan ke mesin pencari, yang biasanya tidak memiliki kemampuan untuk memperbaikinya (yaitu, penyebaran kesalahan). Akibatnya, hasil penelusuran akhir mungkin tidak mencerminkan maksud pengguna.
Untuk menyelidiki hubungan ini, kami melakukan eksperimen yang dirancang untuk mensimulasikan kinerja ASR yang ideal. Kami mulai dengan mengumpulkan serangkaian kueri pengujian representatif yang mencerminkan lalu lintas penelusuran suara pada umumnya. Yang terpenting, pertanyaan-pertanyaan ini kemudian ditranskripsikan secara manual oleh anotator manusia, sehingga secara efektif menciptakan skenario “ASR sempurna” di mana transkripsi tersebut adalah kebenaran mutlak.
Kami kemudian membuat dua sistem pencarian berbeda untuk perbandingan (lihat grafik di bawah):
- Cascade ASR mewakili pengaturan dunia nyata yang umum, di mana ucapan diubah menjadi teks dengan sistem pengenalan ucapan otomatis (ASR), dan teks tersebut kemudian dimasukkan ke sistem pengambilan.
- Kebenaran dasar bertingkat mensimulasikan model kaskade yang “sempurna” dengan mengirimkan teks kebenaran dasar yang sempurna langsung ke sistem pengambilan yang sama.
Dokumen yang diambil dari kedua sistem (cascade ASR dan cascade groundtruth) kemudian disajikan kepada evaluator manusia, atau “penilai”, bersama dengan kueri asli yang sebenarnya. Para evaluator bertugas membandingkan hasil pencarian dari kedua sistem, memberikan penilaian subjektif terhadap kualitas masing-masing.
Kami menggunakan tingkat kesalahan kata (WER) untuk mengukur kualitas ASR dan mengukur kinerja pencarian, kami menggunakan berarti peringkat timbal balik (MRR) — metrik statistik untuk mengevaluasi proses apa pun yang menghasilkan daftar kemungkinan respons terhadap sampel kueri, diurutkan berdasarkan probabilitas kebenaran dan dihitung sebagai rata-rata kebalikan dari peringkat jawaban pertama yang benar di semua kueri. Perbedaan MRR dan WER antara sistem dunia nyata dan sistem groundtruth menunjukkan potensi peningkatan kinerja di beberapa bahasa penelusuran suara yang paling umum digunakan dalam kumpulan data SVQ (ditunjukkan di bawah).
