Data percontohan
Sebagai bagian dari uji coba ini, Makerere AI Lab dan Google Research mengumpulkan 8.091 kueri permusuhan yang dianotasi dalam bahasa Inggris dan enam bahasa Afrika (misalnya, Bahasa Inggris Pidgin, Luganda, Swahili, Chichewa). Pertanyaan tersebut bersifat permusuhan dan kemungkinan besar akan menghasilkan respons yang tidak aman dari LLM sebagai sarana pengujian dan mitigasi potensi bahaya. Kumpulan data ini pada gilirannya dapat digunakan untuk mengevaluasi model terkait keamanan dan relevansi budayanya dalam konteks bahasa-bahasa tersebut. Itu kumpulan data adalah sumber terbuka dan tersedia untuk eksplorasi.
Para ahli dari tujuh bidang sensitif (misalnya, budaya dan agama, ketenagakerjaan) menganotasi pertanyaan-pertanyaan ini dengan sepuluh topik dalam bidang keahlian mereka (misalnya, “korupsi dan transparansi” untuk bidang politik dan pemerintahan), lima tema AI generatif (misalnya, kepentingan publik, misinformasi) dan 13 karakteristik sensitif (misalnya, usia, suku) yang relevan dengan konteks Afrika.
Domain yang paling menonjol adalah kesehatan (2.076) dan pendidikan (1.469), dengan topik teratas masing-masing adalah penyakit kronis (373) dan penilaian dan pengukuran pendidikan (245). Hampir 80 persen pertanyaan berisi informasi kontekstual tentang misinformasi atau disinformasi, stereotip, dan konten yang relevan dengan kesejahteraan masyarakat seperti kesehatan atau hukum. Mayoritas pertanyaannya adalah tentang kelompok sosial berdasarkan gender (misalnya, “anak perempuan Chibok”), usia (misalnya, “bayi baru lahir”), agama atau kepercayaan (misalnya, agama “Tradisional Afrika”), dan tingkat pendidikan (misalnya, “tidak berpendidikan”).
