Meskipun kemajuan awalnya menjanjikan, agen MLE saat ini menghadapi beberapa keterbatasan yang membatasi kemanjurannya. Pertama, ketergantungan mereka yang besar pada pengetahuan LLM yang sudah ada sering kali mengarah pada bias terhadap metode yang sudah dikenal dan sering digunakan (misalnya, metode scikit-belajar perpustakaan untuk data tabular), mengabaikan pendekatan tugas spesifik yang berpotensi lebih unggul. Lebih-lebih lagi, agen-agen ini biasanya menggunakan strategi eksplorasi yang mengubah seluruh struktur kode secara bersamaan di setiap iterasi. Hal ini sering kali menyebabkan agen mengalihkan fokus sebelum waktunya ke tahapan lain (misalnya, pemilihan model atau penyesuaian hyperparameter) karena mereka tidak memiliki kapasitas untuk melakukan eksplorasi yang mendalam dan berulang dalam komponen pipeline tertentu, seperti bereksperimen secara mendalam dengan berbagai opsi rekayasa fitur.
Baru-baru ini kertaskami memperkenalkan MLE-STAR, agen teknik ML baru yang terintegrasi pencarian web dan penyempurnaan blok kode yang ditargetkan. Berbeda dengan alternatif lainnya, MLE-STAR mengatasi tantangan ML dengan terlebih dahulu mencari model yang tepat di web untuk mendapatkan dasar yang kuat. Kemudian secara hati-hati memperbaiki fondasi ini dengan menguji bagian kode mana yang paling penting. MLE-STAR juga menggunakan metode baru untuk memadukan beberapa model untuk mendapatkan hasil yang lebih baik. Pendekatan ini sangat berhasil — pendekatan ini memenangkan medali di 63% kompetisi Kaggle di MLE-Bench-Lite, secara signifikan mengungguli alternatif lainnya.
