OPTIMASI MODEL PERCAKAPAN BAHASA INDONESIA BERBASIS SEQUENCE TO SEQUENCE (SEQ2SEQ)

Made, Yohanes Dwiki Witman Gusti (2019) OPTIMASI MODEL PERCAKAPAN BAHASA INDONESIA BERBASIS SEQUENCE TO SEQUENCE (SEQ2SEQ). S1 thesis, UAJY.

Preview	Text (HALAMAN JUDUL) TF077480.pdf Download (768kB) | Preview
Preview	Text (BAB I) TF077481.pdf Download (148kB) | Preview
Preview	Text (BAB II) TF077482.pdf Download (124kB) | Preview
Preview	Text (BAB III) TF077483.pdf Download (435kB) | Preview
	Text (BAB IV) TF077484.pdf Restricted to Registered users only Download (395kB)
	Text (BAB V) TF077485.pdf Restricted to Registered users only Download (1MB)
Preview	Text (BAB VI) TF077486.pdf Download (181kB) | Preview

Abstract

Chatbot saat ini berkembang dengan kerangka kerja sequence-to-sequence (SEQ2SEQ) yang berbasiskan dua Recurrent Neural Network (2-RNN). Seiring waktu, tingkat kesulitan pelatihannya semakin kompleks karena pelatihan jangka panjang dengan RNN sangat rentan pada masalah hilang atau meledaknya gradien. Oleh karena itu, pelatihan dengan RNN akhir-akhir ini lebih fokus kepada upaya untuk mengatasi masalah hilang atau meledaknya gradien melalui langkah optimasi. Beberapa metode optimasi pernah diteliti sebelumnya pada kerangka kerja SEQ2SEQ, seperti mekanisme gerbang Long-Short Term Memory (LSTM) yang baik dalam pemahaman informasi secara lebih lama dan Gated Recurrent Unit (GRU) yang konvergensi pelatihannya cepat, mekanisme perhatian (Attention Mechanism) yang mengatasi masalah sekuens yang panjang, dan gradient descent yang menghasilkan model dengan tingkat kesalahan minimal. Perlu adanya penelitian terbaru yang mengungkapkan hasil gabungan dari ketiga optimasi tersebut untuk mencapai state-of-the-art dari model percakapan. Hasil penelitian ini menunjukkan performa optimasi model percakapan SEQ2SEQ berdasarkan nilai metrik accuracy, precision, recall, F1, dan loss dengan memakai sampel data dari OpenSubtitle 2018 Bahasa Indonesia. Penelitian ini juga berhasil menerapkan mekanisme gerbang yang berbeda pada encoder dan decoder model. Posisi optimal seluruh model terletak pada sampel 15 ribu dan epoch ke-50, dengan skor pengujian terbaik dihasilkan oleh model gerbang LSTM-LSTM, yaitu accuracy 71,59%, precision 86,95%, recall 66,37%, F1 75,25%, dan loss 2,664.

Actions (login required)

View Item