Analisis dan implementasi cross-lingual semantic similarity antar kata dengan metode pointwise mutual information
DOI:
https://doi.org/10.17509/jpp.v18i1.11056Keywords:
crosslingual semantic similarity, kesamaan semantik, pointwise mutual informationAbstract
Implementasi pengukuran kesamaan semantik memiliki peran yang sangat penting dalam beberapa bidang Natural Language Processing (NLP), di mana hasilnya sering kali dijadikan dasar dalam melakukan task NLP yang lebih lanjut. Salah satu penerapannya yaitu dengan melakukan pengukuran kesamaan semantik multibahasa antar kata. Pengukuran ini dilatarbelakangi oleh suatu masalah di mana saat ini banyak sistem pencarian informasi yang harus berurusan dengan teks atau dokumen multibahasa. Sepasang kata dinyatakan memiliki kesamaan semantik jika pasangan kata tersebut memiliki kesamaan dari sisi makna atau konsep. Pada penelitian ini, diimplementasikan perhitungan kesamaan semantik antar kata pada bahasa yang berbeda yaitu bahasa Inggris dan bahasa Spanyol. Korpus yang digunakan pada penelitian ini yakni Europarl Parallel Corpus pada bahasa Inggris dan bahasa Spanyol. Konteks kata bersumber dari Swadesh list, serta hasil dari kesamaan semantiknya dibandingkan dengan dataset Gold Standard SemEval 2017 Crosslingual Semantic Similarity untuk diukur nilai korelasinya. Hasil pengujian yang didapat terlihat bahwa pengukuran metode PMI mampu menghasilkan korelasi sebesar 0,5781 untuk korelasi Pearson dan 0,5762 untuk korelasi Spearman. Dari hasil penelitian dapat disimpulkan bahwa implementasi pengukuran Crosslingual Semantic Similarity menggunakan metode Pointwise Mutual Information (PMI) mampu menghasilkan korelasi terbaik. Peneliti merekomendasikan pada penelitian selanjutnya dapat dilakukan dengan menggunakan dataset lain untuk membuktikan seberapa efektif metode pengukuran Pointwise Mutual Information (PMI) dalam mengukur Crosslingual Semantic Similarity antar kata.
References
Church, K. W., & Hanks, P. (1990). Word association norms, mutual information, and lexicography. Computational Linguistics, 16(1), 22-29.
Jiang, J. J., & Conrath, D. W. (1997). Semantic similarity based on corpus statistics and lexical taxonomy. arXiv, cmp-lg/9709008.
Jurafsky, D. (2000). Speech and language processing: An introduction to natural language processing, computational linguistics, and speech recognition. Prentice Hall.
Koehn, P. (2005). Europarl: A parallel corpus for statistical machine translation. In Proceedings of the MT Summit, 5, 79-86.
Palmer, F. R. (1976). Semantics. In Semantics (pp. 5-7). Cambridge University Press.
Resnik, P. (1995). Using information content to evaluate semantic similarity in a taxonomy. arXiv, cmp-lg/9511007.
SemEval2017 Task 2. (2017). Task details. Diakses dari http://alt.qcri.org/semeval2017/task2/index.php?id=task-details
StatisticsSolutions. (2017). Spearman rank correlation. Diakses dari http://www.statisticsolutions.com/spearman-rank-correlation/
Swadesh, M. (1950). Salish internal relationships. International Journal of American Linguistics, 16(4), 157-167.
Swadesh, M. (1952). Lexico-statistic dating of prehistoric ethnic contacts: With special reference to North American Indians and Eskimos. Proceedings of the American Philosophical Society, 96(4), 452-463.
Wu, Y., Wu, S., & Chen, D. (2015). Chinese-English bilingual word semantic similarity based on Chinese WordNet. JSW (Journal of Software), 10(1), 20-31.
Zhang, Z., Gentile, A. L., & Ciravegna, F. (2013). Recent advances in methods of lexical semantic relatedness: A survey. Natural Language Engineering, 19(4), 411-479.
Downloads
Published
Issue
Section
License
Copyright (c) 2018 Sri Reski Anita Muhsini
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
