Türkçe-Japonca LSTM Makine Çevirisi ve Kalibrasyonu

Abstract

Makine çevirisi kavramı tarihin daha eski zamanlarında ortaya çıkmış olsa da, ilk makine çevirisinin 1933 yılında Fransa’da George Artsrouni adlı bir mucit tarafından geliştirilen bir cihaz tarafından gerçekleştirildiği yaygın olarak bilinmektedir. Ancak günümüzdeki gibi modern makine çevirisinin gelişimi ise ancak bilgisayar sistemlerinin ve doğal dil işleme tekniklerinin icadından sonra sağlanabilmiştir. Modern bilgisayarların tarihi 2. Dünya Savaşı’nda Alan Turing ile başlamış ve ardından Soğuk Savaş’ın da etkisiyle ilk modern makine çevirisi 1954 yılında Georgetown Üniversitesi ve IBM firması sayesinde Rusça’dan İngilizce’ye şeklinde gerçekleşmiştir. Ancak kural tabanlı bir algoritma üzerine geliştirilen IBM 701 adlı bilgisayar tarafından gerçekleştirilen bu çevirinin çok sınırlı sayıda kelime ve dilbilgisel kurallara dayalı olarak çalışmaktaydı. Makine çevirisinin evriminde en önemli rol oynayan faktörlerden biri ise, hiç şüphesiz yapay sinir ağları olmuştur. Yapay sinir ağları 1940’lı yılların başında keşfedilmiş olsa da modern bilgisayar teknolojileri yardımıyla 21. yüzyılın başından itibaren derin öğrenme modelleri aracılığıyla çeviri alanında kullanılmaya başlanmıştır. Özellikle 2013 yılında Kalchbrenner ve Blunsom tarafından sunulan makale çok ilgi görerek yapay sinir ağlarının olanaklarından makine çevirisi alanında faydalanılma yoluna girilmiştir. Bu çalışmada yapay sinir ağlarından biri olan Uzun-Kısa Vadeli Bellek (LSTM)’ten faydalanılarak oldukça düşük boyutlu bir eğitim verisi ile Türkçe-Japonca makine çeviri uygulaması yapılmıştır. Düşük bir veri kullanımında ortaya çıkabilecek olası sorunlar belirlenmeye çalışılarak bu tür bir veri ile en verimli şekilde makine çevirisinin yapılabilmesi için gerekli kalibrasyonun ne şekilde yapılması gerektiği ele alınmıştır.

Although the concept of machine translation is created in older times in the history, it is widely known that the first machine translation was carried out in 1933 by a device developed by an inventor named George Artsrouni in France. However, it was different than the today’s machine translation and the development of modern machine translation could be achieved only after the invention of the computer systems and natural language processing techniques. Besides, the history of the modern computers started with Alan Turing in the WWII and after that with the effects of the Cold War, the first machine translation was developed in 1954 by the IBM 701 computer from Russian to English, in cooperation with Georgetown University. It is developed on a rule-based algorithm and this machine translation is known to work with a very limited number of words and grammatical rules. The factor that played the most important role in the development of machine translation was undoubtedly artificial neural networks. Although artificial neural networks were discovered in the early 1940s, they were built with the help of modern computer technologies and used in the field of translation through deep learning models since the beginning of the 21st century. Especially in 2013, the paper presented by Kalchbrenner and Blunsom attracted a lot of attention, and then the possibilities of artificial neural networks tended to be used more actively in the field of machine translation. In this study, Long Short-Term Memory (LSTM) architecture, which is one of the types of artificial neural networks, was created by Python codes and a Turkish - Japanese machine translation application was carried out with a very low amount of training data. Thus, possible problems that may arise in the use of low amount of data are identified and how these problems can be overcome for an efficient machine translation is pointed out.