日漫迷有福了:全自動翻譯日漫,不用學日語了 | 漫畫自動翻譯
機器之心報道|機器之心編輯部買了心儀的漫畫全集,卻又苦於看不懂上面的文字,翻譯成了一大難題。對於這個令人頭疼的問題,來自Mantra公司、雅虎日本和東京大學的研究者幫你解決了。他們提出了一個全自動漫畫翻譯系統,可將漫畫中的文字翻譯成英文和中文。漫畫在世界各地都很流行,但大多數漫畫中的文字沒有翻譯。如果能夠迅速將漫畫中的文字翻譯成各種語言,那可就太棒了。近日,來自Mantra公司、雅虎日本和東京大學的研究者聯合發表了一篇論文,提出了一種快速翻譯漫畫文字的方法。就像這樣:該研究解決了日漫(Japanesecomics)的...
機器之心報道|機器之心編輯部
買了心儀的漫畫全集,卻又苦於看不懂上面的文字,翻譯成了一大難題。對於這個令人頭疼的問題,來自 Mantra 公司、雅虎日本和東京大學的研究者幫你解決了。他們提出了一個全自動漫畫翻譯系統,可將漫畫中的文字翻譯成英文和中文。
漫畫在世界各地都很流行,但大多數漫畫中的文字沒有翻譯。如果能夠迅速將漫畫中的文字翻譯成各種語言,那可就太棒了。近日,來自 Mantra 公司、雅虎日本和東京大學的研究者聯合發表了一篇論文,提出了一種快速翻譯漫畫文字的方法。就像這樣:
該研究解決了日漫(Japanese comics)的機器翻譯問題,這涉及兩個重要問題:語境感知和多模態翻譯。在漫畫中,文字和圖像是以非結構化的方式混合在一起的,因此從圖像中獲取語境至關重要。但如何從圖像中提取語境並集成到機器翻譯模型中仍是一個尚待解決的問題。
論文地址:https://arxiv.org/pdf/2012.14271v1.pdf
此外,目前還沒有用於訓練和評估此類模型的語料庫和基準。該論文為日漫翻譯研究奠定了基礎,主要貢獻包括以下 4 點:
首先,該研究提出了一種多模態的語境感知翻譯框架,也是首個結合漫畫圖像來獲取語境資訊的研究。該方法能夠翻譯對話氣泡中的文字,這類文字通常需要語境資訊(如其他對話氣泡中的文字、說話者的性別等)才能夠翻譯;其次,為了訓練模型,研究者提出了基於成對的原始日漫及其譯文自動構建語料庫的方法。使用該方法可以構建大型平行語料庫,且無需任何人工標註;第三,該研究創建了一個新的日漫翻譯評估基準;最後,該研究在提出方法的基礎上,設計了一個用於全自動日漫翻譯的新系統。語境感知日漫翻譯
該研究提出的語境感知日漫翻譯框架包括兩個主要部分:語境提取和翻譯。
多模態語境提取
該方法提取 3 類語境:場景、閱讀順序、視覺資訊(如圖 2 左側所示),這三者對多模態語境感知翻譯都有重要作用。
圖 2:該研究提出的日漫翻譯框架。其中,N’ 表示源句子 N 的譯文。
1)場景分組:單個漫畫頁面包括多個畫框,每個畫框代表一個場景。翻譯故事時,同一場景中的文字通常比其他場景中的文字更加有用。因此,該研究按場景將文字進行分組,以選出可以用做語境的文...