机翻字幕质量评估的模型构建...界”和“讯飞听见字幕”为例_雷静.pdf

第 25 卷第 2 期2023 年 3 月大 连 民 族 大 学 学 报Journal of Dalian Minzu UniversityVol 25，No 2March 2023收稿日期:2022 12 26;最后修回日期:2023 01 05基金项目:中央民族大学校级项目(2022QNYL14)。作者简介:雷静(1981 )，女，北京人，副教授，博士，主要从事翻译理论与实践研究。文章编号:2096 1383(2023)02 0176 07机翻字幕质量评估的模型构建研究 以“人人译视界”和“讯飞听见字幕”为例雷静，李明明(中央民族大学 外国语学院，北京 100081)摘要:AI 时代神经网络翻译技术的飞速发展催生了一批视频译制平台。以“人人译视界”和“讯飞听见字幕”为研究对象，以动画作品中华勤学故事 机翻字幕为研究素材，探究国内视频译制平台机翻字幕质量。基于 FA 语际字幕评估模型提出了机翻字幕评估模型(FA 2 0)，从功能对等、接受程度、阅读体验三方面对机翻字幕的语义错误、术语翻译错误、译文冗余等问题进行了深入分析。根据研究结果，提出增强语音数据标注积累、加大机器翻译语料训练及强化翻译引擎的意群切分等三点优化建议。关键词:机翻字幕;FA;FA 2 0;人人译视界;讯飞听见字幕;翻译质量评估中图分类号:H059文献标志码:AThe Proposition of Machine generated Subtitling Quality Assessment Model Case Studies of“YSJ”and“Iflyrec”LEI Jing，LI Ming ming(School of Foreign Studies，Minzu University of China，Beijing 100081，China)Abstract:With the rapid development of neural machine translation technology in the AI era，anumber of video translation platforms have emerged In order to evaluate the quality of machine generated subtitling，this paper takes“YSJ”and“Iflyrec”as the research objects，and themachine generated subtitles of the cartoon“Chinese Stories of Study”as the material whendoing the assessing This study tries to propose a model for assessing machine generated sub-title(FA 2 0)based on the FA model by Jan Pedersen，and analyses semantic error，termerror，and redundancy phenomenon from three parameters:functional equivalence，acceptabil-ity and readability This paper gives the following three suggestions for optimization:firstly，enhance the accumulation of speech data annotation;secondly，increase data training on thevarious corpus;thirdly，enhance the segmentation and combination ability of the translationengineKey words:machine generated subtitling;FA;FA2 0 model;YSJ;Iflyrec;translationquality assessment随着中国影视作品“走出去”被纳入“一带一路”整体倡议布局，中国影视行业迎来了新的历史发展机遇。面对与日俱增的字幕翻译需求，如何在有限的时间内成功译制海量的影视文化作品成为亟需解决的问题。AI 听译、神经网络机器翻译等技术突飞猛进，提高了字幕翻译效率1，为视频出海提供了便利。目前视频译制平台蓬勃发展，相关的学术研究却相对滞后。作为DOI:10.13744/21-1431/g4.2023.02.015国内视频译制平台的行业代表，“人人译视界”和“讯飞听见字幕”都得到了广泛应用，其机翻字幕具有一定研究价值。鉴于此，本研究以“人人译视界”和“讯飞听见字幕”为研究对象，分析其机翻字幕存在的问题，以期对未来视频译制平台研究有所帮助。一、机翻字幕研究动态近年来，国内外对机翻字幕的关注度不断增强。笔者以“机器翻译字幕”、“machine genera-ted subtitling”“automatic subtitling”为组合关键词在中国知网和 Web of Science 检索后发现，当前研究大致可分为字幕翻译技术研究、机翻字幕理论研究、机翻字幕实证研究三方面。第一，在字幕翻译技术研究方面，自 1980 年起，国外学界率先注意到字幕因受到媒介限制而体现出来的有别于传统文本的特征2;Daz Cintas 发文指出了字幕翻译的技术转向，认为字幕翻译领域的技术进步对字幕翻译实践产生了重大影响3。虽然中国视听翻译实践起步较早4，但字幕翻译技术研究有所不足。国内学者对 CAT 技术和工具在字幕翻译中的应用、字幕翻译技术现状、自动字幕翻译技术与软件展开了相关研究1，5 6。第二，在机翻字幕理论研究方面，国外学者在量化评估理论上进行了诸多探索，但少有专门针对机翻字幕质量的评估模型。1995 年瑞士本地化行业标准协会(LI-SA)在其官网发布了针对本地化项目的质量评价标准(LISA QA Model);学者对语际实时字幕翻译质量、非实时语际字幕质量评估模型也进行了构建7 9。国内学者大多结合翻译经验，提出字幕翻译相关理论和原则10 12。第三，在机翻字幕实证研究方面，国内外学者都对字幕翻译软件在字幕翻译中的应用13 15、机翻字幕质量和人工字幕对比分析16 17 进行了实证研究;国内学者对机翻字幕质量进行了分析研究18 21。结合文献分析可以发现机翻字幕现有研究呈现两大特点:一是 CAT 技术、字幕本地化、字幕翻译课程建设逐渐引起业内专家学者的关注，取得了可喜的研究成果;二是针对视频译制平台的研究较为匮乏。现有研究大多从单一平台出发，且多为英译中方向。视频译制平台在中译英方向的译制效果如何、不同视频译制平台的机翻字幕横向对比如何、如何构建机翻字幕质量评估模型，仍是值得研究的重要方向。二、FA 理论模型介绍1 FA 字幕质量评估模型新媒体时代，影视作品在世界范围内传播，观众对翻译速度及翻译质量提出了新要求。虽然学术界对于翻译质量的定义尚未形成定论，但如何制定高信效度的翻译质量评估模型仍是有章可循的22。2017 年，彼得森(Pedersen)在前人研究基础上提出了 FA 语际字幕质量评估模型。该模型共设置三个评估参数:功能对等(functional e-quivalence)、接受程度(acceptability)、阅读体验(readability)，如图 1。与大部分质量评估模型相同，FA 模型采取了罚分模式。彼得森认为语义错误对于字幕质量的影响最大，严重、中等、轻微语义错误的罚分分为 2 分、1 分、0 5 分三个等级;而其他类型错误的罚分则为 1 分、0 5 分、0 25分。字幕质量的计算公式为:FA=N F A N100%，其中 N 指字幕数量，F、A、为三大错误类型的总扣分8。图 1FA 理论框架FA 语际字幕评估模型受到了学者的关注并得到了初步应用，但有关研究大多讨论人工译本和机翻译本的差别，而机翻字幕质量评估模型是在该模型基础上可以继续延伸的重要方向。2 机翻字幕评估模型(FA 2 0)的构建FA 模型不仅可以得出总分以评估整体质量、计算各部分得分从而有针对性地给出优化建议，还可以根据研究内容进行调整与完善，灵活性较强。因此本研究尝试结合测评文本将该模型专用于评估机翻字幕质量，并提出机翻字幕评估模771第 2 期雷静，等:机翻字幕质量评估的模型构建研究型(FA 2 0)，包含对原模型功能对等、接受程度、阅读的体验三方面的调整。(1)功能对等维度的调整。FA 模型功能对等维度细分为语义错误和文体错误两个角度8。肖维青指出机翻字幕无需特别区分不同文体间词语用法的正式程度诸如“你”与“您”等尊称20，文体错误发生概率较小，因此本研究不在功能对等维度考量文体问题。此外，王建华和李静指出 FA模型并未探讨权重设置的具体方案 23。基于上述分析，笔者参考了中国翻译协会官网在 2016 年发布的 本地化翻译和文档排版质量评估规范，对机翻字幕语义错误的严重等级进行了细分，并补充了相关定义，见表1。表 1语义错误严重性级别定义严重性级别定义质量扣分严重错误1 严重错译，逻辑不通，句意不明，完全逐词翻译2 疏忽导致的错误(错别字、漏译)2中等错误1 译文可能导致读者误解其含义2 措辞不严谨，逻辑关系不明确，理解困难或容易引起歧义1轻微错误读者可以理解译文，但需进一步改进，包括但不限于过多修饰词的长句，译文不够流畅05(2)接受程度维度的调整。在 FA 模型中，接受程度主要评估译文是否符合译入语规范8。结合 本地化翻译和文档排版质量评估规范，笔者增加“术语规范性”来评测术语的规范程度，包括术语使用不符合公认的行业标准、术语不一致、术语混用等问题，罚分标准与原维度一致。由于视频译制平台设置基本符合影视字幕译制行业规范，机翻字幕拼写错误概率极低，本研究不再评估拼写错误，而由“术语规范”来替代。(3)阅读体验维度的调整。阅读体验主要是评估字幕给观众带来的阅读感受8。Knzli 认为FA 模型充分考虑了观众的需求与期望，但其局限性在于未涉及“易懂性”(intelligibility)，即“字幕的内容和形式在多大程度上能够被人理解”9。因此，本研究在阅读体验维度中，增加了“易懂性”这一子类别，综合凝练度、简洁度、正确度和口语度进行评判，罚分标准与原维度保持一致。由于视频译制平台的标点设置和字数基本符合行业规范，机翻字幕标点与字体错误出现较少，本研究不再评估标点与字体错误。综上所述，本研究提出了适用于评估机翻字幕质量的 FA2 0 模型，如图 2。图 2FA2 0 模型框架三、平台简介与文本介绍随着 AI 技术的飞速发展，国内涌现了多家视频译制平台，“人人译视界”和“讯飞听见字幕”得到广泛应用并显示出独特优势。两者具有 PC 客户端、计费服务方式，自动语音识别水平和机翻字幕质量也具有一定可比性。为了提升视频译制平台机翻字幕语料的代表性与多元性，增强研究结果有效性，本研究选择以两个平台而非单一平台为研究对象，以动画作品中华勤学故事 为研究素材，借助 FA2 0 模型分析其机翻字幕质量。1“人人译视界”平台“人人译视界”由武汉译满天下科技有限公司研发，数十年的人工精校字幕语料为其提供了强大的语料库支撑。视频译制流程可分为八个环节:上传素材;选择语言对(language pari);智能听译;修改源语字幕;一键翻译;修改机翻字幕;声画对齐;导出双语视频。在译后编辑上，“人人译视界”设置了快捷修改键，便于译后编辑，但繁多的快捷键需要译者花额外精力熟悉，一定程度上降低了翻译效率。2“讯飞听见字幕”平台“讯飞听见字幕”由科大讯飞股份有限公司研发，品牌知名度较高。该平台页面设置较为简洁，视频译制流程可分为八个环节:上传素材;设定翻译需求;支付订单;修改源语字幕;一键翻译;修改机翻字幕;声画对齐;导