IERC公众号全新版块——“IS下午茶”
#形式
每月一次的学术论文分享
IS, short for Interpreting Studies
#内容
像分享下午茶小点般
为你送上最有意思的口译研究文献推荐
有最经典的学术著作
有最前沿的研究工作
还有书海拾贝的论文研读
来叹IS下午茶
口译研究超好玩！
欢迎大家到文末留言区讨论交流~
IS下午茶 · 第19篇
○
有了CAI工具，
老师再也不用担心我的口译了？
Σ(っ °Д °;)っ
在之前的一次下午茶中，我们一起品鉴了一篇使用真实语料库分析数字口译的文章，文章最后指出数字口笔译准确率相差较大的一个原因可能是笔译员使用了计算机辅助翻译工具，而机辅口译工具还不太常用。
那么如果使用了这样的工具，数字口译的准确率就会有明显提升吗？
今天就让我们顺着上次的茶香余韵，品品这杯关于自动语音识别（Automatic Speech Recognition, ASR）工具辅助数字同传（Defrancq & Fantinuoli，2021）的下午茶。
聊一聊（ibid., 4）：
1. 从人体工学、准确率和时延（latency）这三个角度来看，ASR工具能否为译员提供可靠的ASR产出？2. 在同传箱内提供ASR工具能否提高译员表现？3. 译员在同传箱内的ASR使用情况和使用体验如何？
俗话说“工欲善其事，必先利其器”，现在市面上有不少ASR软件，小到聊天app自带的语音识别转文字功能大到专门的语音识别app，那选文作者使用了哪款软件？其选择标准又是啥呢？
选文作者对计算机辅助口译（Computer-assisted Interpreting, CAI）工具提出了三点要求：
1. 提供的信息要非常准确；
2. 信息的视觉呈现应符合人体工学，便于阅读；
3. 工具的时延应该尽量短（这里的时延指源语开始说出数字到数字被ASR工具转写完毕的耗时，应在1.5秒到2秒之间）。
选文所用软件：InterpretBank
这款计算机辅助口译工具，可以进行术语管理和术语翻译，支持自动语音识别，实时转写发言人讲话。选文仅使用了该工具的ASR功能。
ps: 选文的第二作者Fantinuoli就是这款软件的创始人，软件官网可以下载14天的免费试用版哦！
InterpretBank的ASR功能提供三种输入数据分析和可视化的模式，选文选用了模式一（呈现整个转写文稿，可以将数字等特定文本字体放大并标红，如图1，但转写稿填满转写区后需手动翻页）。
图1. InterpretBank ASR Model 1产出示意图（ibid., 7）
初步测试发现，InterpretBank的实验版每隔5分半分钟就需重新启动ASR功能，源语语速过快会导致系统过载，出现数字漏转、正确率下降的情况。
所以实验需将源语时长控制在5分钟内，篇幅长度在650词左右，发言人语速需调整到每分钟105-122词。
研究方法：实验+问卷
实验设计※受试：6名来自同一学校会议口译专业、母语为荷兰语的学生译员，受试此前都未接受过在同传箱内使用ASR的培训。
※工作语言和工作模式：英译荷同传
※实验材料：4份现场发言的源语材料。受试分为3人两组，第一组在材料②和材料④时使用ASR，而材料①和材料③时不使用，第二组反之。
选文将材料涉及的字类型分为正整数、小数和日期，还将数字复杂程度从易到难划分为1-4级。将数字同传的类型分为准确译出、近似译出、相关替代、不相关替代和漏译。
问卷问题
1. 译员使用ASR的情况；
2. 译员认为ASR可用性如何；
3. 译员对ASR准确率的评估；
4. ASR干扰口译任务的程度；
5. 译员对ASR产出呈现形式的偏好；
6. 对ASR的其他评价。
研究结果
????Q1：从人体工学、正确率和时延（latency）这三个角度来看，ASR工具能否为译员提供可靠的ASR产出？人体工学InterpretBank ASR Model 1基本符合人体工学。受试对该工具的可使用性都比较满意，不仅参考了转写的数字，有时还参考了一同被转写的文字。
受试也指出该工具还存在一些问题，比如滚动式转写稿和呈现形式不断变化的数字（如下图）会让译员分心。
图2. 该工具转写数字 “300,000”的过程（ibid., 13）
转写时延不同源语材料的平均数字转写时延各不相同，这跟讲者语速、发音错误和自我修正有关。
整体来看，ASR转写速度可以跟上发言人的语速。
研究中只有一小部分数字的转写结束时延超过了1.5秒，选文作者认为如果译员的平均耳口差（EVS）都保持在2.5秒到3秒内，那么ASR就能在译员产出数字前把数字完整转写出来。
数字转写准确率4个材料中，ASR共转写出105个数字，正确转写了101个数字，转写正确率达到了96%。
转写错误主要由讲者自我修正、正字法转写（e.g. 2002转写成2000 and 2）和同音异义词（e.g. 2转写成to）导致。
ASR的数字转写正确率高于以往实验或语料库研究中译员的数字口译准确率，选文作者认为ASR可以帮助译员提高数字同传准确率。
????Q2：在同传箱内提供ASR能否提高译员表现？
从整体表现来看
有ASR辅助后，数字同传准确率由无ASR辅助的67.7%提高到90.2%，数字漏译率由15.8%下降至3.5%。
卡方检验也显示，在有、无ASR辅助的情况中，数字同传的类型存在显著性差异（X²=54.258, p＜0.001）。有ASR时，数字准确译出的比重会增加，漏译及其他类型的比重会减少。
研究者还发现，在有ASR辅助但ASR突然失灵的情况下，数字同传的准确率比无ASR辅助的准确率还要低。如果ASR转写出错，一些受试也会照着ASR产出错误的数字，说明受试可能过于依赖ASR。
就每位译员而言有ASR辅助时，6位译员中有5位译员的数字同传准确率都提高了，涨幅在11.5%-44.2%之间，只有1位译员的准确率下降了6%左右。
就数字类型和数字复杂程度来看Fisher精确检验显示，在有、无ASR辅助的情况中，除了最复杂的数字（第4级），另外三级数字的同传准确率存在显著差异（p＜0.001/0.01）。有ASR时，复杂程度在1、2、3级的数字的同传准确率会显著增高。
在有、无ASR的情况下，小数的同传准确率存在显著差异（p＜0.001），日期的同传准确率不存在显著差异，说明有ASR会提高小数的同传准确率。
????Q3：译员在同传箱内的ASR使用情况和使用体验是怎样的？
这里的使用情况是研究者根据录像中译员看向屏幕目光变化的次数来判断的，但译员目光变化并不一定就说明译员使用了屏幕上转写出的数字，所以研究者将这里的使用情况称之为presumed use。
根据研究者观察，在4名受试中，她们使用ASR的比例为55%左右。
卡方检验显示，从数字类型和数字复杂程度来看，只有遇到小数（X²=4.870, p=0.02），译员使用ASR的频率才会显著增多。
ASR的使用频率并不高可以反映出译员不熟悉箱内ASR工具，所以有译员在问卷中表示自己需要接受ASR使用培训。
研究者的发现和展望
1. InterpretBank的ASR功能可以帮助研究中的多数学生译员提高数字同传准确率。
未来可以换一批受试，看看职业译员能否同样受益。
2. 受试使用ASR的频率不高，也不太会根据数字的特点或难易程度使用ASR。
可能是因为她们没有接受过ASR使用培训；也可能是因为使用ASR会让原本就高的认知负荷雪上加霜，滚动式ASR产出也会让受试分心。
未来可以研究有ASR使用培训的效果，还可以改变ASR产出的视觉呈现形式，比如只呈现数字。
3. 每位受试使ASR的程度也各不相同，似乎受试的整体表现越好，越少用ASR。
研究者猜想可能是自身表现够好的译员意识到ASR作用有限，所以选择不用ASR。
这对ASR在口译中的应用前景可能是一个问题，有可能职业译员因为自己的数字口译准确率本来就高，不愿使用ASR。
4. 不管受试有无使用ASR，仅仅是ASR的存在就提高了数字同传准确率。
选文作者猜测这可能是ASR的存在起到了心理暗示作用，减少了受试的压力，这需要后续研究验证。
研究者指出的研究局限
1. 样本量过小。
研究者想尽可能模拟真实教学环境，在口译实验室作现场发言，找背景高度一致的受试，所以这也限制了能找到的样本量。
对我们学术小白来说，这或许可以说明实证研究样本量小也不一定就不行，但我们要说清楚样本量小的客观原因+有能力把有限的数据分析出花儿来。
2. 只分析了同传中的数字，没有分析数字单位和整体同传表现。
因为与数字口译相关的认知负荷也会影响数字单位的口译，还有可能受试在实验中就是更关注数字，没有注重整体表现，所以分析整体表现还是很有必要滴。
这些展望和局限都可以成为未来的选题呀，感兴趣的童靴还不赶紧去多了解了解！！！
专栏手记
本月这杯下午茶不算苦涩，带我们看了自动语音识别在数字同传中的初步应用情况，其中也有一些问题值得我们说道说道：
1. 该研究需要借助同传箱内的摄像头查看译员同传时是否有看向屏幕的动作，但汇报结果时却说有一个箱内摄像头的方向不对，所以这个箱内的录像就用不上了。导致选文一会儿汇报的是基于所有受试的数据，一会儿汇报的又只是4名受试的数据。这也说明我们在做实验前一定要有一个SOP，保证实验设计尽量完备，不要做完实验之后才发现这儿有漏洞那儿有差错。而且仅凭录像中译员的动作就判定译员有无参考ASR转写的数字也不尽合理，未来或许可以将眼动技术和ASR使用情况结合起来考察。
2. 选文作者计算了每篇源语中ASR数字转写的时延，认为如果译员的EVS都保持在平均2.5秒到3秒内，那么ASR就能在译员开口前把数字完整转写出来。但这个EVS范围只是前人研究的结果，选文并未汇报该实验中转写时延和EVS的时间差，会不会存在译员已经说到数字但ASR还未将数字转写完毕的情况呢？
但如今考察CAI工具对口译质量影响的研究仍然有限，所以选文作为一个探索性的实证研究，也有着重要的实践和科研意义。
就该工具而言，选文发现了一些可用性问题，如ASR功能每隔五分多钟需要重启、必须手动翻页、视觉呈现不够友好等，这些问题都需要研发人员解决。改善这些问题后，这个功能或许才能真正用于口译实践，辅助译员。 从科研角度看，选文对ASR似乎最能发挥其特长的数字同传做了探索性研究，那ASR对同传的其他方面有何影响呢？ASR应用于交传的效果又会如何呢？选文使用的是InterpretBank ASR这款软件，那其他ASR软件辅助口译的效果如何呢？使用不同软件的结果会有很大差异吗？有没有一款最适合口译员的ASR软件呢？这些都是选文带给我们的思考，可供我们继续钻研。所以，对于想要研究自动语音识别辅助口译的同学而言，选文算是一杯不容错过的香茶❤
你还了解或使用过哪些CAI工具呢？一起分享一下吧！可以直接在微信后台发送信息与我们互动哦~
选文文献：
Defrancq, B., & Fantinuoli, C. (2021). Automatic speech recognition in the booth: Assessment of system performance, interpreters’ performances and interactions in the context of numbers. Target. International Journal of Translation Studies, 33(1), 73-102.
总审核 | 许艺
专栏作者 | 谭诗忆
排版丨侯臻柔
特别说明：本文仅用于学术交流，如有侵权请后台联系小编删除。
– END –
转载来源：广外高翻 口译教育与研究中公众号
转载编辑：王琳