基于 BiCorpus 平台建设二十大报告双语语料库的探索与实践

2024-11-13
来源:网络整理

前言

值此党的二十大召开之际,外语专业众多师生对二十大报告英文版进行了热烈讨论。为了更好地推动党的二十大学习贯彻,我计划基于我开发的语言资产管理平台,建设中共二十大双语语料库。

我早在五年前就尝试过,后来在疫情期间基于同样的技术进行了开发,并在网站上开源了这个工具,并命名为:

随着二十大的胜利召开,我又继续做了一些事情。首先请看一下视频演示的效果:

施工流程如下图所示:

1、基础设施建设

由于支持tmx格式的双语数据上传,因此使用对齐工具对齐的双语Top 20报告内容可以直接发布到语料库中:

不过老版本目前不支持单句上传,所以我额外开发了单句上传功能:

该功能的逻辑是:有用户上传的语料文件后,每个文件就是一个子语料,以后可以选择将单句语料上传到子语料中。

2. 添加术语

语料库上传后,我们可以对上传的内容进行中文分词,并将重要内容存储在术语中,方便以后的学习。

由于中文分词的主要目的是提取术语,因此我们对每个单句都使用此分词功能。当用户点击“分词”时,可以看到预分词结果:

分词结果:

得到分词结果后,我们发现并不是所有的词都可以被视为术语。默认情况下,所有分词结果都是候选词。您还需要编辑结果以将特定单词标记为术语,如下所示:

一旦注释为术语,该术语将在源文本和翻译中突出显示,从而更容易注释更多术语:

3. 术语检索

术语标注完成后,可以在首页进一步显示和搜索,如下图:

在上图中,每个术语都是可点击的,不同的术语以不同的颜色突出显示。点击后,您将查看包含该术语的所有双语句子对:

从上图可以看出,蓝色的是已经标注过的术语,黑色的是没有标注但存在于语料库中的术语。

点击句对前面的数字,进入术语标注界面,继续标注术语。

如果用户想继续搜索其他词条,也可以通过搜索框进行搜索。

4. 词汇表显示

所有用户标记的术语都会显示在词汇表页面上,并匹配双语例句,如下:

用户还可以在此页面上搜索术语:

以上是目前20大报道双语语料库的建设过程。今后我将开发更多的功能,帮助我们更好地学习20个重大报告中的中英文表达方式,并将这个案例带入翻译专业课堂,发展成为翻译教学中的思政案例。

我们也欢迎您提出宝贵意见!

分享