小语种内容里有多少是从别的语言搬来的,越南语近一半,波兰语只有0.22%

小语种内容里有多少是从别的语言搬来的,越南语近一半,波兰语只有0.22%
张文保 更新 35 分钟阅读 4,433 阅读
本文目录
  1. 内容量这个数,为什么答不了这些内容是从哪来的?
  2. 你抄下来的那张表只有一列
  3. 同样是十万条,来路可以完全不同
  4. 三种来路对你的意义正好相反
  5. 这件事在英文市场几乎不用问
  6. 怎么在外面量出一门语言的内容有多少是搬来的?
  7. 需要一个会自报家门的样本
  8. 分子:带翻译标记的新建条目
  9. 分母:同一份日志里的新建条目
  10. 为什么分子分母必须来自同一个地方
  11. 这个数是下限,不是全貌
  12. 40门语言的译入率排出来是什么样?
  13. 排在最上面的五门
  14. 排在最下面的五门
  15. 中位数落在3.4%
  16. 小语种散在中间,没有集中在任何一头
  17. 完整排行
  18. 条目数差不了几个百分点的两门语言,译入率能差多少?
  19. 希腊语和爱沙尼亚语
  20. 泰米尔语和格鲁吉亚语
  21. 越南语和波兰语
  22. 成对样本比相关系数更有说服力
  23. 手上现成的那几个指标,有没有一个能推出译入率?
  24. 条目总量:0.010
  25. 当年新建量与建页者人数
  26. 爬虫流量占比:0.072
  27. 四个零意味着什么
  28. 搬进来的内容是从哪门语言来的?
  29. 大多数语言的答案是英语
  30. 老挝语的第一来源是泰语
  31. 亚美尼亚语的第一来源是俄语
  32. 斯瓦希里语的第一来源是简明英语
  33. 还有几条不那么显眼的支流
  34. 来源语言的种类数是另一个维度
  35. 一门语言的内容是几个人搬进来的?
  36. 个位数的译者
  37. 越南语的339个人
  38. 译者占建页者的比例
  39. 这个结构意味着什么
  40. 这个数在做小语种决策的时候怎么用?
  41. 高译入率市场的机会在哪
  42. 低译入率市场要先问为什么低
  43. 来源语言告诉你对手继承了谁的选题
  44. 别把译入率当成质量指标
  45. 三档判读线
  46. 这套数怎么在自己的市场上重做一遍?
  47. 没有标记的时候怎么办
  48. 从对手站上能看的三处
  49. 从搜索结果页能看的两处
  50. 一个半天能跑完的最小版本
  51. 多久重算一次
  52. 哪些地方我算错过,你别再踩?
  53. 分子分母不同源
  54. 那年还没有那把尺子
  55. 采集失败伪装成零
  56. 小样本不能进主表
  57. 常见问题解答
  58. 用维基百科的数据,能代表商业站吗?
  59. 为什么只取2019年一整年?
  60. 译入率算出来是下限,那低估了多少?
  61. 越南语将近一半,这个数是不是太夸张了?
  62. 我的市场很小,这套方法值得花时间吗?
  63. 中文市场用得上吗?
  64. 权威参考资料

摘要:把40门语言2019年新建的条目逐条翻出来,数其中有多少是用官方翻译工具从别的语言搬进来的,得到一条译入率。排最上面的是越南语47.43%,最下面的是波兰语0.22%,两门语言体量都在百万级,差213倍。更要命的是希腊语和爱沙尼亚语:条目总数只差4%,译入率一个18.33%一个0.40%,差46倍。手上现成的四个指标——条目总量、当年新建量、建页者人数、爬虫流量占比——跟译入率的相关系数分别是0.010、0.045、0.056、0.072,四个零。来源语言也不像想的那样:老挝语的第一来源是泰语占64%,亚美尼亚语是俄语占76%,斯瓦希里语是简明英语占54%。很多语言的译入工作是个位数的人在干,豪萨语4个、老挝语5个。本文给出完整排行、四条相关系数、成对反例,以及在没有标记的商业市场上怎么把同一个数估出来。

做小语种排期,第一步几乎都是抄一张表:这门语言的公共内容有多少条。数大就写“竞争激烈”,数小就写“机会窗口”,然后往下排预算。

这张表确实好抄,一分钟就能拿到。问题是它只有一列,就是条数。

条数不告诉你这些内容是怎么来的。同样是十万条,可能是几百个当地人花十几年一篇篇写出来的,也可能是十几个人拿翻译工具从英文批量搬过来的,还可能是一段脚本在三个月里灌出来的。这三种情况对你的意义正好相反,而在那张表上它们长得一模一样。

所以这次不数条数,数来路。

内容量这个数,为什么答不了这些内容是从哪来的?

你抄下来的那张表只有一列

公开的各语言版本条目数对照表给的是条目总数,外加编辑次数和用户数。这几列都是规模的度量,没有一列是来源的度量。

规模能回答“这块地被开垦了多少”,回答不了“地里的庄稼是本地种的还是外面运来的”。做市场判断的时候,你真正要的其实是后一个答案。

更麻烦的是,规模这一列会给你一种虚假的确定感。数字精确到个位,看着特别硬,于是很少有人再往后追一步。硬的是格式,不是它回答问题的能力。

这个错我自己犯了好几年,一直用到发现两门条目数几乎一模一样的语言,内容池的性质可以完全相反。那次之后我才意识到,我一直在用一把只有一个刻度的尺子量三样东西。

同样是十万条,来路可以完全不同

把来路粗分一下,大致三种。一种是本地人一点一点写出来的,写的是本地关心的东西,用的是本地的说法。

第二种是从别的语言译过来的,选题跟着源语言走,结构也跟着源语言走,本地特有的话题基本不在里面。

第三种是程序批量造的,从数据库里拼出几百万个条目,内容框架统一,没有人读也没有人改。这一类在几门语言上把总数撑到了离谱的位置。

三种混在一起,总数就成了一个把三件事加在一块儿的数。加法本身没错,错在你后面拿它做减法。

三种来路对你的意义正好相反

如果对手的内容是本地原生长出来的,那说明这个市场有真实的内容生产能力,你进去要跟真人抢,选题上也占不到便宜。

如果对手的内容是从英文译过来的,那它继承的是英文市场的选题清单。本地特有的需求,那批内容多半没覆盖,那就是你的空位。

如果对手的内容是程序灌的,那它连读者都没有,竞争强度实际上接近于零,可你从总数上看到的却是“已经很厚了,别进”。这一档最亏,因为你放弃的是一个几乎不设防的市场。

判错的代价不是少赚一点,是把一个几乎没人守的入口整个让出去。这一层跟语言优先级的成本模型是接在一起的,成本那边算得再细,输入项错了也白算。

这件事在英文市场几乎不用问

英文内容基本都是英文原生的,译进来的比例小到可以忽略,所以英文市场的从业者从来不需要问“这些内容是不是搬来的”。

这套习惯被原封不动带到了多语言市场。表格照抄,判断照做,唯独漏掉了那一问——因为提出这套方法的人从来没有需要问过它,自然也不会在方法里留一个位置给它。

这也是很多英文教程搬到小语种市场上就失灵的原因之一。不是教程写得不好,是教程成立的前提里有一条没写出来的默认值,而这个默认值在小语种上不成立。

怎么在外面量出一门语言的内容有多少是搬来的?

需要一个会自报家门的样本

难点在于,翻译过来的内容不会在页面上贴个标签说“我是译文”。你从外面看,一篇译得还行的稿子和一篇本地写的稿子,长得差不多。想按语言统计,就得先找到一批已经知道答案的样本。

但有一个地方例外。维基媒体给编辑者提供了一个官方的跨语言翻译工具,用这个工具建出来的条目,系统会自动在修订记录上打一个标记,而且这个标记对所有人公开可查。

这就有了一批自报家门的样本。它当然不是商业站,但据我所知,它是目前唯一一个能按语言、按时间、按条拿到“有多少内容是从别处搬来的”这个数的公开来源。别的地方要么没有这个字段,要么不对外。

所以我把它当代理指标用。绝对值不能直接搬到商业市场上,但语言之间的相对关系可以看,因为影响一个语言社群对待外来内容态度的那些因素,在维基和在商业站上是同一批。

分子:带翻译标记的新建条目

具体做法是查页面创建日志,把时间窗口卡在2019年整年,命名空间限定在正文,再按翻译工具那个标记过滤一遍,翻页一直翻到没有下一页为止。

每一条日志里还带着一句编辑摘要,格式是固定的“由翻译某某页面创建”,源语言的代码就写在方括号里。所以来源语言这一列不用另外查,跟着分子一起就拿到了,这也是我敢在一批数据里同时做两件事的原因。

重定向要单独剔掉。重定向在日志里也算一次新建,但它没有正文,留在里面只会把分母撑大,而且各语言创建重定向的习惯差别很大,不剔的话这个差别会直接污染比例。

翻页这一步有个坑。接口每页最多给500条,条数多的语言要翻几十上百页,中途要是设了页数上限就停,结果会被系统性低估。我在脚本里加了一条到底判定,没翻到底的语言会被单独打上标记,事后能查出来是哪一门。

分母:同一份日志里的新建条目

分母是同一段时间、同一个命名空间、同样剔掉重定向的全部新建条目。也就是说,分子是分母的一个真子集,两者出自同一次查询,只差一个过滤条件。

听起来是句废话,但我第一版就是在这里翻的车。第一版的分母用的是另一个接口给的“新建内容页”月度统计,分子用的是日志,结果两个口径对不上。

对上账才发现,日志口径的新建数比统计接口高出1.27到2.38倍不等,40门语言没有任何两门的比值是一样的。越南语按统计接口算是73.85%,按同源口径算是47.43%。这两个数会写出两篇不同的文章。

26个百分点的差距,足够把一篇文章的结论从“将近四分之三”改成“将近一半”。

为什么分子分母必须来自同一个地方

两个接口的定义几乎不可能完全一样。这个把重定向算进去,那个不算;这个要求页面里至少有一条内链才算内容页,那个不要求。

单看任何一个都没错,凑成分数就错了。而且错的幅度还随语言变,所以你连“统一乘一个系数修正一下”都做不到。

这条不是维基特有的。你在自己站上算“翻译页占比”的时候,分子从翻译系统导出、分母从内容管理系统导出,是同一个坑。

判据很简单:分子分母必须能追到同一张表、同一次查询,追不到就别做除法。实在只能跨源,那就把两个口径的定义逐条列出来比一遍,比不出来的差异就当成误差写进正文,别藏着。

这个数是下限,不是全貌

只有用官方翻译工具建的条目才带标记。有人把英文页面复制到编辑框里手工改改就发出去,这种一条标记都没有。

所以算出来的译入率一律是下限。真实的译入比例只会更高,不会更低。

这一点在解读时很关键:低译入率可以是“这门语言真的很少从外面搬”,也可以是“这门语言的编辑者不习惯用那个工具”。这两种情况我分不开,所以正文里凡是涉及低端的结论,我都留了这个口子;涉及高端的结论则是安全的,因为下限高就说明真值更高。

还有一条时间上的限制。页面创建日志是2018年年中才开始记录的,所以在我的截断点之前,能完整覆盖的整年只有2019一年,没法做同比。

40门语言的译入率排出来是什么样?

排在最上面的五门

越南语47.43%排第一,2019年新建的55433条正文条目里有26291条带着翻译标记。将近一半。

后面依次是马其顿语34.02%、约鲁巴语30.71%、泰米尔语28.37%、希腊语18.33%。马拉雅拉姆语18.21%紧跟着。

这五门里,越南语和泰米尔语的体量在十几万到一百多万条,属于中大型;约鲁巴语只有不到4万条,马耳他语更小,只有7889条。大小混在一起,排不出任何规律。这一点在我看到排行的第一眼就该警觉,可惜当时还在忙着核对数字。

越南语这个数值得单说。越南语市场本身的搜索需求相当健康,声调符号那一层的复杂度也逼着你做本地化,可它的公共内容池里有将近一半是译进来的。需求旺盛和内容原生,是两件事。

排在最下面的五门

最下面是波兰语0.22%,2019年新建了80561条,其中只有179条带翻译标记。

往上是爱沙尼亚语0.40%、冰岛语0.58%、乌兹别克语0.61%、高棉语0.97%。拉脱维亚语1.08%。

波兰语的建页者有15110人,是个非常活跃的写作社群。波兰语本身的语法复杂度也决定了机器翻译在这门语言上代价不低,这两件事叠起来,社群更倾向于自己写。

爱沙尼亚语和拉脱维亚语挨着,都是两百万人口上下的市场,译入率一个0.40%一个1.08%,都在低位。冰岛语0.58%也在这一带。北欧和波罗的海这一片整体偏低,而这几个市场的英语普及率恰恰是全世界最高的那一档——想搬的人本来可以直接读英文,反而没人去搬。

中位数落在3.4%

40门语言的译入率中位数是3.4%。也就是说一半的语言在3.4%以下。

超过10%的有10门,低于2%的有12门。剩下18门散在中间。

这个分布很宽,从0.22%到47.43%,整整跨了两个数量级。一个跨度这么大的变量,你要是完全不看它,等于在决策里默认它是常数。把一个跨两个数量级的东西当常数,代价迟早要还。

小语种散在中间,没有集中在任何一头

我原以为语言越小越依赖翻译,这个预期错得很彻底。

老挝语3.04%、僧伽罗语3.39%、缅甸语3.42%、阿姆哈拉语3.31%、蒙古语1.95%、高棉语0.97%——本站写过专篇的这几门,全都在中位数附近或者更低。

反过来,条目数超过一百万的越南语排第一,一百七十万的波兰语排最后。语言的大小在这条轴上完全不起作用。

想明白之后其实不难解释:搬运这件事需要有人来搬。最小的那几门语言连搬运工都凑不齐,自然搬不进来多少。内容少和内容是搬来的,是两个独立的事实,我把它们当成一件事了。

完整排行

档位语言与译入率
10%以上(10门)越南语47.43、马其顿语34.02、约鲁巴语30.71、泰米尔语28.37、希腊语18.33、马拉雅拉姆语18.21、孟加拉语15.11、阿尔巴尼亚语12.45、希伯来语11.65、马耳他语10.91
5%到10%(8门)土耳其语8.82、波斯语6.43、乌尔都语6.27、宿务语5.85、尼泊尔语5.66、中文5.56、泰语5.13、日语5.05
2%到5%(10门)豪萨语3.56、缅甸语3.42、僧伽罗语3.39、阿姆哈拉语3.31、老挝语3.04、斯瓦希里语2.83、韩语2.53、印尼语2.29、瑞典语2.18、马拉地语2.12
2%以下(12门)蒙古语1.95、格鲁吉亚语1.75、阿塞拜疆语1.69、亚美尼亚语1.56、荷兰语1.49、瓦瑞语1.30、拉脱维亚语1.08、高棉语0.97、乌兹别克语0.61、冰岛语0.58、爱沙尼亚语0.40、波兰语0.22

条目数差不了几个百分点的两门语言,译入率能差多少?

希腊语和爱沙尼亚语

希腊语271533条,爱沙尼亚语261148条,条目总数差4%。这两门语言在任何一张按规模排的表上都会挨着。

译入率一个18.33%,一个0.40%,差46倍。

把它们放在一起看,规模这个变量被控制住了,剩下的差异只能来自别的地方。希腊语这门语言的拉丁转写问题我另外写过,那是文字层的事,跟内容来源不是一回事,两者在数据上也没有交叉。

这一对是我手上最干净的对照组,因为体量差得最小。两门语言的人口规模、经济体量、互联网普及程度都不一样,但那些差异要解释46倍,需要一条我说不清楚的机制;而“有没有一群人在做这件事”能一句话解释完。

泰米尔语和格鲁吉亚语

泰米尔语189089条,格鲁吉亚语197745条,差5%。译入率28.37%对1.75%,差16倍。

两门语言都是非拉丁书写系统,都有独立的字符集,都属于“工具支持一般”的那一档。文字层的条件相近,行为层差了一个数量级。

泰米尔语的2430条译文出自101个人,格鲁吉亚语的188条出自45个人。人数差2.2倍,产出差13倍。所以不只是人多人少的问题,还有人均强度的问题——泰米尔语那边人均24条,格鲁吉亚语人均4条。

越南语和波兰语

越南语1304025条对波兰语1703412条,体量差31%,译入率差213倍。这是全表跨度最大的一对。

两门语言都有几千万使用者,都有完整的现代书面标准,都有活跃的互联网社群。你能想到的宏观变量基本都对得上。

差别在于两个社群怎么干活。越南语那边26291条译文由339个人完成,人均78条,是一年到头都在译的节奏;波兰语那边15110个建页者里只有26个人碰过翻译工具,占比0.17%。同样是百万级的内容池,一个是翻译出来的,一个是写出来的。

成对样本比相关系数更有说服力

相关系数是一个把所有点压成一个数的做法,压完之后你看不见极端案例。成对样本正相反,它把两个几乎相同的样本摆在一起,让差异自己说话。

我这次两个都做了,结论一致。但如果只能留一个给读者看,我会留成对样本。

顺带一提,这也是个写法上的经验:一句“相关系数是0.01”很难让人记住,一句“条目数差4%,译入率差46倍”能记住。汇报的时候两个都放,让相关系数负责严谨,让成对样本负责被记住。

手上现成的那几个指标,有没有一个能推出译入率?

条目总量:0.010

取条目总数的对数,跟译入率算皮尔逊相关,结果是正0.010。秩相关是负0.059。

怕是被极端值压平了,我又切了两刀:剔掉样本量不足的语言之后是负0.170,只看条目数在1万到30万的中间档是正0.201。

怎么切都在零附近来回摆,连符号都不稳定。这不是弱相关,这是没有关系。弱相关至少方向是固定的,能当个粗糙的先验用;符号会翻的东西连先验都当不了。

当年新建量与建页者人数

换成当年新建条目数,相关系数是0.045。换成建页者人数,是0.056。

这两个指标比总量更接近“当下的活跃度”,按理说更有可能跟译入行为挂上钩。实测也没有。

所以不是“总量这个数太陈旧”的问题。我本来的猜测是总量记录的是历史、活跃度记录的是当下,换成当下的量应该能对上。实测两个都不行,说明问题不在时间尺度上,而在这两类指标压根就不测这件事。

爬虫流量占比:0.072

还有一个我本来挺看好的指标。各语言的访问量里机器占多少这个数我另外量过一轮,直觉上它跟“内容是不是人写的”应该沾边。

把两份数据对起来,27门语言,相关系数正0.072。又是零。

回头看这也合理:爬虫是按页数来的,一页内容是译的还是写的,对抓取程序没有任何区别。两条轴各管各的,我把它们联系起来纯粹是因为它们都带着“这些内容不太对劲”的味道。味道相似不等于机制相关。

四个零意味着什么

四个现成指标全部落空,说明译入率是一条独立的轴。它不能从别的数推出来,只能单独去量。

对做决策的人来说这是个坏消息也是个好消息。坏消息是又多了一件要做的事;好消息是既然大家都没量,那么量了的人就多一个别人没有的判断依据。

我给自己定的规矩是:凡是要在某门语言上投超过一个季度的预算,这个数就必须先估一遍。估得糙一点没关系,量级对就行——毕竟这条轴上的差异是几十倍量级的,你就算估错一倍,也比完全不估强得多。

搬进来的内容是从哪门语言来的?

大多数语言的答案是英语

先说符合预期的部分。40门语言里,绝大多数的第一来源是英语,而且占比很高:泰米尔语99.8%、孟加拉语99.6%、越南语99.3%、马拉雅拉姆语99.0%、波斯语97.0%、约鲁巴语97.4%。

豪萨语更极端,55条译文全部来自英语,来源语言只有一种。

英语在这条链路上是事实上的中转站。这意味着这些语言的公共内容里,选题清单基本就是英语市场那一份,连详略比例都跟着走。对手的地图不在本地,在英文那边。

老挝语的第一来源是泰语

不符合预期的开始了。老挝语的11条译文里,7条来自泰语,4条来自英语。第一来源是泰语,占64%。

宿务语更奇怪,19条里12条来自泰语,占63%。这一条我抽出来看了标题,全是泰国政治人物的条目,出自同一个用户。

这两门语言的样本都太小,11条和19条不能拿来下任何统计结论,我把它们从主表里单列出来了。但当个案看还是有意思的:地缘和个人,都会在这条数据上留下印子。

老挝文和泰文本来就是同源的两套文字,字形和码位都挨着,两个市场的内容互通比跟英语互通容易得多。这一点跟泰语那套无空格分词的机制是同一个语族背景。

亚美尼亚语的第一来源是俄语

亚美尼亚语的样本量够:336条译文,其中255条来自俄语,占76%;英语只有77条,占23%。

乌兹别克语也是俄语第一,23条里俄语10条、英语10条,俄语略多。阿塞拜疆语的分布最散:英语47%、土耳其语26%、俄语22%。

这三门语言都在俄语的历史影响范围内,数据把这层关系照得很清楚。做这几个市场的时候,你的竞争对手继承的可能是俄语内容的选题,不是英语的——你拿着英文的话题清单去对,会对不上,然后误以为这个市场很空。

俄语跟这几门语言的关系,我在双语市场的内容拆分那篇里从另一个角度讲过,那边讲的是同一个市场内两门语言怎么分工,这边讲的是跨市场的内容流向。

斯瓦希里语的第一来源是简明英语

这一条是全表最出乎意料的。斯瓦希里语215条译文里,117条来自简明英语那个版本,占54%;常规英语只有77条,占36%。

简明英语是一个用受限词汇表和短句写成的独立版本,同一个话题它的篇幅通常只有常规版的三分之一到一半,句式也刻意压得简单。选它当源语言,翻译的工作量小一大截。

更有意思的是,这117条出自同一个编辑者。也就是说,一门语言超过一半的译入内容,来自一个人的一个工作习惯。这个人换个源版本,第二年整门语言的来源构成就变了。

这条对实操有个直接提示:如果哪天你在某个小市场上发现对手的内容读着特别浅、句子特别短、专业术语少得反常,别急着判断对方水平不行,先想想是不是源头就不是完整版。

还有几条不那么显眼的支流

除了上面几个大的,还有几条份额不高但方向明确的支流。尼泊尔语112条译文里,英语84条占75%,印地语27条占24%——印地语是尼泊尔的邻国语言,也是很多尼泊尔人的第二阅读语言。

乌尔都语588条里,英语515条,旁遮普语47条占8%。旁遮普语跟乌尔都语在同一个国家,共用一套书写系统的大部分字母,互译的门槛比跟英语低得多。

土耳其语1779条里,英语1431条占80%,德语254条占14%。德语这个14%在整张表上很扎眼,因为德国跟土耳其之间没有语言学上的亲缘关系,有的是几百万人的移民社群。土耳其语本身那套后缀叠加的机制跟德语毫不相干,所以这14%只能用人来解释。

马其顿语2149条里,英语1318条占61%,塞尔维亚语455条占21%。这一对是同一个语族里挨得最近的两门语言之一,译起来几乎是改写。

来源语言的种类数是另一个维度

除了第一来源是谁,还有一个数:一共从多少门语言译进来。

希腊语的来源有29种,日语26种,中文26种,波斯语23种,马其顿语21种。这些是“从四面八方吸内容”的类型。

另一头,豪萨语1种、尼泊尔语3种、约鲁巴语4种、泰米尔语6种、马拉雅拉姆语6种。这些是“只有一条管道”的类型。

两种结构对你的意义不一样。管道单一的市场,你只要把那一条管道上的内容看一遍,就大致知道对手手里有什么;来源分散的市场,这招不好使,得换成从需求侧倒推。管道越单一,情报成本越低。

一门语言的内容是几个人搬进来的?

个位数的译者

把每条译文的建者去重,得到译者人数。这个数比我预想的小得多。

豪萨语4人、瓦瑞语4人、老挝语5人、马耳他语6人、阿姆哈拉语8人、宿务语8人、高棉语9人、斯瓦希里语12人。

换句话说,在这些语言上,“把外面的内容搬进来”这件事是一个可以数得过来的小圈子在干。其中任何一个人停手,这门语言的内容来源构成就会变。

这跟内容生产的常识不太一样。我们习惯把一门语言的内容池当成一个大集体的产物,实际上在长尾语言上,它更像几个人的作品集。你以为在跟一个市场竞争,其实是在跟五个人的业余时间竞争。

越南语的339个人

另一头,越南语26291条译文出自339个人,人均78条。这已经是有组织的规模了。

马其顿语2149条出自195人,泰米尔语2430条出自101人,希腊语3342条出自174人。这几门都是几百人量级的翻译群体。

有组织和没组织,才是译入率高低的直接原因。不是语言大小,不是市场规模,不是经济体量,是有没有一批人在持续做这件事,以及这批人有多少。这个变量在任何一张公开的语言对照表上都没有一列对应。

译者占建页者的比例

换个口径看:译者人数占全部建页者的比例。

波兰语26比15110,是0.17%;印尼语253比6654,是3.8%;越南语339比11509,是2.9%;马其顿语195比526,是37%。

马其顿语这个37%很扎眼——建页的人里超过三分之一碰过翻译工具。这门语言的内容池,性质上更接近一个翻译项目而不是一个写作社群。它的总条目数16万,跟拉脱维亚语的14万挨着,但这两个16万和14万完全不是一回事。

顺带说一句,这个比例跟条目总数的相关系数是负0.179,还是接近零。规模这个变量在本文里已经连续第五次不起作用了。

这个结构意味着什么

如果一门语言的内容来源掌握在几个人手里,那么这个市场的内容格局是不稳定的。一次社群活动、一个人的兴趣转移,都能让下一年的构成完全不同。

对你的实际影响是:小语种市场的内容供给不能按线性外推。今年薄不代表明年薄,今年厚也不代表明年还厚。

所以这个数要定期重算,不能测一次用三年。我自己的节奏是一年一次,赶上市场有大动作就随时补测。对比一下,条目总数这种指标测一次能用很久,因为它变得慢——变得慢的指标好用但没信息量,变得快的指标有信息量但得勤快点。

这个数在做小语种决策的时候怎么用?

高译入率市场的机会在哪

译入率高,说明公共内容里很大一部分是跟着源语言的选题走的。源语言那份清单上没有的东西,本地内容池里大概率也没有。

具体到操作上,就是去找“本地特有、源语言不会写”的话题:本地法规、本地节庆、本地支付习惯、本地尺码和度量、本地品牌的对比。这些在译入内容里是天然的空白。

这条跟同一门语言在不同市场的搜索意图分叉是配套的:意图分叉告诉你哪些需求本地独有,译入率告诉你这些需求有没有被覆盖。

越南语是最典型的例子。将近一半的公共内容来自英语,那么越南本地特有的话题,实际竞争强度会明显低于总量给你的印象。总量告诉你这是个130万条的大市场,来源构成告诉你其中有60多万条的选题不是本地定的。

低译入率市场要先问为什么低

译入率低有两种完全不同的原因。一种是本地写作社群强,自己就能产内容,波兰语属于这一类。另一种是根本没人做这门语言,连搬运工都没有。

这两种情况的应对方式正好相反。前者你要跟真人抢,得拿出真本事;后者你几乎没有竞争,但也要先确认有没有读者。

分辨方法是看建页者人数。波兰语15110人和高棉语356人,同样是低译入率,性质完全不同:前者是“有人写所以不用搬”,后者是“没人写也没人搬”。同一个低数值,两种相反的市场。

这一层要跟需求侧的数据一起看,光看供给侧会做出错误判断。关键词工具在小语种上没数据的时候怎么办那篇讲的就是需求侧怎么估。

来源语言告诉你对手继承了谁的选题

知道第一来源是谁,你就知道去哪儿看对手的选题清单。

第一来源是英语,你看英语市场那批内容;第一来源是俄语,你看俄语的;亚美尼亚语这种76%来自俄语的,你去翻英文资料是找不到对应关系的。

这个动作成本很低,收益很直接。翻一遍源语言那边的高频话题,就能大致预测本地内容池里有什么。

反过来,在源语言那边冷门、在本地却是刚需的话题,就是最值得先做的那一批。这类话题的特征通常很好认:跟本地的钱、证件、时间表、气候、宗教节令有关,而这几样恰恰是源语言市场不会花篇幅写的。

别把译入率当成质量指标

要说清楚一件事:译入率高不等于内容差。用官方工具翻译的条目,是有人一段段过过的,不是机器直出。

机器翻译直接发上线的风险是另一回事,那篇讲的是省掉审校那道工序的代价,跟这里说的“内容从别的语言来”不是同一个问题。搬来的内容也可以质量很好。

译入率是来源指标,不是质量指标。把它当质量指标用,会得出“越南语内容质量差”这种既不成立又没用的结论。

它真正回答的问题只有一个:这些内容的选题是谁定的。把这个问题跟质量、跟规模、跟需求分开,这个数才有用;混在一起,它就变成又一个让人点头但不改变任何决定的数字。

三档判读线

我按这次的数据给自己划了三条线,供参考。

译入率在2%以下,把这个市场当成本地原生市场处理,选题上不要指望有系统性空位,重点转到深度和更新频率上。

2%到10%之间,混合市场,本地特有话题上有零散空位,值得挑着做。

10%以上,把源语言的选题清单直接当成对手的地图,重点全部放在这张地图之外。越靠近本地日常生活的话题,空位越大。这三条线是按这批数据的分布划的,不是什么行业标准,你在自己市场上量出来的分布不一样,线也该跟着挪。

这套数怎么在自己的市场上重做一遍?

没有标记的时候怎么办

商业站不会给你标记。所以在真实市场上,你拿不到精确的译入率,只能估。

估的思路是找那些翻译流程覆盖不到的地方。翻译流程通常只处理正文和界面文案,覆盖不到的部分会留在原样。

我常看的有三处:地址栏、页面的语言声明、以及站内那些没人管的边角文案。这三处的共同点是它们不在译员拿到的稿子里。

估出来的是一个粗档,不是精确值。但做决策够用了,因为你要的本来就是量级——你要判断的是“这个市场的内容是不是搬来的”,不是“搬了百分之几点几”。

从对手站上能看的三处

第一处是地址结构。本地语言的页面用的是英文单词拼的地址,还是本地词拼的地址?前者说明这批页面是从英文站复制出来再翻的。地址用本地字母还是拉丁转写那篇讲的是主动的选择,这里看的是被动留下的痕迹。

第二处是页面开头那行语言声明,跟正文实际用的语言对不对得上。多语言站点的官方规范对这一行有明确要求,而它对不上通常只有一个原因:模板是从别的语言版本复制过来的,没人记得改这一行。

第三处是站内搜索框的提示语、错误页的文案、表单的校验提示这类边角文字。这些几乎从来不在交给译员的那份稿子里,留着英文的概率相当高。

三处都中,基本可以判定这个站的本地版本是从主站翻出来的。三处都不中,那多半是本地团队自己做的。中一到两处的算存疑,先放着,等看完搜索结果页那两处再定。

从搜索结果页能看的两处

不进对手的站也能看出一些。第一处是标题的句式:译文的标题往往保留源语言的语序和标点习惯,读着有点别扭但语法没错。

第二处是摘要里的专有名词。本地原生内容会用本地约定的写法,译文经常直接留原文或者用一个不常见的转写。品牌名在小语种里怎么被写出来这篇讲的规律在这里正好反过来用:写法不对,说明不是本地人定的。

这两处都是软证据,单独看不作数,跟站内那三处配合起来用。

另外一个信号是地名用的是本地叫法还是外来叫法。译文倾向于沿用源语言里那个外来叫法,本地写的内容用本地叫法。这一条在旅游、物流和本地生活类的站上特别灵,因为这类站上地名出现的密度高,样本量一下就够了。

一个半天能跑完的最小版本

如果你想在自己的目标市场上跑一遍,最小版本是这样的。

先定20个核心词,每个词取搜索结果前10条,去重后大概能拿到100到150个页面。

逐个页面看那三处硬信号,各记一个是或否。三处都中记为“译”,一处都不中记为“原生”,中一到两处记为“存疑”。存疑那一档不要强行归类,直接单列,它的比例本身就是一条信息。

最后算“译”这一档占的比例。这个数跟本文的译入率口径完全不一样,不能拿去跟本文的表格比大小,但它回答的是同一个问题,而且是你自己市场上的真数。自己市场上的粗数,比别人市场上的精确数有用。

多久重算一次

一年一次是底线。前面说过,译入行为集中在少数人手里,构成变得很快。

另外三种情况要随时补测:目标市场出现新的大玩家、你自己准备加大投入、或者你发现对手的内容突然多了一大批。

最后一种最值得警惕。内容突然变多,先别急着判断竞争加剧,先看看是不是有人开了一条翻译流水线。是的话,你的空位不但没缩小,反而被标得更清楚了——对方刚刚把源语言那份清单原样搬了过来,清单之外的部分依然空着,而且现在你知道那份清单长什么样。

哪些地方我算错过,你别再踩?

分子分母不同源

前面说过,第一版把两个接口的数凑成了一个分数,越南语因此被算成73.85%。这条排第一,因为它最隐蔽——两个数单看都是对的。

更麻烦的是错的幅度随语言变,1.27倍到2.38倍,所以你没法用一个系数修回来,只能推倒重来。

自查方法很笨但有效:把分子和分母各自的来源写在纸上,一行一个。如果两行不是同一个接口、同一次查询、同一套过滤条件,就重做。

那年还没有那把尺子

系统里另有一个标记,专门用来标那些“机翻痕迹保留过多”的条目。我看到它的时候相当兴奋,因为它几乎就是我想要的那个质量指标。查完2019年,11门语言全是0条。

差一点就写成“那一年没人把机翻原样发出去”。幸好顺手多问了一句:这个标记最早的一条是什么时候?标记机制的文档里写着这类标记由扩展在运行时添加,而它最早的一条落在2023年下半年。

那个0的意思是“那年还没有这把尺子”,不是“那年没人这么干”。这是零的第三种伪装,前两种是网络失败和解析失败,这一种最难发现,因为整条链路一切正常,接口返回200,字段齐全,就是数字是0。

自查方法只有一条,但很管用:任何一个量出全零的指标,先别急着解释它,先去查这把尺子是什么时候造出来的,再看它覆盖的时间跟你的窗口对不对得上。

采集失败伪装成零

另外两种伪装也各踩了一次。一次是本地的域名解析把某个语言版本的地址指到了一个完全不相干的地方,证书对不上直接报错——如果外面套了容错,这门语言就会静静地变成“没有数据”。

另一次是编码。抓回来的页面没有声明字符集,工具库默认按西欧编码解,把西里尔字母解成了一串乱码——而乱码里每个字符都算“非拉丁字母”,于是统计出来的本地文字数量是假的,差了几十倍。

这两次的共同点是:失败之后程序照常跑完,没有报错,输出的数字看起来完全正常,甚至比正常还正常——因为它们都偏向“更干净”的方向。零和整数最容易骗过复核,因为它们看起来像结论而不像故障。

自查方法很土但有效:每轮采集之前先跑一遍连通性自检,把不通的名单打印出来;解析文本的时候,编码顺序必须是响应头、页面声明、通用编码,最后才轮到猜。

小样本不能进主表

老挝语11条、瓦瑞语11条、阿姆哈拉语13条、高棉语14条、冰岛语17条、马耳他语18条、宿务语19条——这几门的译文条数都不到20。

比例照样能算,但一条的进出就能让百分比跳好几个点。这种数只能当个案讲,不能进主表,更不能拿去算相关系数。

我把它们从相关性计算里剔掉之后重算了一遍,结论没变,秩相关从负0.059变成负0.170,还是零附近。但如果不剔,读者有理由怀疑整个结论是被几条数据带出来的,而这个怀疑一旦成立,后面所有的话都不用听了。

自查方法:任何一个比例,先看分子的绝对数。分子小于20的,正文里必须写明。

常见问题解答

用维基百科的数据,能代表商业站吗?

不能直接代表。维基没有商品页、没有促销页,编辑者的动机也跟商业运营完全不同,绝对值肯定对不上。

能借用的是语言之间的相对关系。当希腊语和爱沙尼亚语在同样规模下差46倍的时候,这个差异反映的是两个语言社群对待外来内容的不同习惯,而这个习惯会同时体现在商业内容上。

为什么只取2019年一整年?

因为页面创建日志是2018年年中才开始记录的,在此之前没有可用的逐条记录。所以能完整覆盖的整年只有2019一年。

这也意味着本文没法做同比。译入行为的年度波动可能很大,这是本文最大的局限,解读时请把它当成一个切片而不是趋势。

译入率算出来是下限,那低估了多少?

不知道,这正是问题所在。手工复制粘贴的翻译完全不留痕迹,我没有办法估计它的规模。

能确定的只有方向:真实值只会比算出来的高。所以本文所有关于“译入率低”的结论都留了余地,关于“译入率高”的结论则是安全的。

越南语将近一半,这个数是不是太夸张了?

我也这么怀疑过,所以抽了几条逐一核对:上级版本号为0说明确实是新建,标记确实带着翻译工具那一条,编辑摘要里也写着源页面的地址。都对得上。

换个角度想也说得通:339个人一年做26291条,人均78条,一周一条半。对一个有组织的翻译群体来说,这个工作量并不离谱。

我的市场很小,这套方法值得花时间吗?

市场越小越值得。大市场上你就算不做这个判断,靠预算也能砸出一条路;小市场上预算本来就少,判断错一次可能一年就过去了。

而且小市场的数据量小,跑一遍反而更快。前面那个最小版本半天能做完。

中文市场用得上吗?

用得上,方向反过来用。中文内容整体是原生的,但在垂直领域里,很多技术类和医疗类内容是从英文译过来的。

判读方式一样:找那三处翻译流程覆盖不到的地方。差别是中文市场的内容搬运更多发生在中文内部,也就是站与站之间的转载,这一层要用别的办法查。

权威参考资料

分享到
标签
版权声明

本文标题:《小语种内容里有多少是从别的语言搬来的,越南语近一半,波兰语只有0.22%》

本文链接:https://zhangwenbao.com/minor-language-content-translated-share.html

版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0

继续阅读
发表评论
分享到微信 或在下方手动填写
支持 Ctrl + Enter 提交