泰米尔语官方推荐的那个词写进正文很体面,放进词表一条带价格的长尾都拉不出来

泰米尔语官方推荐的那个词写进正文很体面,放进词表一条带价格的长尾都拉不出来
张文保 36 分钟阅读 3,871 阅读
本文目录
  1. 为什么泰米尔语要按四个国家分开算?
  2. 八千六百万母语者,摊在四套官方体系上
  3. 把这门语言当一个市场做,会漏掉什么
  4. 四个市场的搜索入口不完全是一回事
  5. 本文不谈的那一半
  6. 这次的实验台是怎么搭的
  7. 泰米尔文只有十八个辅音,写不出来的音怎么办?
  8. 十八个自己的,六个借来的
  9. 那六个借来的字母从哪儿来
  10. 四个市场的借用字母密度,实测差了三倍
  11. 这条数据打了我开工前的脸
  12. 这个密度差落到实操上是什么
  13. 两种写法在索引里等不等价
  14. 同一个概念,一个市场全用造的词,另一个全用音译
  15. 先看最干净的那一组
  16. 其余几组的方向一致吗
  17. 但有一组是反的
  18. 三种状态,三套动作
  19. 马来西亚这条腿实测失败了
  20. 顺带记一条尺子的事
  21. 为什么造词的那一头不在人口最多的市场?
  22. 纯泰米尔运动造了多少词
  23. 造词的机构在印度,用词最规范的市场在新加坡
  24. 这对做站的人意味着什么
  25. 这条规律有没有反例
  26. 用户搜那个标准词的时候,到底在找什么?
  27. 先说这一轮为什么要换尺子
  28. 换的这把尺子是什么
  29. 查词义成分:本族词是音译词的六倍
  30. 加上价格修饰词之后,差距更大
  31. 唯一打平的那一组说明了什么
  32. 那正文里到底该用哪个
  33. 怎么在自己的品类上把这套测量跑一遍
  34. 短音译词为什么反而更危险?
  35. 那个例子有点好笑
  36. 为什么短音译词特别容易出这事
  37. 怎么在起草前就发现这件事
  38. 被劫持的比例,两种词形差不多
  39. 长音译词的毛病是另一种
  40. 屏幕上的顺序和存储里的顺序为什么对不上?
  41. 三个写在辅音左边的元音符号
  42. 四个市场实测:3.9% 到5.2%
  43. 一个不变的常量,反而更有用
  44. 字素簇这件事在泰米尔文上要留神
  45. 一份泰米尔语关键词表的建法
  46. 第一步不是翻译,是分市场抓语料
  47. 两套词都进表,但字段不同
  48. 母语审校要问的三个问题
  49. 一张能贴在评审清单上的表
  50. 四个市场,先做哪一个
  51. 这套判断能搬到别的语言上吗?
  52. 先问这门语言有没有一个在造词的机构
  53. 没有这类机构的语言,问题换一个形状
  54. 什么时候可以不管这件事
  55. 常见问题解答
  56. 泰米尔语和印度其他语言能不能共用一份关键词表?
  57. 为什么我的关键词工具查泰米尔语的搜索量总是很低?
  58. 新加坡站和印度站的泰米尔语页面算不算重复内容?
  59. 那六个借用字母要不要在词表里做归一化?
  60. 做泰米尔语市场必须找当地服务商吗?
  61. 斯里兰卡的泰米尔语要不要单独做一套内容?
  62. 本文的数据能复现吗?
  63. 权威参考资料

摘要:泰米尔语有8600万母语者,分在印度泰米尔纳德邦、斯里兰卡、新加坡、马来西亚四套官方体系里。我抓了这四个市场的16个站点做逐码点统计,又跑了32组词的搜索建议,得到三个结论。第一,同一个日常概念,印度的媒体几乎只用英语音译词,新加坡的媒体几乎只用官方造的本族词,斯里兰卡两个都用,一门语言在四个国家有三种用词状态。第二,官方造的那套词写进正文很体面,可用户搜它主要是为了查它什么意思,加上价格修饰词之后能拉出的商业长尾只有音译词的三分之一。第三,开工前写下的两条预期全错了。

做小语种关键词表的人,最怕遇到的不是没数据,是数据里两个词都对。

泰米尔语就是这么一门语言。你想找“视频”这个词的泰米尔语说法,词典会给你两个:一个是官方造出来的本族词,一个是从英语音译过去的。母语审校说两个都能用。你把两个都放进表里,交付那天客户问你哪个该进标题、哪个该进正文、哪个该进结构化数据,你答不上来。

更麻烦的是,这两个词在四个国家的分布不一样。而这四个国家都把泰米尔语列成了官方语言。

为什么泰米尔语要按四个国家分开算?

八千六百万母语者,摊在四套官方体系上

泰米尔语的母语人口在8600万上下,规模跟德语差不多。但它跟德语有个根本区别:德语的三个市场挨在一起,泰米尔语的四个市场隔着海。

印度那一块最大,主要在泰米尔纳德邦和本地治里,人口占了大头。斯里兰卡北部和东部有几百万,泰米尔语是斯里兰卡的官方语言之一。新加坡把泰米尔语列成四门官方语言之一,实际使用者只有十几万。马来西亚没把它列成官方语言,但泰米尔语是当地印度裔社群的主要语言,有完整的泰米尔语学校体系和媒体。

这四块的共同点是:每一块都有自己的教育系统、自己的媒体、自己的政府文书标准。它们不是一个市场的四个省,是四个独立的语言治理单元。

把这门语言当一个市场做,会漏掉什么

常见的做法是这样的:先把泰米尔语当成印度市场的一门地方语言,用印度的关键词工具拉数据,建一份表,然后这份表同时用在新加坡站和马来西亚站上。

这个做法的问题不在于工具,在于它假设了一件没被验证的事——四个市场的人写同一个东西时用同一个词。

这个假设在很多语言上确实成立。葡萄牙语的巴西和葡萄牙差别不小,但差的是词汇的百分之几,不是整个概念都换一个词。泰米尔语这边我实测下来,有些概念的差别是整体性的:一个市场几乎只用A,另一个市场几乎只用B,中间没有过渡带。

这跟孟加拉语按一门语言建表交付时才发现国界两边不是一套词那次遇到的情况有点像,但不完全一样。孟加拉语那边是两个市场,而且分叉是单向的;泰米尔语这边是四个市场,而且造词的那一头不在人口最多的地方。

四个市场的搜索入口不完全是一回事

还有一层容易被跳过:这四块的搜索入口结构不一样。印度和斯里兰卡是移动端为主、低端安卓机占比高,输入成本决定了查询会更短;新加坡的设备结构接近发达市场;马来西亚的泰米尔语使用者在日常里会大量切换到马来语和英语,泰米尔语查询只在特定场景出现。

这一层不属于本文要拆的语言层,但它会影响你怎么读数据。同一个词在印度的搜索量高,可能只是因为那边人多;在新加坡的搜索量低,可能是因为那批人搜的时候直接用了英语。做多市场的时候,跨市场比绝对搜索量基本没有意义,能比的是同一市场内部两个词的相对关系。

本文后面所有的对比都遵守这一条:只在同一个市场内部比两套词形的比例,不跨市场比数量。

本文不谈的那一半

泰米尔语落到工程上会牵出一大堆事:印度市场的书写系统排期、字体子集、输入法映射,这些在印度十一门语言分摊在九套书写系统上那一篇里按成本口径算过一遍了,本文不重复。那篇的坐标系是印度国内的预算排期,泰米尔语在里面是一个成本项;本文的坐标系是这门语言自己,而且重心在国境之外的三块。

另外,本文只谈语言层。搜索引擎在这几个市场的份额、印度和新加坡的移动端生态差异,那些属于引擎层,跟这门语言是哪门语言无关,换成英语照样成立。判据一直是那一条:把语种换成英语就不成立的,才归这一层。

这次的实验台是怎么搭的

本文的数据来自两条腿。第一条腿是抓站:按四个市场各取一批本地媒体和政府站点,抓首页和内页,去掉标签只留文字,然后逐个字符按Unicode码点区间分类统计。第二条腿是搜索建议:同一批词分别用四个地区参数跑一遍,看返回什么。

四个市场的语料规模差得很远。印度这边抓到198页、51万多个泰米尔字符;斯里兰卡44页、约5万个;新加坡44页、9万多个;马来西亚只抓到169个泰米尔字符——这条腿实测失败了,后面会专门说为什么。

所有的比例都按每十万泰米尔字符归一化过,所以印度语料大十倍这件事不会把结论带歪。

泰米尔文只有十八个辅音,写不出来的音怎么办?

十八个自己的,六个借来的

泰米尔文是印度诸文字里辅音字母最少的一套,只有18个。这个数字不是简写,是真的只有18个辅音字母。对比一下:天城文有33个,孟加拉文有35个左右。

少的这些是什么?泰米尔语的音系里没有清浊对立,也没有送气不送气的对立。同一个字母 க 在词首读成k,在元音之间读成g,在鼻音后面读成 ŋg——读法由位置决定,所以不需要三个字母。

这套设计对写泰米尔语本身很经济,对写外来词就是灾难。英语的b、d、g、j、sh、s、h、z、f这些音,泰米尔文原生字母一个都写不准。

那六个借来的字母从哪儿来

历史上的解法是从Grantha文字里借。Grantha是南印度过去用来写梵语的一套文字,泰米尔文借了它的几个辅音字母进来,专门写梵语借词和后来的英语借词。

借进来的主要是这几个:ஜ(ja)、ஷ(ṣa)、ஸ(sa)、ஹ(ha),加上合体的 க்ஷ(kṣa)和 ஶ(śa)。这几个字母在Unicode的泰米尔文区块里有自己的码位,不是组合出来的。

所以泰米尔文的实际字母表是18个原生辅音加6个外来辅音。这6个字母在纯泰米尔的语境里是被排斥的——纯泰米尔运动一百年来的主张之一就是尽量不用它们。

这就构成了一个可以量的东西:数一个站上这6个借用字母的密度,就能量出它离“纯泰米尔”这条线有多远。

四个市场的借用字母密度,实测差了三倍

我把抓到的站点按泰米尔字符总量归一化,算了每一万个泰米尔字符里这几个借用字母出现多少次。

市场站点泰米尔字符借用字母每万字
印度傍晚花122522179
印度维卡坦330050151
印度迪纳马尼10244113110
印度BBC泰米尔12622138109
印度迪纳马拉18067192106
斯里兰卡TamilWin756878103
马来西亚Makkal Osai52323464
新加坡泰米尔之鼓5339232661
新加坡Seithi新闻4125921

印度那一批全部落在106到179之间,斯里兰卡103,马来西亚64,新加坡21和61。最高的和最低的差了8倍,把样本量最小的两个去掉再比,印度和新加坡之间也稳稳差着一倍多。

这条数据打了我开工前的脸

动手之前我在实验计划里写了五条预期。其中一条是这么写的:新加坡的泰米尔语借词比例最高,因为那是个英语主导的环境。

实测正好相反。英语环境最重的那个市场,用借来的字母最少;纯泰米尔运动的发源地,用得最多。

把预期写下来这个动作,是上一批做缅甸语时逼自己加的。那次也是两条预期全错,而错的方向本身变成了那篇的题眼。这次又是同一回事——如果不写下来,我大概会顺着“新加坡英语多所以借词多”这个直觉去解释数据,然后把数据解释反。

这个密度差落到实操上是什么

一个外来词进泰米尔文,往往有两种合法写法:用借用字母拼得更接近原音,或者用原生字母凑一个近似。品牌名尤其如此。

所以同一个品牌在泰米尔文里可能有三到五种写法在跑,而且分布按市场不同。这件事的通用机制在品牌名叫什么不由你定、由当地用户的输入法定那一篇里拆过,本文不重复,只补一句这门语言特有的:泰米尔文的两种写法不是拼写变体,是两套字母体系的选择,背后带着一个世纪的语言政治,所以哪种写法“对”这个问题在这门语言上没有中立答案。

两种写法在索引里等不等价

接着上面那条会冒出一个很实际的问题:如果同一个外来词有两种合法写法,搜索引擎把它们当成一个词还是两个词。

我没有办法直接看引擎内部,但可以从搜索建议侧面验证。做法是把两种写法分别丢进去,看返回的建议列表有没有交集。如果引擎把它们当同一个词,返回的长尾应该高度重叠。

实测下来的情况是:重叠很少。用借用字母写的那一版和用原生字母凑的那一版,各自拉出的十条建议基本是两批。这说明在建议这一层,它们是两个独立的查询串。

这个结论要谨慎用。建议层不等于索引层,引擎完全可能在检索时做同义扩展而在建议时不做。但对做词表的人来说,谨慎的假设是把它们当两个词,两个都覆盖到,而不是赌引擎会帮你合并。

顺带说一句,这跟希腊语那边用拉丁字母硬拼的情况不是一回事。希腊字母与拉丁转写并存时怎么覆盖那一篇讲的是跨文字系统的转写,两套字符集完全不同;泰米尔语这边是同一套字符集内部,两组辅音字母的选择。前者用户一眼能看出是两种写法,后者看不出来。

同一个概念,一个市场全用造的词,另一个全用音译

先看最干净的那一组

我在四个市场的语料里跑了20组配对词。每组一个本族造词、一个英语音译词,指同一个东西。大部分组因为新闻语料里根本不谈那个概念,两边都是零——这个坑后面会说。真正跑出干净分叉的,是“视频”这一组。

本族造词是 காணொளி,字面意思接近“看的光”,是纯泰米尔路线造出来的。音译词是 வீடியோ,就是video用泰米尔字母拼出来。

市场本族造词 காணொளி英语音译 வீடியோ本族∶音译
印度0410(几乎只用音译)
斯里兰卡84402.1(两个都用)
新加坡290只用本族

表里的数字是每十万泰米尔字符的出现次数。印度这边51万字符的语料里,本族词一次都没出现,音译词出现了两百多次;新加坡这边正好倒过来。

斯里兰卡在中间,而且不是“各占一半”那种中间——它是两个词都在高频使用,本族词还多一倍。这说明那边不是过渡状态,是真的两套词并行。

其余几组的方向一致吗

“视频”这一组之所以干净,是因为新闻网站每天都在发视频。其余概念的语料覆盖没这么好,但方向能看出来。

概念印度斯里兰卡新加坡
警察(本族 காவல் ∶ 音译 போலீஸ்)7 ∶ 14 ∶ 039 ∶ 0
公司(本族 நிறுவனம் ∶ 音译 கம்பெனி)8 ∶ 112 ∶ 051 ∶ 0
学生(本族 மாணவர் ∶ 音译 ஸ்டூடன்ட்)13 ∶ 034 ∶ 057 ∶ 0
大学(本族 பல்கலைக்கழகம்)06 ∶ 04 ∶ 0
公交车(本族 பேருந்து ∶ 音译 பஸ்)4 ∶ 18 ∶ 20

本族词的密度排序基本稳定:新加坡最高,斯里兰卡次之,印度最低。这跟借用字母那张表给出的排序完全一致,两条独立的证据指向同一个方向。

但有一组是反的

“报纸”这个概念,新加坡的语料里本族词 செய்தித்தாள் 出现0次,音译词 பேப்பர் 出现22次;印度那边本族0、音译4。

这条反例很重要,它挡住了一个太顺的结论。如果只看前面那几组,很容易总结成“新加坡的泰米尔语更纯”。但报纸这一组说明不是这样——规范化的力量落在哪些词上,是有选择的,不是一刀切

我的解释是这样:新加坡的泰米尔语规范主要通过教育系统和媒体自律起作用,管得住的是学校课本里教的那类词——机构名、职业名、学科名。“报纸”这种日常口语高频词,规范够不着,跟着口语走。

这个解释我没法用手上的数据证死,所以只当假说写在这儿。但它带出的操作建议是可靠的:别按“这个市场偏纯还是偏俗”给整份词表定调,要一个概念一个概念地问。这跟上一批做孟加拉语时得到的教训是同一条——那次也是发现规律只能逐词问,按对称分叉建表两边同时漏。

三种状态,三套动作

把印度、斯里兰卡、新加坡三种状态摆在一起,对应的动作其实不一样。

印度那种几乎只用音译的市场,动作是替换:把词表里的本族词整批换成音译词,本族词只在正文对照处保留一次。这个市场的读者看到本族词不会不认识,但会觉得像在读课本。

新加坡那种几乎只用本族词的市场,动作是反过来的:正文用本族词,音译词退到标题和技术字段里。这里有个矛盾要接受——页面上给人读的词和给引擎看的词可以不一致,而这不是作弊,因为两个词在同一个页面上共现过。

斯里兰卡那种两个都在用的市场,动作是并列覆盖:两个词都要在正文里自然出现若干次,不能只挑一个。上一批做孟加拉语时得到过一条同类的教训——分叉是单向的时候,按对称建表两边都会漏。这里是分叉不存在,按二选一建表照样漏一半。

三种状态对应三套动作,而判断落在哪一种,只能靠语料实测。这也是为什么本文花那么大篇幅在抓站上。

马来西亚这条腿实测失败了

四个市场里马来西亚是最难抓的。我准备了5个种子站点:两个域名解析不了,一个抓下来是纯英文站,一个只放出1个内页,最后合计只拿到169个泰米尔字符。

这个数量做不了任何统计。所以本文关于马来西亚的结论只有借用字母那一条(64/万,来自Makkal Osai的5232个字符),词汇分叉那部分完全没数据。

把这条如实写出来,比补一段“马来西亚的情况大致介于两者之间”有用。后者听起来完整,实际是编的。做小语种最容易出的事故就是这个:数据缺的那一块,用常识补上去看不出破绽,但它会一路错到交付

顺带记一条尺子的事

20组词里有6组两边全零,另有几组只有一边有数。原因不是这门语言不用这些词,是新闻语料不谈冰箱、空调和耳机。

要量商业品类词的分叉,得换语料源——电商站、分类广告、比价站。这次没做,因为四个市场里能同时找到可比电商站的只有印度和新加坡,两个点连不成线。这一条留给下次。

为什么造词的那一头不在人口最多的市场?

纯泰米尔运动造了多少词

泰米尔语有一场持续了一个世纪的语言纯化运动。它的现代起点通常算在1916年,主张是避开梵语、英语和波斯语借词,能造本族词就造本族词。

这不是几个学者的私下主张。1959年泰米尔纳德邦政府成立了专门的机构,负责用泰米尔语编写自然科学、人文学科、会计、数学的教科书,这意味着大批学科术语要现造。到1970年代末,被造出来并推广开的新词超过一千个。

所以“视频”“电脑”“手机”“电话”这些概念在泰米尔语里都有官方推荐的本族词,而且这些词进了教科书。

造词的机构在印度,用词最规范的市场在新加坡

这里有个反直觉的地方:造词这件事发生在泰米尔纳德,而实测下来用得最彻底的是新加坡。

我能想到的原因有两层。

第一层是媒体结构。印度的泰米尔语媒体是充分竞争的商业市场,几十家在抢同一批读者,用词跟着读者的口语走。新加坡只有一份泰米尔语报纸和一个广播电视机构,它们同时承担着语言传承的公共职能,用词跟着课本走。

第二层是社群规模。使用者只有十几万的社群,学校、媒体、社团这几个口子是重叠的——教泰米尔语的老师和给报纸写稿的人可能是同一批。八千万人的社群不存在这种重叠。

社群越小,语言规范的执行力反而越强。这条规律看着别扭,但它在别的语言上也见得到:冰岛语的造词纯度高于任何一门大语言,就是同一个机制。

这对做站的人意味着什么

意味着你不能问“泰米尔语的标准说法是什么”,只能问“哪个市场的标准说法”。

而且这两个问题的答案往往冲突。你在印度市场按新加坡的规范写,读者会觉得像课本;在新加坡市场按印度的口语写,机构客户会觉得不正式。

这跟同一门语言在两个市场意图会怎么漂移那一篇说的是同一族的事,但那一篇拆的是意图,这里拆的是词形本身。词形分叉是意图漂移的上游——两个市场连用词都不一样的时候,意图数据是拿不出来的,因为你查的根本不是同一个词。

这条规律有没有反例

社群越小规范执行力越强这条,我得给它划个边界,不然它会被用过头。

反例是存在的。海外华人社群规模不小,用词却比大陆和台湾都随意,因为它没有统一的教育系统去承载规范。所以真正起作用的不是社群大小本身,是社群里有没有一套覆盖全体成员的教育和媒体系统。新加坡的泰米尔语社群小,但它的每一个孩子都进同一套学校,看的是同一份报纸。

把这条判据反过来用更好使:判断一个市场偏规范还是偏口语,先看它的泰米尔语媒体有几家。只有一家的市场偏规范,几十家的市场偏口语。这个判断五分钟就能做完,比读语言政策文件快得多。

用户搜那个标准词的时候,到底在找什么?

先说这一轮为什么要换尺子

语料只能告诉你媒体写哪个词,告诉不了你用户搜哪个词。这两件事完全可以不一致——媒体写的是规范,用户搜的是习惯。

我第一轮用的尺子是搜索建议的地区参数:同一个词分别用印度、斯里兰卡、新加坡、马来西亚四个地区跑,看返回的建议有没有差别。

结果是彻底失败。四个地区返回的条数完全一致,抽样比对内容也逐条相同。“视频”的音译词在印度和新加坡拉出来的十条建议,一个字都不差。

这条负面结果得写出来。它意味着对泰米尔语这样的语言,别指望用地区参数把四个市场分开,那个参数在这门语言上不起作用。想分市场,只能回到语料。

换的这把尺子是什么

失败那一轮里我注意到一个现象:本族造词拉出来的建议,第二条往往是“meaning in english”或者泰米尔语的“意思”“什么意思”。

比如 நிழற்படம️(本族词,照片)的六条建议里,三条是查词义的:意思、英文意思、泰米尔语意思。而音译词 போட்டோ 的十条建议全是“怎么修图”“修图教程”这类。

这个现象可以量化。我给建议做了三个标记:带meaning、意思、什么意思这类问法的算查词义;带价格、买、在线、优惠这类的算商业;建议开头不是查询词本身的算被别的实体劫持。

查词义成分:本族词是音译词的六倍

16组词跑下来的汇总:

词形建议总数查词义商业被别的实体劫持
本族造词13817(12%)3(2%)10(7%)
英语音译词1413(2%)2(1%)14(9%)

12% 对2%,六倍。

这个数字要怎么读?搜本族造词的人里,有相当一批不是要买东西,是在查这个词是什么意思。他们可能是学生在做作业,可能是看到官方文书上一个不认识的词回来查。

这不是坏事,但这类流量转化不了。你围绕这个词做的商品页,接住的是查词典的人。

加上价格修饰词之后,差距更大

光秃词的建议条数看不出多少东西,绝大多数词两边都能拉满十条。真正分得开的是加修饰词之后——我在每个词后面加了泰米尔语的“价格”,再跑一遍。

概念本族造词 + 价格音译词 + 价格
手机010
空调010
电视310
公交车410
电脑14
视频02
银行02
市场1010
16组合计1858

本族造词一共拉出18条带价格的长尾,音译词58条,3.2倍

逐词看更刺眼:手机和空调这两个纯电商品类,本族词是零。不是少,是零。你按官方推荐词建的表,在这两个品类上一条长尾都没有。

唯一打平的那一组说明了什么

16组里只有一组两边都是10条:சந்தை(市场)对 மார்க்கெட்。

为什么这一组不分裂?因为 சந்தை 不是造出来的新词,它是泰米尔语里本来就有的老词,指集市。它跟“视频”“电脑”那类词的区别是:没经历过“先有英语概念、再造一个本族词去对应”这个过程。

这就给出了一条筛选判据:本族词是老词还是新造词,决定了它在搜索里有没有商业意图。老词能用,新造词要留神。判断办法很土但管用——去查这个词在1950年之前的文献里有没有,或者直接看它的构词是不是明显的意译拼装。

那正文里到底该用哪个

我的结论是两个都用,但角色不同。

标题、H2、URL、结构化数据里的品类字段用音译词,因为那是用户会打进搜索框的那个词。正文第一次出现的时候两个都写一次,用括号带上另一个,让搜索引擎看见这两个词在同一个页面上共现。之后正文按目标市场的习惯选一个用到底。

这个做法有个额外好处:本族词那部分查词义的流量,你也接得住。搜“这个词什么意思”的人落到你的页面上,看到括号里的对照,问题当场解决了,顺带看到了你的商品。长尾问答类内容在AI时代还值不值得做那一篇算过这类流量的账,结论不是它没价值,是它的价值不在直接转化上。

怎么在自己的品类上把这套测量跑一遍

这套测量不复杂,任何人都能在自己的品类上重跑一遍,步骤是四步。

第一步,列出你品类里最核心的10到20个概念,每个概念找出本族词和音译词两种写法。找的办法不是查词典,是去目标市场的媒体站上搜这个概念,看正文里用的是哪个。

第二步,把这两套词分别丢进搜索建议,记下返回的条数和内容。别只看条数,要看内容——条数满十条不代表这些建议跟你的品类有关。

第三步,给每个词加上本地语言的价格、购买、在线这类修饰词,再跑一遍。这一步是分水岭,光秃词分不出来的东西,加了修饰词就分出来了。

第四步,把两套词的商业长尾条数拉个对比。差三倍以上的,直接按多的那一套建表;差一倍以内的,两套都要覆盖。

整套流程半天能跑完,不需要付费工具。它替代不了母语审校,但它能让你带着具体问题去找审校,而不是拿一份表问他对不对。

短音译词为什么反而更危险?

那个例子有点好笑

“电视”的音译词是 டிவி,就是TV两个字母的泰米尔文写法,两个字符。我拿它去跑搜索建议,返回的十条里没有一条跟电视机有关。

前四条是这样的:TVS踏板车新款、TVS踏板车价格、TVK家族、TVK卡片。TVS是印度一个摩托车品牌,TVK是泰米尔纳德一个政党的缩写。

这个查询词被两个更强的实体整个占了。你想做电视机品类,用这个词做锚,一条流量都拿不到,全被摩托车和政党分走了。

为什么短音译词特别容易出这事

音译进泰米尔文的英文缩写,长度会被压得很短。TV两个字母对应两个泰米尔字符,AC也是两个。而泰米尔文的字符信息密度比拉丁字母高,两个字符已经能构成很多别的词的词头。

结果就是:短音译词天然是一堆更长的词的前缀,而搜索建议按前缀匹配。谁的搜索量大谁占坑,你的品类词只要不是那个最大的,就看不见。

“空调”的音译词 ஏசி 也是同一个毛病,返回的第一条是 ஏசியன் 开头的油漆品牌。

怎么在起草前就发现这件事

办法很简单:把候选词丢进搜索建议,看返回的第一条是不是你要的东西。不是的话,这个词就不能单独用做锚,必须带修饰词。

这一步花不了五分钟,但省下来的是一整个品类页的白工。缩略语在小语种里的一般规律在首字母缩略语的本地形态与变格那一篇里拆过,那篇讲的是缩略语怎么变形,本文这一条讲的是变形之后撞车,是同一件事的下游。

被劫持的比例,两种词形差不多

回到那张汇总表:本族词被劫持7%,音译词9%,差别不大。所以这不是“音译词更容易被劫持”,是短词更容易被劫持,而音译词里短词更多。

本族造词那边被劫持的十条里,有一半来自“冰箱”这一组——那个本族词 குளிர்சாதனப்பெட்டி 长得离谱,反而是因为写法不统一(有的分写有的连写),建议把两种写法都算进去了。

这个细节顺带说明:长词的问题不是被劫持,是写法不统一。两种毛病,两套查法。

长音译词的毛病是另一种

短音译词被劫持,长音译词的问题反过来:太长了没人打全。

“电脑”的音译词 கம்ப்யூட்டர் 有九个字符,把computer一个音节不落地拼了出来。它在搜索建议里能拉满十条,但那十条里有一半是学科相关的问法,比如学计算机专业能找什么工作。真正的电脑品类长尾在本族词 கணினி 那边反而更集中。

这就构成了本文那个主结论的一个例外:音译词更有商业意图这条规律,在音译词特别长的时候会松动。长音译词打起来费劲,用户会退回到更短的那个词,哪怕它是造出来的。

判据是字符数。泰米尔文里超过六个字符的音译词,就要单独验一遍,别默认它比本族词强。这跟移动端输入成本是同一回事——键盘上多敲三下的成本,在低端机上比想象中大。

屏幕上的顺序和存储里的顺序为什么对不上?

三个写在辅音左边的元音符号

泰米尔文有三个元音附标是写在辅音左边的:ெ、ே、ை。但在Unicode的存储顺序里,它们排在辅音后面。

也就是说,你在屏幕上看到的是“元音符号 + 辅音”,字节流里是“辅音 + 元音符号”。排布引擎负责把它挪到左边显示,这是正确行为,不是bug。

四个市场实测:3.9% 到5.2%

我顺手在同一批语料上数了这三个符号占泰米尔字符的比例:

站点泰米尔字符左置附标占比
迪纳马拉(印度)180678294.5%
每日灯塔(印度)37861975.2%
BBC泰米尔(印度)126225494.3%
TamilWin(斯里兰卡)75683284.3%
泰米尔之鼓(新加坡)5339225404.7%
Makkal Osai(马来西亚)52322685.1%

四个市场、九个站点,全部落在3.9% 到5.2% 之间。这是本文里唯一一个跟市场完全无关的数字。

一个不变的常量,反而更有用

前面所有的数据都在讲分叉,这一条讲的是不分叉。它有用的地方在于:凡是跟这个比例挂钩的工程问题,四个市场是同一个答案,不用分开测。

具体是哪些问题?按字符数截断标题的时候,每20个泰米尔字符里大概有1个是这种左置附标,截断点落在它和它的辅音之间,屏幕上就会出现一个孤立的元音符号。导出PDF再抽文字层的时候,某些导出路径会把挪完位置的显示顺序当成存储顺序写回去,抽出来的字符串顺序就乱了——这件事在那页规格书在屏幕上是好好的泰语、机器复制走的是另一串字符那一篇里有一节专门拆过,泰米尔文和天城文都在里面。

还有一处容易漏:正则表达式按字符切的时候,这三个符号是独立字符,不是修饰符。你写一个“取前30个字符”的截断逻辑,在泰米尔文上切出来的可能是半个音节。

字素簇这件事在泰米尔文上要留神

接着上面那条常量再往下走一步:泰米尔文的一个视觉字符,在字节层面可能是两到三个码点。辅音加元音附标是最常见的组合,辅音加止符(消音符号)再接另一个辅音也很常见。

所以“这个标题有多少字”这个问题,在泰米尔文上至少有三个答案:多少字节、多少码点、多少字素簇。三个数能差出一倍。

需要按字素簇算的地方有三处:标题截断、输入框的字数限制、平台字段的额度。凡是给用户看的长度限制都要按字素簇算,凡是给存储用的额度都要按字节算,两者混用就会出现输入框显示还剩十个字、提交时报超长的情况。

平台字段那一层的账在平台给每个卖家的搜索词字段一样长那一篇里算过,那篇算的是日语,泰米尔文的膨胀率更高一些,因为它的常用字符在UTF-8里是三字节。

一份泰米尔语关键词表的建法

第一步不是翻译,是分市场抓语料

如果你从英文词表翻译起步,得到的会是一份混合体:译者按自己的习惯在两套词里挑,而他的习惯来自他成长的那个市场。你拿到的表看不出这一层,因为它长得很整齐。

正确的起步是抓语料,而且要分市场抓。目标市场是新加坡就抓新加坡的站,是印度就抓印度的站。每个市场至少凑到十万个泰米尔字符,做词频,再去跟译者讨论。

这套做法在关键词工具在小语种上没数据时的几种绕法那一篇里有完整流程,本文只补泰米尔语特有的一步:抓完之后先算借用字母密度,这个数能告诉你这批站属于规范一侧还是口语一侧。密度低于70的那批,词表偏规范;高于100的,偏口语。

两套词都进表,但字段不同

建议的分工是这样的。

位置用哪套词理由
标题、H2音译词用户打进搜索框的是这个
URL路径段音译词的拉丁转写本地字母URL的取舍另有一套账
结构化数据品类字段音译词跟标题保持一致
正文首次出现两个都写,括号并列让两个词在同一页共现
正文其余部分按目标市场选一个读起来要像本地人写的
面包屑、导航按目标市场选一个跟正文保持一致

URL那一行要多说一句。泰米尔文的URL用本地字母还是拉丁转写,是个独立决策,跟词形选择不是一回事,地址栏里写本地文字还是拉丁转写那一篇把利弊算过。本文的建议只是:无论选哪套,四个市场要统一,别新加坡站用一套印度站用另一套。

母语审校要问的三个问题

找母语审校的时候,光问“这个词对不对”会得到“都对”。要问得更具体。

第一个问题:你在哪个市场长大的、在哪个市场工作。这决定了他默认站在哪一侧。四个市场的人对同一份稿子的判断会不一样,这不是审校水平问题。

第二个问题:这个词你会写进给客户的邮件里,还是只会写进给同事的消息里。这个问题能把语域问出来,比问“正不正式”有效。

第三个问题:如果你要在网上买这个东西,你会打哪个词。注意问的是“打”不是“说”——很多人说的和打的不是一个词。

母语审校的验收流程另有一篇专门写过,那套清单在这门语言上照用,只需要在“审校来自哪个市场”这一格上多花点心思。

一张能贴在评审清单上的表

检查项做法不通过的表现
词表有没有分市场看表里有没有市场这一列只有一列词
本族词是老词还是新造词查它有没有明显的意译构词新造词被放进了标题字段
短音译词有没有被劫持丢进搜索建议看第一条返回的是别的品牌或机构
借用字母密度数那六个字母占比跟目标市场的媒体差一倍以上
截断逻辑按字素簇切还是按码点切标题末尾出现孤立元音符号
两个词有没有共现正文首次出现处检查整页只出现一套词

四个市场,先做哪一个

如果四个市场都在候选里,排期建议是这样的。

印度优先,理由不是人口,是语料最容易拿。这门语言的公开语料、媒体站、搜索数据,绝大部分产自印度。你在这个市场上建起来的方法论和工具链,能原样搬到另外三块。

新加坡第二,理由是它的规范最清晰,验收标准最容易定。这个市场做完,你手上会有一份偏规范的对照词表,回头能拿去校验另外三块。

斯里兰卡第三,两套词并行意味着容错高,前面两块的内容都能部分复用。

马来西亚最后,理由跟本文那次抓取失败是同一个:这个市场的泰米尔语内容基础设施最薄。薄有薄的好处——竞争对手的历史积累也薄,这一点跟上一批做缅甸语时的观察是同一条。但薄也意味着你连拿来做对照的语料都不好找。

这个排序跟按GDP或者按人均消费排出来的顺序不一样。做小语种排期,语料可得性是一个应该被写进表里的因素,而多数排期表上没有这一列。成本模型那篇算过一次性工程成本怎么摊,语料这一项属于同一类:它是前置投入,不是运营开销。

这套判断能搬到别的语言上吗?

先问这门语言有没有一个在造词的机构

泰米尔语这套分析之所以成立,前提是这门语言里存在一股有组织的造词力量,而且它造出来的词进了教科书但没进日常口语。

符合这个条件的语言不多,但也不算少。冰岛语是最典型的,它的造词机构历史更久、覆盖更全。法语在魁北克那一侧有类似的机制,法国本土的机构也造词但执行力弱得多。印度尼西亚语有官方的术语委员会,造出来的词和民间用的英语借词同样在打架。

判断办法:去查这门语言有没有一个官方或半官方的术语机构,以及它的产出有没有进入基础教育。有的话,你的词表就一定要按“规范词”和“口语词”两列建。

没有这类机构的语言,问题换一个形状

没有造词机构的语言,外来词一般直接借形或借音,不会出现两套并行的完整词表。那边的问题变成了另一个:借来的词要不要变格、要不要定性别、复数怎么加。

德语、荷兰语这类语言的麻烦全在这一层,品牌名进德语市场之前要先定它算公的还是母的那一篇拆的就是这个。两类语言的共同点是外来词处理不掉,区别在于处理的方式:一边是造个新词替掉它,一边是把它塞进语法框架里。

什么时候可以不管这件事

有一种情况可以简化:目标市场只有一个,而且你的品类是纯电商品类。

这种情况下直接用音译词建表,本族词只在正文里出现一次做对照就够了。前面那些分市场的功夫,是给同时做多个市场的人准备的。

但要注意一个例外:如果你的品类跟教育、政府采购、医疗这几个领域沾边,本族词的权重会上来,因为那些领域的文书本来就走规范一侧。品类决定了这两套词哪一套更重要,比市场决定的还多。

常见问题解答

泰米尔语和印度其他语言能不能共用一份关键词表?

不能。泰米尔语属于达罗毗荼语系,跟印地语、马拉地语这些印欧语系的语言没有亲缘关系,词汇、语法、书写系统全都不一样。唯一能共用的是流程和工具链,不是内容。印度十一门语言的成本怎么摊,按书写系统算比按语言算更准,这件事那篇印度多语言的文章里有完整的账。

为什么我的关键词工具查泰米尔语的搜索量总是很低?

两个原因叠在一起。一是工具在这门语言上的数据本来就稀,很多长尾会被记成零;二是你查的可能是本族造词那一套,而用户实际打的是音译词。先用搜索建议做一次交叉验证:把同一个概念的两套词都丢进去,看哪一套能拉出带修饰词的长尾,那一套才是有量的。

新加坡站和印度站的泰米尔语页面算不算重复内容?

用词真的分叉的情况下不算,因为正文实际上不一样。但如果你只是把同一份稿子换个域名发两遍,那就是重复内容,跟语言无关。稳妥的做法是把这两个市场当两份内容做,用hreflang按语言加地区标注,让引擎知道它们服务的是不同地区。地区级hreflang的写法属于架构层,跟这门语言是哪门语言没关系。

那六个借用字母要不要在词表里做归一化?

不要。它们是独立的合法字母,不是同一个字母的两种写法,归一化会把不同的词合并掉。真正需要归一化的是同一个外来词的多种拼法——那些是拼写变体,应该在同义词层处理,而不是在字符层。这两件事很容易混,判据是:换掉这个字符之后词的读音变不变,变了就是不同的词。

做泰米尔语市场必须找当地服务商吗?

不必须,但审校环节绕不过母语者,而且要挑对市场。抓语料、算词频、跑搜索建议这些活自己就能干,本文用到的全部数据都是用公开接口和普通抓取拿到的,没用任何付费工具。真正需要本地人的是最后那一步判断:这句话读起来像不像本地人写的。

斯里兰卡的泰米尔语要不要单独做一套内容?

看品类。斯里兰卡实测下来是两套词并行,所以那边对两种写法的容忍度最高,用印度那套或新加坡那套读者都能看懂。如果预算紧,斯里兰卡可以先复用印度的内容,只把几个高频品类词换成当地更常用的那个。但如果你的品类涉及本地服务、配送、售后,那还是得单独做,因为那些内容本来就跟地区绑死。

本文的数据能复现吗?

能。抓站部分是标准的HTTP请求加正则去标签,统计部分是按Unicode码点区间分类计数,搜索建议用的是公开的建议接口加地区参数。唯一的门槛是马来西亚那批站不好抓,本文也确实没抓到——这一段是失败记录,不是省略。

权威参考资料

分享到
标签
版权声明

本文标题:《泰米尔语官方推荐的那个词写进正文很体面,放进词表一条带价格的长尾都拉不出来》

本文链接:https://zhangwenbao.com/tamil-seo-native-coined-vs-loanword-keyword.html

版权声明:本文原创,转载与引用请注明作者与原文链接。许可协议: CC BY 4.0

继续阅读
发表评论
分享到微信 或在下方手动填写
支持 Ctrl + Enter 提交