方法说明
数据从何而来、多久更新一次,以及网站上每个数字是如何计算的。
数据来源
- 新闻:GDELT Project。一个开放数据库,每 15 分钟对全球网络媒体进行一次索引。我们接入两路数据:英文文章和翻译文章(约 65 种语言,由 GDELT 机器翻译),每天约 30 万篇。
- Telegram。按话题分类的公开频道,分阶段接入,首先接入俄语频道。
- 我们保存每篇文章的标题、链接、媒体、语言、日期和标注信息。我们不保存也不转载文章正文,只链接到原文。
更新频率
新文章发布后 15–20 分钟进入数据库。话题页和趋势页每几分钟重新计算一次,话题目录每小时更新一次。话题页展示最近 30 天的数据。
统计方法
- 每 10,000 篇文章中的提及量。每天的文章总量不同,因此我们以占比展示变化:当天每 10,000 篇文章中有多少篇与该话题相关。这样就不会把整体报道量的增长误认为话题本身的升温。
- 基调。GDELT 基于情感词典给出的评分,范围从 −10(非常负面)到 +10。新闻整体略偏负面属于正常;本站将低于 −1.5 标为“负面”,高于 +1 标为“正面”。
- 人物与机构。从文本中自动提取。当一周内至少有 25 家不同媒体报道某个人物或机构时,才会为其生成页面,以过滤偶然提及和把同一条新闻重复发布数百次的网站。
- 今日趋势。将过去 24 小时与前一周的日均值进行比较。只统计单日至少有 80 篇文章、25 家媒体报道的话题。
- 话题搜索。由语言模型理解任何语言的查询:纠正拼写错误,匹配已有的话题、人物或机构;对于新话题,则在主要语言中挑选用于匹配标题的关键词。如果找到的文章太少,关键词范围会自动扩大。
争议报道
针对每则报道,我们提炼出一个可核查的说法(如“制裁没有效果”),并标注每个来源的立场:支持、反对、中立报道或观点混合。标注由语言模型根据标题和导语完成,并抽样进行人工核查。卡片上的条形图显示持各立场的来源占比。我们不评判谁对谁错,只展示报道如何出现分歧,并附上来源链接,方便读者自行核实。
局限性
- GDELT 无法覆盖所有媒体:地方媒体和付费媒体的覆盖不如大型媒体。
- 机器翻译和自动人名提取会出错,尤其是在小语种和同名人物上。
- 基于词典的基调评分无法理解反讽和语境。
- 标有“演示数据”的模块用于展示功能效果,其中的数字仅作示意。
发现错误或想推荐话题?请联系我们。