mirada

GDELT 是什么?全球最大开放新闻数据库实用指南(2026)

用通俗的语言解释 GDELT:它收集哪些数据、多久更新一次、如何免费查询(DOC API、BigQuery),以及数据有哪些局限。

Mirada · · 3 分钟阅读

GDELT(Global Database of Events, Language and Tone,全球事件、语言与基调数据库)是一个开放项目,全天候以 100 多种语言读取全球网络新闻,并将其转化为结构化数据:提到了谁、在哪里、关于什么、基调如何。它免费、每 15 分钟更新一次,是迄今规模最大的开放新闻数据集之一。

本文介绍 GDELT 里有什么、如何几乎不写代码就能使用它,以及它可能在哪些地方误导你。我们每天都在使用 GDELT:Mirada 上的每一个数字都源于它。

一段话了解 GDELT

GDELT 由数据科学家 Kalev Leetaru 创建,当前版本(GDELT 2.0)自 2015 年起运行。它每 15 分钟从全球数万个新闻网站收集新发布的文章,将 65 种语言的文章机器翻译成英文,并从每篇文章中提取人物、机构、地点、主题和情感基调。结果以开放文件和免费 API 的形式发布。

里面有哪些数据

GDELT 不是一张表,而是几个相互关联的数据集:

  • GKG(全球知识图谱):每篇文章一条记录,包括链接、媒体、日期、提到的人物、机构和地点、主题(如“抗议”或“经济”)以及基调评分。人们通常所说的“GDELT 数据”主要指它。
  • Events(事件):按 CAMEO 编码体系记录“谁对谁做了什么”(例如一国政府威胁另一国政府),并带有地点信息。历史事件数据可追溯至 1979 年。
  • Mentions(提及):每当有新文章提到某个事件就记录一次,可用来衡量事件获得的关注度。
  • 专项数据集:电视新闻字幕(TV API)、报道地理分布(GEO API)等。

更新频率与数据规模

新文件每 15 分钟发布一次。GDELT 一天通常处理数十万篇文章;在 Mirada 上,经过过滤后我们每天看到约 30 万篇文章,来自约 1.1 万家媒体。文章发布 15–20 分钟后即可被统计。

上面的卡片由 GDELT 实时数据生成:显示近 30 天关于乌克兰战争的文章数量,以及本周报道量的变化。

不写代码如何使用 GDELT

探索 GDELT 最快的方式是使用基于它构建的工具:

  1. Mirada:在搜索框输入任意话题、人物或国家,即可获得现成页面:每日文章数、国家、语言、媒体、基调和最新标题,支持四种语言。无需设置,无需 SQL。
  2. GDELT 自带的检索工具:项目提供新闻和电视报道的网页检索界面,功能强大,但主要面向研究人员。
  3. 电子表格:下文介绍的 DOC API 可返回 CSV,因此可以在 Google 表格中用 IMPORTDATA 直接导入查询链接。

DOC API:在浏览器里免费查询

DOC 2.0 API 可检索最近三个月的报道,返回文章列表或时间序列。把下面的链接粘贴到浏览器中:

https://api.gdeltproject.org/api/v2/doc/doc?query=%22climate%20change%22&mode=timelinevol&format=json&timespan=30d

常用参数:

  • query:关键词、带引号的短语,以及 sourcecountry:、sourcelang:、domain:、tone<-5 等过滤条件;
  • mode:artlist(文章列表)、timelinevol(报道占比随时间变化)、timelinetone(平均基调)、tonechart;
  • timespan:例如 24h、7d、30d,最长约三个月;
  • format:json、csv 或 html。

API 有频率限制,适合轻量使用。大规模分析请使用 BigQuery 或原始文件。

BigQuery 与原始文件:完整档案

如需大规模研究,GDELT 在 Google BigQuery 上有镜像(公共数据集 gdelt-bq)。下面的查询按天统计提到某人的文章数:

SELECT DATE(_PARTITIONTIME) AS day, COUNT(*) AS articles
FROM `gdelt-bq.gdeltv2.gkg_partitioned`
WHERE _PARTITIONTIME >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
  AND V2Persons LIKE '%elon musk%'
GROUP BY day ORDER BY day

BigQuery 按扫描的数据量计费,因此务必按分区日期过滤。15 分钟一次的原始 CSV 文件也可免费下载,Mirada 正是将这些文件导入自己的数据库。

基调是如何计算的

每篇文章都会根据情感词典获得一个基调评分:正面词汇使分数上升,负面词汇使分数下降。分数通常在 −10 到 +10 之间;由于冲突、犯罪和灾难在新闻中占主导,大多数新闻略偏负面。基调适合用于比较——不同国家、媒体或时间段之间——而不适合作为对单篇文章的绝对判断。详见我们的新闻情感分析指南。

需要了解的局限

  • 覆盖不均衡。大型国际媒体覆盖较好,小型地方媒体和付费媒体覆盖较少。
  • 机器翻译和实体提取会出错,尤其是小语种、音译人名和同名人物。常见把图片署名误识别为人名之类的碎片。
  • 重复内容。同一篇通讯社稿件被数百个网站转载,如果不按独立媒体去重,统计数字会被夸大。Mirada 只有在一周内至少有 25 家不同媒体报道某人时,才会为其生成页面。
  • 只有标题,没有全文。GDELT 提供元数据和链接,而不是文章本身。

常见问题

GDELT 免费吗?

免费。数据、原始文件和 API 都免费。查询 BigQuery 镜像超出 Google 每月免费额度后需要付费。

数据可以追溯到什么时候?

事件数据可追溯到 1979 年;文章级的全球知识图谱始于 2015 年。

GDELT 包含社交媒体吗?

基本不包含:它主要关注新闻网站和电视字幕。Mirada 额外接入了公开的 Telegram 频道。

查看某个话题的 GDELT 数据最简单的方法是什么?

在 Mirada 上搜索该话题:你会看到包含图表、国家分布、基调和最新文章的页面,每 15 分钟更新一次。

每周为你汇总所关注话题的要点

无需注册。选择一个话题,每周一我们会发送变化要点、争议报道和数据。

Telegram

延伸阅读