Методология

Источники

• Новости — GDELT Project. Открытая база, которая каждые 15 минут индексирует онлайн-СМИ мира. Мы забираем два потока: англоязычный и переводной (около 65 языков, машинный перевод на стороне GDELT). Это примерно 300 тысяч статей в сутки.
• Telegram. Публичные каналы по темам. Подключается поэтапно, начиная с русскоязычных каналов.
• Мы храним заголовок, ссылку, издание, язык, дату и разметку статьи. Тексты статей не храним и не публикуем — только ссылаемся на оригинал.

Обновление

Новые статьи появляются в базе через 15–20 минут после публикации. Страницы тем и трендов пересчитываются каждые несколько минут, каталог тем — раз в час. История на страницах тем — последние 30 дней.

Как считаем

• Упоминания на 10 000 статей. Число статей в мире каждый день разное, поэтому динамику показываем как долю: сколько статей по теме приходится на 10 000 всех статей за день. Так рост темы не путается с ростом всего потока.
• Тон. Оценка GDELT по словарю эмоциональной лексики: от −10 (очень негативно) до +10. Для новостей нормально быть слегка в минусе; на сайте ниже −1,5 — «негативный», выше +1 — «позитивный».
• Персоны и организации. Извлекаются из текста автоматически. Страница появляется, когда о персоне или организации за неделю написали хотя бы 25 разных изданий: так отсекаются однодневные упоминания и сайты, которые повторяют одну новость сотни раз.
• Тренды дня. Сравниваем число статей за последние 24 часа со средним за предыдущую неделю. Учитываются темы минимум с 80 статьями и 25 изданиями за сутки.
• Поиск по теме. Если запрос не совпал с персоной или организацией, ищем его в заголовках статей. Пока поиск работает по заголовкам на языке оригинала, поэтому английский запрос находит больше.

Спорная подача

Для сюжета формулируем проверяемый тезис («Санкции не работают») и размечаем каждый источник: поддерживает тезис, опровергает, передаёт без оценки или смешанно. Разметку делает языковая модель по заголовку и лиду, часть выборочно проверяется вручную. Полоса на карточке — доли источников с каждой позицией. Мы не оцениваем, кто прав: показываем, как расходится подача, и даём ссылки, чтобы читатель проверил сам.

Ограничения

• GDELT видит не все издания: региональные и платные СМИ представлены хуже, чем крупные.
• Машинный перевод и автоматическое извлечение имён ошибаются — особенно с редкими языками и однофамильцами.
• Тон по словарю не понимает иронию и контекст.
• Блоки с пометкой «демо-данные» показывают, как будет выглядеть функция; цифры в них условные.

Нашли ошибку или хотите предложить тему — напишите нам.