keywords/README.md

   1 # Keywords
   2
   3 This code finds trending web searches related to the COVID-19 pandemic using Google trends (`collect_trends.py`). It then searches for relevant keywords on Wikidata (`wikidata_search`) in order to find high-quality translations of important words and phrases (`wikidata_translations.py`). The goal is to support efforts expanding the Observatory to information in many languages beyond English.
   4
   5 We search the Wikidata API for entities in `src/wikidata_search.py` and then we make simple SPARQL queries in `src/wikidata_translations.py` to collect labels and aliases the entities.  The labels come with language metadata.  This seems to provide a decent initial list of relevant terms across multiple languages.
   6
   7 The output data lives at [covid19.communitydata.science](https://covid19.communitydata.science/datasets/keywords).
   8
   9 The output files have 4 colums:
  10
  11 - `itemid` links to the wikidata entity
  12 - `label` is the translation of the relevant keyword
  13 - `langcode` is the [iso 639-1](https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes) code corresponding the language of the label.
  14 - `is_alt` indicates whether the label is an [alias](https://www.wikidata.org/wiki/Help:Aliases).