]> code.communitydata.science - covid19.git/blob - keywords/README.md
Merge branch 'master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_O...
[covid19.git] / keywords / README.md
1 # Keywords
2
3 This code finds trending web searches related to the COVID-19 pandemic using Google trends (`collect_trends.py`). It then searches for relevant keywords on Wikidata (`wikidata_search`) in order to find high-quality translations of important words and phrases (`wikidata_translations.py`). The goal is to support efforts expanding the Observatory to information in many languages beyond English.  
4
5 We search the Wikidata API for entities in `src/wikidata_search.py` and then we make simple SPARQL queries in `src/wikidata_translations.py` to collect labels and aliases the entities.  The labels come with language metadata.  This seems to provide a decent initial list of relevant terms across multiple languages. 
6
7 The output data lives at [covid19.communitydata.science](https://covid19.communitydata.science/datasets/keywords).
8
9 The output files have 4 colums: 
10
11 - `itemid` links to the wikidata entity
12 - `label` is the translation of the relevant keyword
13 - `langcode` is the [iso 639-1](https://en.wikipedia.org/wiki/List_of_ISO_639-1_codes) code corresponding the language of the label. 
14 - `is_alt` indicates whether the label is an [alias](https://www.wikidata.org/wiki/Help:Aliases).

Community Data Science Collective || Want to submit a patch?