adds a scraper to update the articles file

adds in new logging capability

Merge branch 'master' of https://github.com/CommunityDataScienceCollective/COVID-19_Digital_Observatory

Merge pull request #5 from kayleachampion/master

view data

Merge pull request #1 from CommunityDataScienceCollective/kaylea/master

Some suggested changes.

Merge branch 'kaylea/master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into kaylea/master

Merge branch 'kaylea/master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into kaylea/master

Merge branch 'kaylea/master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into kaylea/master

Read the whole input file before making api calls

Read the whole input file before making api calls

Merge pull request #4 from CommunityDataScienceCollective/translations

Transliterations: Use data from google trends and wikidata to find transliterations.

Update transliteration results for 2020-03-28

- renamed results from yesterday into time stamped file

Read entire input files before making api calls.

This is nicer style to not hold onto resources for as long.
It will use a bit more memory.

Keep better track of time.

- Add timestamp ot transliterations output file.
- Append wikidata search terms instead of overwriting

Merge branch 'master' of https://github.com/CommunityDataScienceCollective/COVID-19_Digital_Observatory

updates my branch with all the master changes so far

trialing new approach

trialing new approach

typo fix

Merge branch 'translations' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into translations

Merge pull request #6 from aaronshaw/translations

minimal example in R

a minimal example in R that outputs a table of top 5 related search terms per day per query

A few suggestions for the python script:

- using format strings (f-strings) is a nice way in python to build
strings using variables.
- you can read and process a file in one pass if you iterate over the
open file itself instead of reading it into a variable and then
looping
- i had to change your strip code when i stopped using csv reader
- my python linter and auto-formater hate non-indendent comments
- i added a few lines to print cases where we don't get Ok responses.

Reorganize wikipedia views subproject into subpackage.

add mwapi to requirements

all data

cleaning out commented code

reorganizes comments

initial files

makes TSV
makes JSON

many bug fixes

add output files from tranliteration search using google trends

expand wikidata search to get keywords from google trends

for testing

Merge pull request #3 from kayleachampion/master

adding in an article list

new file -- list of article names

start keeping track of installation requirements

update output using limited base terms list

shell script to run the whoe process

narrow base terms

Merge pull request #2 from aaronshaw/patch-1

Update base_terms.txt

Update base_terms.txt

typo fix

Finish MVP for transliterations

code is reasonably well-written
checked that we get seemingly good data back
adding README
adding data

Untested code to get labels from wikidata in all languages.

Python code to find wikidata entities to translate.  Here we search the api for entities that have covid keywords.

Building system for finding translations from Wikidata.

Merge pull request #1 from kayleachampion/patch-1

Update README.md

Update README.md

some language nicing and adding in immediacy goal

Update README.md

language nicing

add code of conduct and elaborate description

Initial commit