Merge pull request #20 from makoshark/master

bug fix: change to the correct working directory before running cron jobs

Merge pull request #18 from CommunityDataScienceCollective/dsaez_submodule

Add dsaez's submodule for crawling wikidata

updated script to ensure the correct working dir

made cronjobs executable

Merge branch 'master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into dsaez_submodule

Add dsaez's submodule for crawling wikidata

Merge pull request #17 from makoshark/master

changes to support historical view data

Merge pull request #16 from aaronshaw/master

renames files, adds an example analysis w small sample of revisions data

revisions to reflect updated example filename and clean comments in R code

changes to allow historical view data collection

- fix bug where it would fail if the first essay had no view data
- add ability to override dates in the cron script

updated to just write a single log file for each day

initial commit of revisions analysis example with output files

removing outdated file names

Merge pull request #15 from aaronshaw/master

renaming example analysis directories

renaming example analysis directories

Merge pull request #12 from makoshark/master

substantial changes to wikipedia fetching code

ignore __pycache__

fix bug in previous commit

forgot to import digobs module in the scraper script

cleaned up unnecessary files

use the type= feature in argparse

- integrated the type= feature in argparse in all three scripts
- removed some redundant code from the third file

Merge branch 'master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory

changes in response to code review by nate

- moved some common functions into files
- other smaller changes

Merge pull request #14 from aaronshaw/aaronshaw-master

pointing at updated data url, adding explicit NA handling to factor, …

pointing at updated data url, adding explicit NA handling to factor, cutting unnecessary call to ggplot2, and updated corresponding output from new data file. May not work while kibo urls are getting resolved

Merge branch 'master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory

tweaks to revision export code

- flags were not being exported (e.g., minor, anon)
- broke with hidden/deleted user names

fix bug in rev scraper script

Bug was a break, added for debugging, that caused the script to only
work for the first article.

change copy to move in cron scripts

Merge branch 'master' of github.com:makoshark/COVID-19_Digital_Observatory

add two small shellscripts for automation

- Added two bash scripts usable as cronjobs to automate the production
  of revisions and view data.

These commands automate the process of running code and copying material

address confusion with date

The timestamps in files should be the day that the exports are done. For
the view data, the query date needs to be the day before but this
shouldn't be the timestamp we use in files, etc.

fix bugs with the date stamps

Merge pull request #11 from jdfoote/master

Adding a tidyverse example (with very verbose comments)

fixed typo in debug message

Merge branch 'master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory

added gitignore for wikipedia/data directory

renamed the wikipedia_views module to wikipedia

added initial version of revision-scraper

Borrows much of the structure from the (patched) version of the
dailyview scraper.

fixed typo in description of view scraper

renamed daily views to make it clear that it's just enwiki

changes to a bunch of the wikipedia view code

- Renamed the articles.txt to something more specific

Changes to both scripts:

- Updated filenames to match the new standard
- Reworked the logging code so that it can write to stderr by
  default. Because we can only call logging.basicConfig() once, this
  eneded up being a bigger changes.
- Caused scripts to output git commits and export to track which code
  produced which dataset.
- Caused programs to take files instead of directories as
  output (allows us to run programs more than once a day).

Changes to the wikipedia_views/scripts/fetch_daily_views.py:

- Change output that it outputs a sequence of JSON dictionaries (one
  per line) as per the standard we agreed to and which is what
  Twitter, Github, and other dumps do. Previous behavior was to create
  output a single JSON list object.
- A number of other small changes and tweaks throughout.

Adding a tidyverse example (with very verbose comments)

add examples using the translations data

add documentation for the output files

create 'latest.csv' to link to the most recent output.

Merge branch 'master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory

update output

use 'item' instead of 'entity'

rename compile script

update compile script

Improve README.md for keywords

rename 'transliterations' to 'keywords'

Update README.md

linking to project pages more fully

Merge pull request #10 from makoshark/master

stop writing writing header to one-column list

stop writing writing header to one-column list

This feels like it's asking for trouble. Description of the contents
of the list is in the filename.

reorganize file structure

- move 'input' files to resources
- outputs not meant for downstream go in output/intermediate
- csv outputs for downstream go in output/csv

migrating to new directory structure

Merge pull request #7 from kayleachampion/master

cleanup with merge

all march data

adding a logs dir without adding my log files, assuming those don't
belong in repo

new version of this from scrape. no double quotes around articles any
more

adds a scraper to update the articles file

adds in new logging capability

Merge pull request #9 from aaronshaw/master

minimal analysis example with pageview data

minimal analysis example with pageview data

Merge pull request #8 from aaronshaw/master

Update to load data from github url and include 3/28 data in output

regenerated following update to R src that creates this file

Loading data directly from github URL. Commenting out commands that assume cloned repository.

Merge branch 'master' of https://github.com/CommunityDataScienceCollective/COVID-19_Digital_Observatory

Merge pull request #5 from kayleachampion/master

view data

Merge pull request #1 from CommunityDataScienceCollective/kaylea/master

Some suggested changes.

Merge branch 'kaylea/master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into kaylea/master

Merge branch 'kaylea/master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into kaylea/master

Merge branch 'kaylea/master' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into kaylea/master

Read the whole input file before making api calls

Read the whole input file before making api calls

Merge pull request #4 from CommunityDataScienceCollective/translations

Transliterations: Use data from google trends and wikidata to find transliterations.

Update transliteration results for 2020-03-28

- renamed results from yesterday into time stamped file

Read entire input files before making api calls.

This is nicer style to not hold onto resources for as long.
It will use a bit more memory.

Keep better track of time.

- Add timestamp ot transliterations output file.
- Append wikidata search terms instead of overwriting

Merge branch 'master' of https://github.com/CommunityDataScienceCollective/COVID-19_Digital_Observatory

updates my branch with all the master changes so far

trialing new approach

trialing new approach

typo fix

Merge branch 'translations' of github.com:CommunityDataScienceCollective/COVID-19_Digital_Observatory into translations

Merge pull request #6 from aaronshaw/translations

minimal example in R

a minimal example in R that outputs a table of top 5 related search terms per day per query

A few suggestions for the python script:

- using format strings (f-strings) is a nice way in python to build
strings using variables.
- you can read and process a file in one pass if you iterate over the
open file itself instead of reading it into a variable and then
looping
- i had to change your strip code when i stopped using csv reader
- my python linter and auto-formater hate non-indendent comments
- i added a few lines to print cases where we don't get Ok responses.

Reorganize wikipedia views subproject into subpackage.

add mwapi to requirements

all data

cleaning out commented code

reorganizes comments

initial files

makes TSV
makes JSON

many bug fixes

add output files from tranliteration search using google trends

expand wikidata search to get keywords from google trends

for testing

Merge pull request #3 from kayleachampion/master

adding in an article list