Merge branch 'master' of code:cdsc_reddit

no longer do we need to get daily dumps

bugfix

Merge branch 'charliepatch' of code:cdsc_reddit into charliepatch

support passing in list of tfidf vectors.

Also lowercases included subreddits.

support passing in list of tfidf vectors.

Also lowercases included subreddits.

bugfix in weekly similarities

calculate some user-level attributes to detect bots

grid sweep selection for clustering hyperparameters

Merge branch 'master' of code:cdsc_reddit

Changes for cosine similarities on klone.

add code for pulling activity time series from parquet.

add included_subreddits parameter to cosine similarities.

Changes from hyak.

fix bug in viz.

add visualization for 10000 subreddits based on author-tf similarities.

Merge branch 'master' of code:cdsc_reddit

add cluster selection to visualization

remove nsfw subs from topN

Updating to support wang-style user overlaps.

Some improvements to run affinity clustering on larger dataset and
compute density.

Refactor and reorganze.

Add code for running tf-idf at the weekly level.

refactor visualization code.

Merge remote-tracking branch 'refs/remotes/origin/master' into master

git-annex in nathante@nate-x1:~/cdsc_reddit

git-annex in nathante@mox2.hyak.local:/gscratch/comdata/users/nathante/cdsc-reddit

Update code for clustering + tsne.

Update code for building simlarity matrices.

bugfix in completing tfidf similarity matrices.

increase learning rate.

increase iterations and perplectity and early_exaggeration

increase learning rate

Fix bug in tsne.

git-annex in nathante@mox2.hyak.local:/gscratch/comdata/users/nathante/cdsc-reddit

split fitting and plotting tsne.

Add file to plot related subreddits using tsne.

Bugfix (typo)

Reuse code for term and author cosine similarity.

Refactor tfidf code to for code resuse.

rename 'idf' files to 'tfidf'

Improvements to idf code

Merge branch 'master' of code:cdsc_reddit

add term_cosine_similarity.py

Add Cosine similarities to README.md

Update Readme.

Merge branch 'master' of code:cdsc_reddit into master

Create README.md

Update reddit comments data with daily dumps.

Compute IDF for terms and authors.

Update submissions to parse using the backfill queue.

bugfix in checking submission shas

Use multiword expressions in tf.

Finish generating multiword expressions.

Bugfix

Use groupby - joins instead of windows

renamte tf_comments part 2.

rename tf_reddit_comments.py step1.

Improve tokenization following data. Generate author counts.

improve tokenizer.

TF reddit comments.

code to sort tf

remove is_submitter field from submissions which doesn't exist.

Bugfixes in scripts.

clean up comments in streaming example.

update .gitignore

update examples with working streaming

Build comments dataset similarly to submissions and improve partitioning scheme

update .gitignore

Script for example of streaming pyarrow.

Script to demonstrate reading parquet.

Check the shas when we download dumps

Script to run both parts of submissions_2_parquet.sh

Cache before sorting so we don't extract twice.

Move the spark part of submissions_2_parquet to a separate script.

Fix whitespace at top of file.

Secondary sort for the by_author dataset should be CreatedAt.

Create a second dataset sorted by author.

Create parquet datasets of reddit submissions from pushshift.

Rename spark script to reflect that it is for comments.

update .gitignore

bugfix in retrieving old data and rename file.

Script for checking shas for submissions.

Bugfix: use timestamp types

Also change the canonical file path.

update the reddit comment dumps

Don't clobber old dumps so that we can just download the new ones.

script for getting submissions dumps from pushshift.

Extract variables from pushshift comment to parquet

A spark script