refactor similarities to use submodule.

update pushshift dumps.

lsi support for weekly similarities

Merge branch 'master' of code:cdsc_reddit into excise_reindex

Merge branch 'excise_reindex' of code:cdsc_reddit into excise_reindex

Updates to similarities code for smap project.

Merge branch 'master' of code:cdsc_reddit

Merge branch 'master' of code:cdsc_reddit into excise_reindex

update clustering scripts

Merge branch 'master' of code:cdsc_reddit

no longer do we need to get daily dumps

script for picking the best clustering given constraints

Merge branch 'excise_reindex' of code:cdsc_reddit into excise_reindex

support isolates in visualization

bug fix in affinity clustering

Merge remote-tracking branch 'origin/excise_reindex' into temp

add script for pulling cluster timeseries

Refactor to make a decent api.

refactor clustring in object oriented style

refactor clustering.py into method-specific files.

Remove 'exclude phrases' parameter.

Use Latent semantic indexing and hdbscan

reindex tfidf in memory instead of using spark

bugfix

Merge branch 'charliepatch' of code:cdsc_reddit into charliepatch

support passing in list of tfidf vectors.

Also lowercases included subreddits.

support passing in list of tfidf vectors.

Also lowercases included subreddits.

Merge branch 'master' of code:cdsc_reddit

version of weekly_cosine_similarities.py from klone

bugfix in weekly similarities

bugfixes in clustering selection.

calculate some user-level attributes to detect bots

grid sweep selection for clustering hyperparameters

Merge branch 'master' of code:cdsc_reddit

Changes for cosine similarities on klone.

export timeseries functions

add code for pulling activity time series from parquet.

add included_subreddits parameter to cosine similarities.

Changes from hyak.

fix bug in viz.

add visualization for 10000 subreddits based on author-tf similarities.

Merge branch 'master' of code:cdsc_reddit

add cluster selection to visualization

remove nsfw subs from topN

Updating to support wang-style user overlaps.

Some improvements to run affinity clustering on larger dataset and
compute density.

Refactor and reorganze.

Add code for running tf-idf at the weekly level.

refactor visualization code.

Merge remote-tracking branch 'refs/remotes/origin/master' into master

git-annex in nathante@nate-x1:~/cdsc_reddit

git-annex in nathante@mox2.hyak.local:/gscratch/comdata/users/nathante/cdsc-reddit

Update code for clustering + tsne.

Update code for building simlarity matrices.

bugfix in completing tfidf similarity matrices.

increase learning rate.

increase iterations and perplectity and early_exaggeration

increase learning rate

Fix bug in tsne.

git-annex in nathante@mox2.hyak.local:/gscratch/comdata/users/nathante/cdsc-reddit

split fitting and plotting tsne.

Add file to plot related subreddits using tsne.

Bugfix (typo)

Reuse code for term and author cosine similarity.

Refactor tfidf code to for code resuse.

rename 'idf' files to 'tfidf'

Improvements to idf code

Merge branch 'master' of code:cdsc_reddit

add term_cosine_similarity.py

Add Cosine similarities to README.md

Update Readme.

Merge branch 'master' of code:cdsc_reddit into master

Create README.md

Update reddit comments data with daily dumps.

Compute IDF for terms and authors.

Update submissions to parse using the backfill queue.

bugfix in checking submission shas

Use multiword expressions in tf.

Finish generating multiword expressions.

Bugfix

Use groupby - joins instead of windows

renamte tf_comments part 2.

rename tf_reddit_comments.py step1.

Improve tokenization following data. Generate author counts.

improve tokenizer.

TF reddit comments.

code to sort tf

remove is_submitter field from submissions which doesn't exist.

Bugfixes in scripts.

clean up comments in streaming example.

update .gitignore

update examples with working streaming

Build comments dataset similarly to submissions and improve partitioning scheme

update .gitignore

Script for example of streaming pyarrow.

Script to demonstrate reading parquet.

Check the shas when we download dumps

Script to run both parts of submissions_2_parquet.sh

Cache before sorting so we don't extract twice.

Move the spark part of submissions_2_parquet to a separate script.