git-annex in nathante@mox2.hyak.local:/gscratch/comdata/users/nathante/cdsc-reddit

Update code for clustering + tsne.

Update code for building simlarity matrices.

bugfix in completing tfidf similarity matrices.

increase learning rate.

increase iterations and perplectity and early_exaggeration

increase learning rate

Fix bug in tsne.

git-annex in nathante@mox2.hyak.local:/gscratch/comdata/users/nathante/cdsc-reddit

split fitting and plotting tsne.

Add file to plot related subreddits using tsne.

Bugfix (typo)

Reuse code for term and author cosine similarity.

Refactor tfidf code to for code resuse.

rename 'idf' files to 'tfidf'

Improvements to idf code

Merge branch 'master' of code:cdsc_reddit

add term_cosine_similarity.py

Add Cosine similarities to README.md

Update Readme.

Merge branch 'master' of code:cdsc_reddit into master

Create README.md

Update reddit comments data with daily dumps.

Compute IDF for terms and authors.

Update submissions to parse using the backfill queue.

bugfix in checking submission shas

Use multiword expressions in tf.

Finish generating multiword expressions.

Bugfix

Use groupby - joins instead of windows

renamte tf_comments part 2.

rename tf_reddit_comments.py step1.

Improve tokenization following data. Generate author counts.

improve tokenizer.

TF reddit comments.

code to sort tf

remove is_submitter field from submissions which doesn't exist.

Bugfixes in scripts.

clean up comments in streaming example.

update .gitignore

update examples with working streaming

Build comments dataset similarly to submissions and improve partitioning scheme

update .gitignore

Script for example of streaming pyarrow.

Script to demonstrate reading parquet.

Check the shas when we download dumps

Script to run both parts of submissions_2_parquet.sh

Cache before sorting so we don't extract twice.

Move the spark part of submissions_2_parquet to a separate script.

Fix whitespace at top of file.

Secondary sort for the by_author dataset should be CreatedAt.

Create a second dataset sorted by author.

Create parquet datasets of reddit submissions from pushshift.

Rename spark script to reflect that it is for comments.

update .gitignore

bugfix in retrieving old data and rename file.

Script for checking shas for submissions.

Bugfix: use timestamp types

Also change the canonical file path.

update the reddit comment dumps

Don't clobber old dumps so that we can just download the new ones.

script for getting submissions dumps from pushshift.

Extract variables from pushshift comment to parquet

A spark script