Improve tokenization following data. Generate author counts.

improve tokenizer.

TF reddit comments.

code to sort tf

remove is_submitter field from submissions which doesn't exist.

Bugfixes in scripts.

clean up comments in streaming example.

update .gitignore

update examples with working streaming

Build comments dataset similarly to submissions and improve partitioning scheme

update .gitignore

Script for example of streaming pyarrow.

Script to demonstrate reading parquet.

Check the shas when we download dumps

Script to run both parts of submissions_2_parquet.sh

Cache before sorting so we don't extract twice.

Move the spark part of submissions_2_parquet to a separate script.

Fix whitespace at top of file.

Secondary sort for the by_author dataset should be CreatedAt.

Create a second dataset sorted by author.

Create parquet datasets of reddit submissions from pushshift.

Rename spark script to reflect that it is for comments.

update .gitignore

bugfix in retrieving old data and rename file.

Script for checking shas for submissions.

Bugfix: use timestamp types

Also change the canonical file path.

update the reddit comment dumps

Don't clobber old dumps so that we can just download the new ones.

script for getting submissions dumps from pushshift.

Extract variables from pushshift comment to parquet

A spark script