Create a second dataset sorted by author.

Create parquet datasets of reddit submissions from pushshift.

Rename spark script to reflect that it is for comments.

update .gitignore

bugfix in retrieving old data and rename file.

Script for checking shas for submissions.

Bugfix: use timestamp types

Also change the canonical file path.

update the reddit comment dumps

Don't clobber old dumps so that we can just download the new ones.

script for getting submissions dumps from pushshift.

Extract variables from pushshift comment to parquet

A spark script