]> code.communitydata.science - mediawiki_dump_tools.git/blobdiff - README.rst
Merge branch 'parquet_support' of code:mediawiki_dump_tools into parquet_support
[mediawiki_dump_tools.git] / README.rst
index 111728ca7ef5e8695c91cab4b8cad17e8eb4e52d..b9e5f0a480884f788c10b993e3944f1b759ad0ed 100644 (file)
@@ -7,3 +7,13 @@ submodule like::
 
   git submodule init
   git submodule update
+
+
+Wikimedia dumps are usually in a compressed format such as 7z (most common), gz, or bz2. Wikiq uses your computer's compression software to read these files. Therefore wikiq depends on
+`7za`, `gzcat`, and `zcat`. 
+
+
+TODO:
+_______________
+1. [] Output metadata about the run. What parameters were used? What versions of deltas?
+2. [] Url encoding by default

Community Data Science Collective || Want to submit a patch?