write regex captures to parquet arrays.

add a minor comment on the source of the redirect regex

resolve redirects if siteinfo is provided

bugfix. column name text_chars

[Bugfix] Call the correct matchmake function.

rename matchmake functions

Add some descriptive comments.

add todos to readme

fix bugs and unit tests

bugfix

parquet path is code-complete

remove dependency on pandas.

use dataclasses and pyarrow for types.

initial work on parquet support

remove commented code

refactor regex matching in a tidier object oriented style

validate tests and add asserts and baselines for regex tests.

added regex scanner v2's dump unit test file regextest.xml.bz2

merging pull containing revert-radius with 2nd version of regex scanner w/ unit tests

add unit tests for configuring revert_radius

make revert radius configurable

Merge branch 'master' into regex_scanner

update baseline outputs

bugfix, remove old legacy persistence flag

changes for regex scanner addition

edont compute persistence by default

elaborate docstring for persistence

improve help for namespace-include

sub assertEquals assertEqual

add namespace filter parameter

Merge branch 'advanced_persistence' of code.communitydata.cc:mediawiki_dump_tools into advanced_persistence

Add parameter for selecting specific namespaces.

Merge branch 'advanced_persistence' of code.communitydata.cc:mediawiki_dump_tools into advanced_persistence

Merge branch 'advanced_persistence' of code.communitydata.cc:/mediawiki_dump_tools into advanced_persistence

add namespace filter parameter

Merge branch 'advanced_persistence' of code.communitydata.cc:/mediawiki_dump_tools into advanced_persistence

add namespace filter parameter

add namespace filter parameter

add support for persistence with segment matching

Prefix page titles with namespace names.

migrate to mwxml. This completes the migration away from python-mediawiki-utilities. Except for preserving legacy persistence behavior, we can safely use the nice updates from the mediawiki-utils project.

migrate to mwpersistence. this fixes many issues. We preserve legacy persistence behavior using the --persistence-legacy.

migrate reverts to python-mwreverts

add note to readme about dependency on compression software

add tests for wikipedia, malformed xml, bzip2, correct bz2 bug in wikiq.

create baseline tests for xml dump processing

a number of small updates and fixes

- fix regex for filename/filetype matches
- unload all files not just ones with end with xml in 7z archives
- fix bug that broke stdout
- minor cosmetic fixes
- updated mediawiki-utilities submodule to latest version

support 7z archives with multiple files. add urlencode paraeter

fix code to work with bzip files

added list of compressed dump files to .gitignore

added support to parse namespaces from title

This is necessary for wikis (e.g., Wikia XML dumps) that do not include
namespace metadata as tags within each <page>.

added README file to document the submodule

created new repository for wikiq with Mediawiki-Utilities as a submodule