code review.

fix because pandas testing API has changed

rename variables to be more consistent

I changed regex_match_revision to be regex_revision_match so that it matches
the way that the other revisions are named so that they are all of the form:
regex_<thing_being_matched_again>_<variable>

I made the same change for comments.

added counting functionality to regex code

The regex code has historically returned the actual matched patterns and the
named capture groups within regexes.  When trying to count common and/or large
patterns, this leads to very large outputs.

I've added two new functions -RPc and -CPc that will cause wikiq to return
counts of each pattern (0 when there are no matches). The options apply to all
comment or revision patterns. I considered interfaces to make it possible to do
some but others but concluded this would be too complicated an interface.

This code should be checked before it's merged.

updated README file

- added information on Python dependencies
- wrapped lines in a previous paragraph (no changes)

make sure that content is defined before testing for search patterns

This appears to have been causing a bug with comments/text that were deleted.
Kaylea fixed and I adapated the code.

added a line to fix persistence with deleted revs

kaylea realized that we need to initialize the old_rev_data dictionary or it
fails when the first revision to a page is deleted. This patch is from kaylea
and modified by mako.

remove commented code

refactor regex matching in a tidier object oriented style

validate tests and add asserts and baselines for regex tests.

added regex scanner v2's dump unit test file regextest.xml.bz2

merging pull containing revert-radius with 2nd version of regex scanner w/ unit tests

add unit tests for configuring revert_radius

make revert radius configurable

Merge branch 'master' into regex_scanner

update baseline outputs

bugfix, remove old legacy persistence flag

changes for regex scanner addition

edont compute persistence by default

elaborate docstring for persistence

improve help for namespace-include

sub assertEquals assertEqual

add namespace filter parameter

Merge branch 'advanced_persistence' of code.communitydata.cc:mediawiki_dump_tools into advanced_persistence

Add parameter for selecting specific namespaces.

Merge branch 'advanced_persistence' of code.communitydata.cc:mediawiki_dump_tools into advanced_persistence

Merge branch 'advanced_persistence' of code.communitydata.cc:/mediawiki_dump_tools into advanced_persistence

add namespace filter parameter

Merge branch 'advanced_persistence' of code.communitydata.cc:/mediawiki_dump_tools into advanced_persistence

add namespace filter parameter

add namespace filter parameter

add support for persistence with segment matching

Prefix page titles with namespace names.

migrate to mwxml. This completes the migration away from python-mediawiki-utilities. Except for preserving legacy persistence behavior, we can safely use the nice updates from the mediawiki-utils project.

migrate to mwpersistence. this fixes many issues. We preserve legacy persistence behavior using the --persistence-legacy.

migrate reverts to python-mwreverts

add note to readme about dependency on compression software

add tests for wikipedia, malformed xml, bzip2, correct bz2 bug in wikiq.

create baseline tests for xml dump processing

a number of small updates and fixes

- fix regex for filename/filetype matches
- unload all files not just ones with end with xml in 7z archives
- fix bug that broke stdout
- minor cosmetic fixes
- updated mediawiki-utilities submodule to latest version

support 7z archives with multiple files. add urlencode paraeter

fix code to work with bzip files

added list of compressed dump files to .gitignore

added support to parse namespaces from title

This is necessary for wikis (e.g., Wikia XML dumps) that do not include
namespace metadata as tags within each <page>.

added README file to document the submodule

created new repository for wikiq with Mediawiki-Utilities as a submodule