wikipedia/scripts/fetch_enwiki_revisions.py

   1 #!/usr/bin/env python3
   2
   3 ###############################################################################
   4 #
   5 # This script assumes the presence of the COVID-19 repo.
   6 #
   7 # It (1) reads in the article list and then (2) calls the Wikimedia API to
   8 # fetch view information for each article. Output is to (3) JSON and TSV.
   9 #
  10 ###############################################################################
  11
  12 import argparse
  13 import logging
  14 import os.path
  15 import json
  16 import datetime
  17
  18 from requests import Request
  19 from csv import DictWriter
  20 from mw import api
  21 import digobs
  22
  23
  24 def parse_args():
  25
  26     parser = argparse.ArgumentParser(description='Call the views API to collect Wikipedia revision data.')
  27     parser.add_argument('-o', '--output_folder', help='Where to save output', default="wikipedia/data", type=str)
  28     parser.add_argument('-i', '--article_file', help='File listing article names', default="wikipedia/resources/enwp_wikiproject_covid19_articles.txt", type=str)
  29     parser.add_argument('-L', '--logging_level', help='Logging level. Options are debug, info, warning, error, critical. Default: info.', default='info', type=digobs.get_loglevel),
  30     parser.add_argument('-W', '--logging_destination', help='Logging destination file. (default: standard error)', type=str),
  31     args = parser.parse_args()
  32     return(args)
  33
  34 def main():
  35     args = parse_args()
  36
  37     output_path = args.output_folder
  38     article_filename = args.article_file
  39
  40     #handle -W
  41     if args.logging_destination:
  42         logging.basicConfig(filename=args.logging_destination, filemode='a', level=args.logging_level)
  43     else:
  44         logging.basicConfig(level=args.logging_level)
  45
  46     export_time = str(datetime.datetime.now())
  47     export_date = datetime.datetime.today().strftime("%Y%m%d")
  48
  49     logging.info(f"Starting run at {export_time}")
  50     logging.info(f"Last commit: {digobs.git_hash()}")
  51
  52     json_output_filename = os.path.join(output_path, f"digobs_covid19-wikipedia-enwiki_revisions-{export_date}.json")
  53     tsv_output_filename =  os.path.join(output_path, f"digobs_covid19-wikipedia-enwiki_revisions-{export_date}.tsv")
  54
  55     api_session = api.Session("https://en.wikipedia.org/w/api.php")
  56
  57     # list of properties from the API we want to gather (basically all of
  58     # them supported by mediawik-utilities)
  59
  60     rv_props =  {'revid' : 'ids',
  61                  'timestamp' : 'timestamp',
  62                  'user' : 'user',
  63                  'userid' : 'userid',
  64                  'size' : 'size',
  65                  'sha1' : 'sha1',
  66                  'contentmodel' : 'contentmodel',
  67                  'tags' : 'tags',
  68                  'flags' : 'flags',
  69                  'comment' : 'comment',
  70                  'content' : 'content' }
  71
  72     exclude_from_tsv = ['tags', 'comment', 'content', 'flags']
  73
  74     # load the list of articles
  75     with open(article_filename, 'r') as infile:
  76         article_list= list(map(str.strip, infile))
  77
  78     def get_revisions_for_page(title):
  79         return api_session.revisions.query(properties=rv_props.values(),
  80                                            titles={title},
  81                                            direction="newer")
  82
  83     tsv_fields = ['title', 'pageid', 'namespace']
  84     tsv_fields = tsv_fields + list(rv_props.keys())
  85
  86     # drop fields that we identified for exclusion
  87     tsv_fields = [e for e in tsv_fields if e not in exclude_from_tsv]
  88
  89     # add special export fields
  90     tsv_fields = tsv_fields + ['anon', 'minor', 'url', 'export_timestamp', 'export_commit']
  91
  92     export_info = { 'git_commit' : digobs.git_hash(),
  93                     'timestamp' : export_time }
  94
  95     with open(json_output_filename, 'w') as json_output, \
  96          open(tsv_output_filename, 'w') as tsv_output:
  97
  98         tsv_writer = DictWriter(tsv_output, fieldnames=tsv_fields, delimiter="\t")
  99         tsv_writer.writeheader()
 100
 101         for article in article_list:
 102             logging.info(f"pulling revisions for: {article}")
 103             for rev in get_revisions_for_page(article):
 104                 logging.debug(f"processing raw revision: {rev}")
 105
 106                 # add export metadata
 107                 rev['exported'] = export_info
 108
 109                 # save the json version of the code
 110                 print(json.dumps(rev), file=json_output)
 111
 112                 # handle missing data
 113                 if "sha1" not in rev:
 114                     rev["sha1"] = ""
 115
 116                 if "userhidden" in rev:
 117                     rev["user"] = ""
 118                     rev["userid"] = ""
 119
 120                 # recode anon so it's true or false instead of present/missing
 121                 if "anon" in rev:
 122                     rev["anon"] = True
 123                 else:
 124                     rev["anon"] = False
 125
 126                 # let's recode "minor" in the same way
 127                 if "minor" in rev:
 128                     rev["minor"] = True
 129                 else:
 130                     rev["minor"] = False
 131
 132                 # add page title information
 133                 rev['title'] = rev['page']['title']
 134                 rev['pageid'] = rev['page']['pageid']
 135                 rev['namespace'] = rev['page']['ns']
 136
 137                 # construct a URL
 138                 rev['url'] = Request('GET', 'https://en.wikipedia.org/w/index.php',
 139                                      params={'title' : rev['title'].replace(" ", "_"),
 140                                             'oldid' : rev['revid']}).prepare().url
 141
 142                 rev['export_timestamp'] = export_time
 143                 rev['export_commit'] = digobs.git_hash(short=True)
 144
 145                 tsv_writer.writerow({k: rev[k] for k in tsv_fields})
 146
 147 if __name__ == "__main__":
 148     main()