]> code.communitydata.science - wikia_userroles_scraper.git/commitdiff
add copyright notice
authorgroceryheist <nathante@uw.edu>
Sat, 2 Jun 2018 21:56:49 +0000 (14:56 -0700)
committergroceryheist <nathante@uw.edu>
Sat, 2 Jun 2018 21:56:49 +0000 (14:56 -0700)
scrape_list.sh
scrape_log.sh
scraper_utils.py
setup.py
userroles_from_listusers.py
userroles_from_logevents.py

index 4df2a8834066311715ae380a2f8d561f2f443c21..ada076e3b2a2dfb2375294b130c47c825c691301 100755 (executable)
@@ -1,5 +1,13 @@
 #!/usr/bin/env bash
 
 #!/usr/bin/env bash
 
+# Run userroles_from_listusers.py
+# Copyright (C) 2018  Nathan TeBlunthuis
+
+# This program is free software: you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation, either version 3 of the License, or
+# (at your option) any later version.
+
 # you specify a csv file that has a list of wikis
 wikilist=example/wikiList.csv
 
 # you specify a csv file that has a list of wikis
 wikilist=example/wikiList.csv
 
index a9178beb31bc15a3c09d4364863e7f3bf7fc6402..675ba3ed13cd6af1a2a4abc0eae218446e2de989 100755 (executable)
@@ -1,5 +1,13 @@
 #!/usr/bin/env bash
 
 #!/usr/bin/env bash
 
+# Run userroles_from_logevents.py
+# Copyright (C) 2018  Nathan TeBlunthuis
+
+# This program is free software: you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation, either version 3 of the License, or
+# (at your option) any later version.
+
 # you specify a csv file that has a list of wikis
 wikilist=example/wikiList.csv
 
 # you specify a csv file that has a list of wikis
 wikilist=example/wikiList.csv
 
index 0844b0bb7b5ff271e649cc68c196d22294f18e72..76016e37da8c4df23f722a4413c2c397e033a2b0 100644 (file)
@@ -1,3 +1,11 @@
+# Functions common to both scrapers
+# Copyright (C) 2018  Nathan TeBlunthuis
+
+# This program is free software: you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation, either version 3 of the License, or
+# (at your option) any later version.
+
 # returns an iterator of wiki,url tuples
 import pandas as pd
 from os import makedirs, path
 # returns an iterator of wiki,url tuples
 import pandas as pd
 from os import makedirs, path
index fd1f81ed6c0bbf4e68cbc5ec709e744747441519..5ca888fa6c7c056929d8421bd489a0c85230cf3a 100755 (executable)
--- a/setup.py
+++ b/setup.py
@@ -1,3 +1,12 @@
+# configuration for the python package
+# Copyright (C) 2018  Nathan TeBlunthuis
+
+# This program is free software: you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation, either version 3 of the License, or
+# (at your option) any later version.
+
+
 #!/usr/bin/env python3
 from setuptools import setup
 
 #!/usr/bin/env python3
 from setuptools import setup
 
index 8a46728b763f4dde04e841700d9b7589a50c586f..3378d282c210f21302c73203d47725b9ca5e7ff1 100755 (executable)
@@ -1,4 +1,13 @@
 #!/usr/bin/env python3
 #!/usr/bin/env python3
+
+# Scrape the Wikia userroles api
+# Copyright (C) 2018  Nathan TeBlunthuis
+
+# This program is free software: you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation, either version 3 of the License, or
+# (at your option) any later version.
+
 import argparse
 import csv
 import json
 import argparse
 import csv
 import json
index 9af87d41fb0479d42d7d3327a31099d23ef4e90f..8c28cc3c5df24ecbaa2f47150b5e7416bde94e27 100755 (executable)
@@ -1,4 +1,14 @@
 #!/usr/bin/env python3
 #!/usr/bin/env python3
+
+# Obtain user roles data from the Wikia logevents api
+# Copyright (C) 2018  Nathan TeBlunthuis
+
+# This program is free software: you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation, either version 3 of the License, or
+# (at your option) any later version.
+
+
 from os import path
 import argparse
 import time
 from os import path
 import argparse
 import time

Community Data Science Collective || Want to submit a patch?