bugfixes for empty comments and empty logs
[RCommunityData.git] / R / wikia_admin.R
1 # Community Data Science Collective R Utilities
2 #
3 # Copyright (c) 2010-2016 Benjamin Mako Hill and Aaron Shaw 
4 # mako@atdot.cc, aaronshaw@northwestern.edu
5
6 # privileges of interest:
7 # a shared variable that gets used everywhere
8 generate.admin.addrm <- function (logevents, current.admins) {
9
10   # convert types of a few variables
11   logevents$ancient <- logevents$ancient == "true"
12   logevents$timestamp <- timestamp.to.POSIXct(logevents$timestamp)
13   logevents$rights.new[is.na(logevents$rights.new)] <- ""
14   logevents$rights.old[is.na(logevents$rights.old)] <- ""
15
16   # TODO do wikia wikis have these =?
17   # in WP, all of these are negated by one day
18   logevents <- logevents[!(logevents$ancient & logevents$comment == "="),]
19   
20   ##########################################
21   ###  Parsing logevents file
22   #########################################
23
24   # separate out moderns & ancients and the necessary columns
25   ancients <- logevents[logevents$ancient,c("title","comment","timestamp")]
26   moderns <- logevents[!logevents$ancient,
27                        c("title","rights.new","rights.old","timestamp")]
28   
29   # function that looks at rights.old, rights.new and returns a value of
30   # privilege, add/remove, and timestamp for each user
31   parse.moderns <- function (i, d) {
32     user <- sub('^User:', "", d[i,"title"])
33     change.time <- d[i,"timestamp"]
34     rights.new <- d[i,"rights.new"]
35     rights.old <- d[i,"rights.old"]
36     
37     # create a vector of new and old rights:
38     destring <- function (x) { strsplit(as.character(x), ", ")[[1]] }
39
40     # create a list of privileges that are mentioned
41     privileges <- unique(c(destring(rights.new),
42                            destring(rights.old)))
43
44     # create T/F vectors incidating which privileges were added/removed
45     added <- privileges[privileges %in% destring(rights.new) &
46                         !(privileges %in% destring(rights.old))]
47     removed <- privileges[!(privileges %in% destring(rights.new)) &
48                           privileges %in% destring(rights.old)]
49
50     # assemble the data frame of: role,action,user,timestamp
51     data.frame(user=rep(user, length(c(added,removed))),
52                role=c(added, removed),
53                action=c(rep("added",length(added)),
54                  rep("removed", length(removed))),
55                timestamp=rep(change.time, length(c(added,removed))),
56                era=rep("modern", length(c(added,removed))),
57                stringsAsFactors=FALSE)
58   }
59
60   # if there are log events, and there are non-ancients, we parse them
61   if (dim(logevents)[1] & !all(logevents$ancient)) {
62     moderns.parsed <- do.call("rbind",
63                               lapply(1:dim(moderns)[1], parse.moderns, moderns))
64   } else {
65     moderns.parsed = NULL
66   }
67   
68   # another function to handle processing the ancients:
69   parse.ancient <- function (i, d) {
70       user <- sub('^.*?:', '', d[i,"title"])
71       log.comment <- d[i, "comment"]
72       change.time <- d[i, "timestamp"]
73
74       log.comment <- as.character(log.comment)
75       added <- unlist(strsplit(unlist(strsplit(log.comment, '(\\+|\\=)')), ', '))
76       
77       if(is.null(added)){
78           added <- ''
79       }
80       ## clean any leadin, trailing whitespace
81       added <- gsub("^\\s+|\\s+$", "", added)
82
83       data.frame(user=user,
84                  role=added,
85                  action="added",
86                  timestamp=change.time,
87                  era="ancient",
88                  stringsAsFactors=FALSE)
89   }
90
91   # if there are any ancients, we parse them
92   if (any(logevents$ancient)) {
93     ancients.parsed <- do.call("rbind",
94                                lapply(1:dim(ancients)[1], parse.ancient, ancients))
95   } else {
96     ancients.parsed = NULL
97   }
98
99   combined <- rbind(moderns.parsed, ancients.parsed)
100   
101   ##########################################
102   ###  Parsing current.admins file
103   #########################################
104   # turn each of the columns after the first two into logical
105
106   # function to process pre.ancients
107   parse.current.admins <- function (i, d) {
108     user <- d[i, "username"]
109     roles <- gsub("^\\s+|\\s+$", "", strsplit(d[i, "groups"], ",")[[1]])
110
111     o <- data.frame(user=user, role=roles, stringsAsFactors=FALSE)
112     colnames(o) <- c("user", "role")
113     return(o)
114   }
115
116     if(dim(current.admins)[1] > 0){
117         current.admins.parsed <- do.call("rbind",
118                                          lapply(1:dim(current.admins)[1],
119                                                 parse.current.admins, current.admins))
120     }
121     else {
122         current.admins.parsed <- data.frame(user=character(),role=character())
123     }
124
125   # select pre-ancients as people who have a given right *today* but
126   # were never seen as having it added
127   is.pre.ancients <- function (i, d, combined) {
128     user <- d[i, "user"]
129     role <- d[i, "role"]
130
131     # look to see if we've see any events with this user and role added:
132     # if we see none, this is pre-ancient
133     !any(combined$user == user &
134          combined$role == role &
135          combined$action == "added")
136
137   }
138
139   # create the list of pre-ancients (people role combinations we have
140   # not seen in the logevents data
141   pre.ancients <- current.admins.parsed[sapply(1:dim(current.admins.parsed)[1],
142                                                is.pre.ancients,
143                                                current.admins.parsed,
144                                                combined),]
145
146   # make a list of people who have been removed
147   combined.removed <- combined[combined$action == "removed",]
148   if (!is.null(combined.removed)) {
149     if (dim(combined.removed)[1] > 0) {
150       combined.removed <- combined.removed[sapply(1:dim(combined.removed)[1],
151                                                   function (i,d) {
152         user <- d[i,"user"]
153         role <- d[i,"role"]
154         timestamp <- d[i,"timestamp"]
155
156         # was the person added before they were removed? OR in the pre-ancients
157         any(combined$user == user &
158             combined$role == role &
159             combined$action == "added" &
160             combined$timestamp <= timestamp) | (user %in% pre.ancients$user)
161       }, combined.removed),c("user", "role")]
162     }
163   }
164
165   pre.ancients <- rbind(pre.ancients, combined.removed)
166   
167     if(nrow(pre.ancients) > 0){
168         ## give them the earliest ancient timestamp minus 1 day
169         pre.ancients$action <- "added"
170         pre.ancients$timestamp <- as.POSIXct("2000-01-01 00:00:00") # min(combined$timestamp) - 60 * 1440
171         pre.ancients$era <- "pre.ancient"
172     }
173
174   # and then add the pre.ancients to the 
175   combined <- rbind(combined, pre.ancients)
176
177   # remove redunandt actions
178   combined <- combined[!duplicated(combined),]
179   return(combined)
180 }
181

Community Data Science Collective || Want to submit a patch?