paper_source/todo.txt

   1
   2 TODO for rebuttal
   3 =================
   4 + look at options for CI (DONE, bootstrapped 95% CI looks great)
   5 + Polish the rebuttal
   6 + read through reviews again
   7
   8
   9 TODO for paper ready copy
  10 =========================
  11 + Fix Bibliography
  12 + Incorporate the following:
  13
  14 Because our dataset is limited to wikis, we cannot address questions of generalizability to other sites empirically. The fact that we had to change RAD's operationalizations of key concepts to apply them to Wikia wikis, suggests that tests further afield will require creative construction of new measures. With these limitations aside, we believe that our results are informative, but far from convincing, evidence that RAD's findings generalize beyond wikis. Therefore, we will add material to the discussion asserting our results increase our expectation that similar patterns occur in other communities engaged in peer production and open collaboration. We reason that the mechanisms driving the patterns of ``calcification'' and entrenchment that we observe in wikis seem general to communities without pre-defined hierarchies or formal procedures to facilitate newcomer socialization. This builds from earlier work on oligarchy (see Shaw & Hill, 2014) and on "the tyranny of structurelessness" in democratic organizations and feminist advocacy groups reported by (Freeman, 1972). We will add a citation to (Freeman, 1972). We strongly agree with the reviewers that future research should further pursue social and psychological mechanisms of entrenchment, oligarchy formation, and newcomer socialization in open collaboration and peer production communities.
  15
  16 +  Add text to Study 3 methods paragraph highlighting the ways in which operationalizing norm entrenchment through namespace 4 is quite different from looking at specific policy pages on Wikipedia and flagging this decision a potential threat to the validity
  17 of our finding.
  18
  19 + Add bootstrapped 95% confidence intervals to Figure 1 (DONE)
  20
  21 + Add back a concise summary of RAD's methodology.  Keep this short in the form of 3 additional paragraphs.
  22
  23 + Add a couple of sentences in the methods section to describe limitations of the RAD analysis. We think the biggest issues are related to the ways that the original RAD paper could not evaluate whether unique aspects of EN:Wikipedia drove the findings. This includes questions about whether something particular happened around 2008, such as the rise of Facebook and other social media platforms, that drove the editor decline.
  24
  25 + Fix typo in interpretation of bot reverted coefficient. (DONE)
  26
  27 + Update supplementary material with the weighted models analysis
  28
  29 + Add a short paragraph to the discussion section that summarizes the threat, describes our approach to addressing it with weighted models, explains that our substantive conclusions about the replicability of RAD are maintained, and points to an opportunity for future work to study how newcomer socialization may vary between communities of different size and activity levels.
  30
  31 3.