]> code.communitydata.science - stats_class_2020.git/blob - assessment/interactive_assessment.rmd
updates to make some mult choice questions harder, text tweaks, table formatting
[stats_class_2020.git] / assessment / interactive_assessment.rmd
1 ---
2 title: "Interactive Self-Assessment"
3 subtitle: "Fall 2020 MTS 525 / COMMST 395 Statistics and Statistical Programming"
4 output: learnr::tutorial
5 runtime: shiny_prerendered
6 ---
7
8
9 ```{r setup, include=FALSE}
10 library(learnr)
11 library(tidyverse)
12
13 knitr::opts_chunk$set(echo = FALSE, tidy=TRUE)
14
15 t <- Sys.time()
16 question_filename <- paste("question_submission_", t, ".csv", sep="")
17 code_filename <- paste("code_", t, ".csv", sep="")
18
19 #df <- data.frame(label=c('test'), question=c('asd'), answer=c('asd'), correct=c(TRUE), stringsAsFactors=FALSE)
20 df <- data.frame()
21
22 tutorial_event_recorder <- function(tutorial_id, tutorial_version, user_id, 
23                                     event, data) {
24   # quiz question answered
25   if (event == "question_submission"){
26     # nick exasperatedly believes this is the correct way to index the result of strsplit... [[1]][[1]]
27     data$category <- strsplit(data$label, '_')[[1]][[1]]
28
29     df <<- rbind(df, data, stringsAsFactors=FALSE)
30     #write.table(data, question_filename, append=TRUE, sep=",", row.names=TRUE, col.names=FALSE)
31     write.table(df, question_filename, append=FALSE, sep=",", row.names=TRUE, col.names=TRUE)
32
33   }
34   # code
35   if (event == "exercise_submitted"){
36     write.table(data, code_filename, append=TRUE, sep=",", row.names=TRUE, col.names=FALSE)
37   }
38   
39 }
40 options(tutorial.event_recorder = tutorial_event_recorder)
41 ```
42
43
44
45 ## Overview  
46
47 This is document contains R Markdown code for an *Interactive Self Assessment*. Through this assessment, both students and the teaching team can check in on learning progress.
48
49 The Self Assessment is broken into six sections, described below. You can navigate throughout the document using the left-hand column. In general, completely this assessment should take about 60 minutes. 
50
51 * Overview: you are here.
52 * Section 1, Warmup Exercises. Contains warm-ups to help you become familiar with the interactive `learnr` environment (learnr is the R package that this assessment relies on). 1 coding question, 2 multiple choice questions. Time estimate: 5 min.
53 * Section 2, Debugging and Reading R Code. Contains a series of questions that will require you to work with existing R code. 3 coding questions, 4 multiple choice questions. Time estimate: 15 minutes.
54 * Section 3, Statistics Concepts and Definitions. 12 multiple choice questions about statistics concepts and definitions. Time estimate: 15 minutes.
55 * Section 4, Distributions. 3 multiples choice questions that involve some minor calculations. Time estimate: 5 minutes.
56 * Section 5, Computing Probabilities. 6 multiple choice questions that involve calulating probabilities of events. These calculations are more involved than Section 4. Time estimate: 15 minutes.
57 * Section 6, Helpful Formulas. Contains some helpful formulas that may be useful for Sections 3-5.
58 * Section 7, Answer Report. Time estimate: 5 minutes. Here, you can use R code (some of which is prepopulated for you) to analyze (or visualize) your performance on the assessment. This provides a way for you to (1) practice exploratory analyses R with data you created yourself (by answering questions) and (2) get immediate feedback about your performance.
59
60 Note that you can clear **all** your answers to *all* questions by clicking "Start Over" in the left-hand sidebar, but doing that basically erases all progress in the document and your answers to every question will be deleted. *Use with caution* (if at all)!
61
62 ## Section 1, Warm-up Exercises  
63
64 This section contains quick warm-up questions, so you can become familiar with how `learnr` works and what to expect from this activity.
65
66 ### Code Chunk Warm-up 
67
68 To get familiar with how code chunks work in `learnr`, let's write R code required to add two numbers: 1234 and 5678 (and the answer is 6912).
69
70 The code chunk below is editable and is "pre-populated" with an unfinished function definition. The goal is to add arguments and fill in the body of the function. When finished, you can run the code chunk and it should produce the answer.
71
72 If you click "Run Code", you should see the answer below the chunk. That answer will persist as you navigate around this doc.
73
74 You can clear your answers by clicking "Start Over" in the top-left of the chunk. You can also clear **all** your answers by clicking "Start Over" in the left-hand sidebar, but doing that basically erases all progress in the document *Use with caution!*
75
76 ```{r WarmUp_1, exercise=TRUE, exercise.lines=10}
77 add <- function() {
78   
79 }
80 x = 1234
81 y = 5678
82 add(x,y)
83 ```
84
85 ```{r WarmUp_1-solution}
86 add <- function(value1, value2) {
87   return(value1 + value2)
88 }
89
90 x = 1234
91 y = 5678
92
93 add(x,y)
94 ```
95
96 ### Multiple Choice Question Warmup
97 The question below shows how the multiple choice answering and feedback works.
98 ```{r WarmUp_2}
99 quiz(
100   question("Select the answer choice that will return `TRUE` in R.",
101     answer("1 == 1", message="Good work! Feedback appears here.", correct=TRUE),
102     answer("1 == 0", message="Not quite! Feedback appears here."),
103     allow_retry = TRUE
104   )
105 )
106 ```
107
108
109 ## Section 2: Writing and Debugging R Code
110
111 ### Debugging a Function
112 Below, you'll see code to define a function that is *supposed* to perform a transformation on a vector. The problem is that it doesn't work right now.
113
114 In theory, the function will take a numeric vector as input (let's call it $x$) and scale the values so they lie between zero and one. (This is sometimes called min-max [feature scaling](https://en.wikipedia.org/wiki/Feature_scaling), and is sometimes used for machine learning.) 
115
116 The way it *should* do this is by first subtracting the minimum value of $x$ from each element of $x$. Then, the function will divide each element by the difference between the maximum value of $x$ and the minimum value of $x$.
117
118 As written now, however, the function does not work! There are at least three issues you will need to fix to get it working. Once you fix them, you should be able to confirm that your function works with the pre-populated example (with the correct output provided). You might also be able to make this code more "elegant" (or alternatively, improve the comments and variable names as you see fit).
119
120 Bonus: how might we update this function to scale between any "floor" and "ceiling" value?
121
122 ```{r R_debug1, exercise=TRUE}
123 zeroToOneRescaler <- function() {
124   # the minimum value
125   minval <- min(x)
126   # let's "shift" our vector by subtracting the minimum value of x from each element
127   shifted <- x - minval
128   
129   # let's find the difference between max val and min val
130   difference <- min(x) - max(x)
131   
132   scaled <- shifted / difference
133   scaled
134 }
135
136 test_vector = c(1,2,3,4,5)
137 # Should print c(0, 0.25, 0.5, 0.75, 1.00)
138 zeroToOneRescaler(test_vector)
139 ```
140
141 ```{r R_debug1-solution}
142 zeroToOneRescaler <- function(x) {
143   shifted <- x - min(x)
144   difference = max(x) - min(x)
145   return(shifted / difference)
146 }
147
148 test_vector = c(1,2,3,4,5)
149 # Should print c(0, 0.25, 0.5, 0.75, 1.00)
150 zeroToOneRescaler(test_vector)
151 ```
152
153 ```{r R_debug1-response}
154 quiz(
155   question("Were you able to solve the debugging question? (this question is for feedback purposes)",
156     answer("Yes", message="Nice work!", correct = TRUE),
157     answer("No", message="Good try! If there were specific aspects that were challenging, feel free to reach out to the teaching team.")
158   )
159 )
160 ```
161
162
163 The following commented chunk has at least five (annoying) bugs. Can you uncomment the code, fix all the bugs, and get this chunk to run? These are drawn from real experiences from your TA!
164 ```{r R_debug2, exercise=TRUE}
165 # ps2 <- readcsv(file = url(
166 #   " https://communitydata.science/~ads/teaching/2020/stats/data/week_04/group_03.csv"), row.names = NULL
167 # )
168 #
169 # ps2$y[is.na(ps2$y)] <- 0
170 # "ps2$'My First New Column' <- ps2$y * -1"
171 # ps2$'My Second New Column" <- ps2$y + ps2$'My First New Column'
172 #
173 # summary(ps2$'My Second New Column']
174 ```
175
176 ```{r R_debug2-solution}
177 ps2 <- read.csv(file = url("https://communitydata.science/~ads/teaching/2020/stats/data/week_04/group_03.csv"), row.names = NULL)
178 ps2$y[is.na(ps2$y)] <- 0
179 ps2$'My First New Column' <- ps2$y * -1
180 ps2$'My Second New Column' <- ps2$y + ps2$'My First New Column'
181 summary(ps2$'My Second New Column')
182 ```
183
184 ```{r R_debug2-response}
185 quiz(
186   question("Were you able to solve the above debugging question? (this question is for feedback purposes)",
187            answer("Yes", message="Nice work!", correct = TRUE),
188            answer("No", message="Good try! If there were specific aspects that were challenging, feel free to reach out to the teaching team."),
189            allow_retry = TRUE
190   )
191 )
192 ```
193
194 ### Updating a visualization
195 Imagine you've created a histogram to visualize some data from your research (below, we'll use R's built-in "PlantGrowth" dataset). You show your collaborator a histogram of this plot using default R, and they express some concerns about your plot's aesthetics. Replace the base-R histogram with a `ggplot2` histogram that also includes a density plot overlaid on it (maybe in a bright, contrasting color like red).
196
197 ```{r R_ggplot, exercise=TRUE}
198 data("PlantGrowth")
199 hist(PlantGrowth$weight)
200 ```
201
202 ```{r R_ggplot-solution}
203 library(ggplot2)
204
205 ggplot(PlantGrowth, aes(weight, after_stat(density))) + geom_histogram() + geom_density(color = "red")
206 ```
207
208 Bonus: How would you find more information about the source of this dataset? 
209
210 ```{r R_ggplot-response}
211 quiz(
212   question("Were you able to solve the above plotting question? (this question is for feedback purposes)",
213            answer("Yes", message="Nice work!", correct = TRUE),
214            answer("No", message="Good try! If there were specific aspects that were challenging, feel free to reach out to the teaching team."),
215            allow_retry = TRUE
216   )
217 )
218 ```
219
220 ### Interpret a dataframe
221 ```{r R_columns-setup, exercise=TRUE}
222 data <- mtcars
223 data$mpgGreaterThan20 <- data$mpg > 20
224 data$gear <- as.factor(data$gear)
225 data$mpgRounded <- round(data$mpg)
226 ```
227
228 The below questions relate to the `data` data.frame defined above, which is a modified version of the classic `mtcars`.
229
230 For all answers, assume the above code chunks *has completely run*, i.e. assume all modifications described above were made.
231 ```{r R_columns}
232 quiz(
233   question("Which of the following best describes the `mpg` variable?",
234     answer("Numeric, continuous", correct=TRUE),
235     answer("Numeric, discrete"),
236     answer("Categorical, dichotomous"),
237     answer("Categorical, ordinal"),
238     answer("Categorical")
239   ),
240   question("Which of the following best describes the `mpgGreaterThan20` variable?",
241     answer("Numeric, continuous"),
242     answer("Numeric, discrete"),
243     answer("Categorical, dichotomous", correct=TRUE),
244     answer("Categorical, ordinal"),
245     answer("Categorical")
246   ),
247   question("Which of the following best describes the `mpgRounded` variable?",
248     answer("Numeric, continuous"),
249     answer("Numeric, discrete", correct=TRUE),
250     answer("Categorical, dichotomous"),
251     answer("Categorical, ordinal"),
252     answer("Categorical")
253   ),
254   question("Which of the following best describes the `gear` variable?",
255     answer("Numeric, continuous"),
256     answer("Numeric, discrete"),
257     answer("Categorical, dichotomous"),
258     answer("Categorical, ordinal", correct=TRUE),
259     answer("Categorical")
260   )
261 )
262 ```
263
264 ## Section 3, Statistics Concepts and Definitions
265 The following is a series of short multiple choice questions. These questions focus on definitions, and should not require performing any computations or writing any code.
266 ```{r StatsConcepts_lightninground}
267 m1 <- ""
268 wolf <- "Think of the 'Boy who cried wolf', with a null hypothesis that no wolf exists. First the boy claims the alternative hypothesis: there is a wolf. The villagers believe this, and reject the correct null hypothesis. Second, the villagers make an error by not believing the boy when he presents a correct alternative hypothesis."
269
270 quiz(
271   question("A hypothesis is typically written in terms of a:",
272     answer("p-value."),
273     answer("population statistic.", correct = TRUE),
274     answer("sample statistic.")
275   ),
276   question("A sampling distribution is:",
277     answer("critical to report in your papers."),
278     answer("theoretically helpful, but rarely available to researchers in practice.", correct = TRUE),
279     answer("practically useful, but not relies on assumptions that are rarely met.")
280   ),
281   question("Z-scores tell us about a value in terms of:",
282     answer("mean and standard deviation.", correct = TRUE),
283     answer("sample size and sampling strategy."),
284     answer("if an effect is causal or not.")
285   ),
286   question("A distribution that is right-skewed has a long tail to the:",
287     answer("right.", correct = TRUE),
288     answer("left.")
289   ),
290   question("A normal distribution can be characterized with only this many parameters:",
291     answer("1."),
292     answer("2.", correct = TRUE),
293     answer("3.")
294   ),
295   question("When we calculate a standard error, we look to understand",
296     answer("the spread of our observed data based on the spread of the population distribution."),
297     answer("the spread of the population distribution based on the spread of our observed data.", correct = TRUE),
298     answer("whether or not our result is causal.")
299   ),
300 #  question("When we calculate standard error, we calculate",
301 #    answer("using a different formula for every type of variable."),
302 #    answer("the sample standard error, which is an estimate of the population standard error.", correct = TRUE),
303 #    answer("whether or not our result is causal.")
304 #  ),
305   question("P values tell us about",
306     answer("the probability of observing the outcome."),
307     answer("the world in which the null hypothesis is true.", correct = TRUE),
308     answer("the world in which the null hypothesis is false."),
309     answer("the probability that a difference is due to chance.")
310 #    answer("the world in which our data describe a causal effect.")
311   ),
312   question("P values are",
313     answer("a conditional probability.", correct = TRUE),
314     answer("completely misleading."),
315     answer("an indication of the strength of an association"),
316     answer("most useful when our data has a normal distribution.")
317   ),
318   question("A type 1 error occurs when",
319     answer("when we reject a correct null hypothesis (i.e. false positive).", correct = TRUE, message=wolf),
320     answer("when we accept a correct null hypothesis", message=wolf),
321     answer("when we accept an incorrect null hypothesis (i.e. false negative)", message=wolf)
322   ),
323   question("Before we assume independence of two random samples, it can be useful to check whether",
324     answer("they are correlated."),
325     answer("both samples include over 90% of the population."),
326     answer("both samples include less than 10% of the population.", correct = TRUE)
327   )
328 )
329 ```
330
331 ```{r StatsConcepts_sampling}
332 quiz(
333   question("A political scientist is interested in the effect of teaching style on standardized test performance
334 She plans to use a sample of 30 classes evenly spread among the Communication, Computer Science, and Business to conduct her analysis. What type of sampling strategy should she use to ensure that
335 classes are selected from each discipline equally? Assume a limited research budget.",
336     answer("A simple random sample"),
337     answer("A cluster random sample"),
338     answer("A stratifed random sample", correct=TRUE),
339     answer("A snowball sample")
340   )
341 )
342 ```
343
344 ## Section 4: Distributions
345 The following questions are in the style of pen-and-paper statistics class exam questions. This section includes three questions about distributions. These questions involve some minor calculations.
346
347 ### Percentiles and the Normal Distribution
348 For the following question, you may want to use this "scratch paper" code chunk.
349 ```{r Distributions_quartile-scratch, exercise=TRUE}
350
351 ```
352
353 ```{r Distributions_quartile}
354 quiz(
355   question("Heights of boys in a high school are approximately normally distributed with mean of 175 cm
356 standard deviation of 5 cm. What value most likely corresponds to the first quartile of heights?",
357     answer("25 cm"),
358     answer("167.3 cm"),
359     answer("171.7 cm", correct=TRUE),
360     answer("173.5 cm"),
361     answer("178.3 cm")
362   )
363 )
364 ```
365         
366
367 ### Outliers and Skew
368 Suppose we are reading a paper which reports the following about a column of a dataset:
369
370 Minimum value is 0.00125 and Maximum Value is 2.1100.
371
372 Mean is 0.41100 and median is 0.27800.
373
374 1st quartile is 0.13000 and 3rd quartile is 0.56200.
375
376 ```{r Distributions_summary-scratch, exercise=TRUE}
377
378 ```
379
380 ```{r Distributions_summary}
381 m1 <- "Under R's default setting, outliers are values that are either greater than the upper bound $Q_3 + 1.5\\times IQR$ OR less than the lower bound $Q_1 - 1.5\\times IQR$. Here, $IQR = 0.562-0.130=0.432$. The upper bound $= 0.562 + 1.5\\times (0.432) = 1.21$. The lower bound is $0.13 - 1.5\\times (0.432) = -0.518$. We see that the maximum value is 2.11, greater than the upper bound. Thus, there is at least one outlier in this sample."
382
383 m2 <- "There is at least one outlier on the right, whereas there is none on the left. $|Q_3-Q_2| > |Q_2-Q_1|$, so the whisker for this box plot would be longer on the right-hand side. The mean is larger than the median."
384 quiz(
385   question("Are there outliers (in terms of IQR) in this sample?",
386     answer("Yes", correct = TRUE, message=m1),
387     answer("No", message=m1)
388   ),
389   question("Based on these summary statistics, we might expect the skew of the distribution to be:",
390     answer("left-skewed", message=m2),
391     answer("right-skewed", message=m2, correct=TRUE),
392     answer("symmetric", message=m2)
393   )
394 )
395 ```
396
397
398 ## Sections 5, Computing Probabilities
399 For each of the below questions, you will need to calculate some probabilities by hand.
400 You may want to use this "scratch paper" code chunk (possibly in conjunction with actual paper).
401
402 ```{r Probabilities-scratch, exercise=TRUE}
403
404 ```
405
406 ```{r Probabilities_probs}
407 m1 <- "$P(\\text{Coffee} \\cap \\text{No Milk}) = P(\\text{Coffee})\\cdot P(\\text{No Milk}) = 0.5 \\cdot (1-0.1)  = 0.45$"
408
409 m2 <- "Let H be the event of hypertension, M be event of being a male. We see here that $P(H) = 0.15$ whereas $P(H|M) = 0.18$. Since $P(H) \\neq P(H|M)$, then hypertension is not independent of sex."
410
411 m3 <- "$P(HIV \\cap HCV) = P(HIV|HCV)\\cdot P(HCV) = 0.1\\cdot 0.02 = 0.002$"
412
413 quiz(
414   question("Suppose in a population, half prefer coffee to tea, and assume that 10 percent of the population prefers no milk in their coffee or tea. If coffee vs. tea preference and milk use are independent, what fraction of the population both prefers coffee and puts milk in their coffee?",
415     answer("40%", message=m1),
416     answer("45%", correct = TRUE, message=m1),
417     answer("50%", message=m1),
418     answer("55%", message=m1)
419   ),
420   question("In the general population, about 15 percent of adults between 25 and 40 years of age are hypertensive.  Suppose that among males of this age, hypertension occurs about 18 percent of the time. Is hypertension independent of sex? ",
421     answer("Yes", message=m2),
422     answer("No.", correct=TRUE, message=m2)
423   ),
424   question("Co-infection with HIV and hepatitis C (HCV) occurs when a patient has both diseases, and is on the rise in some countries. Assume that in a given country, only about 2% of the population has HCV,  but 25% of the population with HIV have HCV.  Assume as well that 10% of the population with HCV have HIV.  What is the probability that a randomly chosen member of the population has both HIV and HCV?",
425     answer("0.001", message=m3),
426     answer("0.01", message=m3),
427     answer("0.002", correct=TRUE, message=m3),
428     answer("0.02", message=m3)
429   )
430   #question("What might you search for (in Google, your notes, the OpenIntro PDF, etc.) to help with this question?",
431   #  answer("t test"),
432   #  answer("laws of probability", correct=TRUE),
433   #  answer("linear regression"),
434   #  answer("R debugging")
435   #)
436 )
437 ```
438
439 ### Biostats Example
440 This question is adapted from a biostats midterm exam.
441 In the past (2015, to be specific), the US Preventive Services
442 Task Force recommended that women under the age of 50 should
443 not get routine mammogram screening for breast cancer.  The Task Force
444 argued that for a woman with a positive mammogram (one suggesting the
445 presence of breast cancer), the chance that she has breast cancer was
446 too low to justify a surgical biopsy.
447
448 Suppose the data below describe a cohort of 100,000 women age 40 -
449 49 in whom mammogram screening and breast cancer behaves just like the
450 larger population.  For instance, in this table, the 3,333 women with
451 breast cancer represent a rate of 1 in 30 women with undiagnosed
452 cancer. The numbers in the table are realistic for US women in this
453 age category. 
454
455 |                    | Positive test result | Negative test result |
456 |--------------------|---------------------:|---------------------:|
457 | Have breast cancer |                3,296 |                   37 |
458 | Do not have breast cancer |         8,313 |               88,354 | 
459
460
461 First, compute the "margins" of the above contingency table.
462 * Row margins: How many total women have breast cancer? How many total women do not have breast cancer?
463 * Column margins: How many total positive test? How many total negative tests?
464 ```{r Probabilities_mammogram-chunk, exercise=TRUE}
465
466 ```
467
468 ```{r Probabilities_mammogram}
469 m1 <- "
470 $\\Pr(\\textrm{Test}^+ \\cap \\textrm{Cancer}) = 3,296$
471
472 $\\Pr(Cancer) = 3,333$
473
474 $\\Pr(\\textrm{Test}^+|\\textrm{Cancer}) =$ \
475 $\\dfrac{\\Pr(\\textrm{Test}^+ \\cap \\textrm{Cancer})}{\\Pr(\\textrm{Cancer})} =$\
476 $\\dfrac{3,296}{3,333} = 0.989$"
477
478 m2 <- "
479 $Pr(\\textrm{Cancer}|\\textrm{Test}^+) =$
480
481 $\\dfrac{\\Pr(\\textrm{Cancer} \\cap \\textrm{Test}^+)}
482      {\\Pr(\\textrm{Test}^+)}=$
483
484
485  $\\dfrac{3,296}{11,609} = 0.284$"
486
487 quiz(
488   question("Based on this data, what is the probability that a woman has a positive test given that a women has cancer?",
489     answer("98.9%", correct = TRUE, message=m1),
490     answer("99.9%",message=m1),
491     answer("89.9%",message=m1),
492     answer("88.9%",message=m1)
493   ),
494   question("Based on this data, what is the probability that a woman who has cancer receives a positive test?",
495     answer("28.4%", correct = TRUE,message=m2),
496     answer("10.3%",message=m2),
497     answer("50.7%",message=m2),
498     answer("97.9%",message=m2)
499   ),
500   question("Is the Task Force correct to claim that there is a low probability that a women between 40-49 who tests positive has breast cancer?",
501     answer("Yes", correct=TRUE),
502     answer("No")
503   )
504 )
505 ```
506
507
508
509 ## Useful Formulas
510 Sample Mean (sample statistic):
511 $\bar{x}=\frac{\sum_{i=1}^n x_i}{n}$ |
512 Standard deviation:
513 $s=\sqrt{\frac{\sum_{i=1}^n (x_i-\bar{x})^2}{n-1}}$ |
514 Variance:
515 $var = s^2$
516
517 Useful probability axioms:
518 $\mbox{Pr}(A^c)=1-\mbox{Pr}(A)$ | Pr(A and B) = Pr(A) $\times$ Pr(B) | Pr(A or B) = Pr(A) + Pr(B) - Pr(A and B)
519
520 $\mbox{Pr}(A|B)=\frac{\mbox{Pr(A and B)}}{\mbox{Pr(B)}}$\\
521
522 Population mean (population statistic):
523 $\mu = \sum_{i=1}^{n}x\mbox{Pr}(x)$
524
525 Z-score:
526 $z=\frac{x-\mu}{\sigma}$
527
528 $x=\mu + z\sigma$\\
529
530 $\mbox{P}(x)=\frac{n!}{x!(n-x)!}p^x(1-p)^{n-x}$
531     ~for~ $x=0,1,2,...,n$
532     
533 $\mu=np$, $\sigma=\sqrt{np(1-p)}$\\
534
535 $\sigma_{\bar{x}}=\frac{\sigma}{\sqrt{n}}$
536
537 $\sigma_{\hat{p}}=\sqrt{\frac{p(1-p)}{n}}$
538
539 $Q_1 - 1.5 \times IQR, \quad Q_3 + 1.5 \times IQR$
540
541
542
543 ## Answer Report
544 Finally, let's generate a report that summarizes your answers to this evaluation.
545
546 Answers are written to a file that looks like this: `question_submission-{CURRENT TIME}.csv`. 
547
548 Take note of this csv file: this is what you will submit to Canvas.
549
550 They're also saved in R Studio's global environment as a variable called `df`. Run the below code chunk to see what `df` looks like.
551
552 ```{r report1, exercise=TRUE}
553 df
554 ```
555
556
557 To check your percentage of correct answers:
558 ```{r report2, exercise=TRUE}
559 mean(df$correct)
560 ```
561
562 To check your percentage of correct answers by section:
563
564 ```{r report3, exercise=TRUE}
565 df %>% group_by(category) %>% summarize(avg = mean(correct))
566 ```

Community Data Science Collective || Want to submit a patch?