datasets/run_submissions_jobs.sbatch

   1 #!/bin/bash
   2 ## tf reddit comments
   3 #SBATCH --job-name="cdsc_reddit; parse submission dumps"
   4 ## Allocation Definition
   5 #SBATCH --account=comdata-ckpt
   6 #SBATCH --partition=ckpt
   7 ## Resources
   8 ## Nodes. This should always be 1 for parallel-sql.
   9 #SBATCH --nodes=1
  10 ## Walltime (12 hours)
  11 #SBATCH --time=24:00:00
  12 ## Memory per node
  13 #SBATCH --mem=8G
  14 #SBATCH --cpus-per-task=1
  15 #SBATCH --ntasks=1
  16 #SBATCH
  17 #SBATCH --chdir /gscratch/comdata/users/nathante/cdsc_reddit/datasets
  18 #SBATCH --output=submissions_jobs/%A_%a.out
  19 #SBATCH --error=submissions_jobs/%A_%a.out
  20
  21 TASK_NUM=$(( SLURM_ARRAY_TASK_ID + $1))
  22 TASK_CALL=$(sed -n ${TASK_NUM}p ./submissions_task_list.sh)
  23 ${TASK_CALL}