checkpoint_parallelsql.sbatch

   1 #!/bin/bash
   2 ## parallel_sql_job.sh
   3 #SBATCH --job-name=tf_subreddit_comments
   4 ## Allocation Definition
   5 #SBATCH --account=comdata-ckpt
   6 #SBATCH --partition=ckpt
   7 ## Resources
   8 ## Nodes. This should always be 1 for parallel-sql.
   9 #SBATCH --nodes=1
  10 ## Walltime (12 hours)
  11 #SBATCH --time=12:00:00
  12 ## Memory per node
  13 #SBATCH --mem=100G
  14 #SBATCH --cpus-per-task=4
  15 #SBATCH --ntasks=1
  16
  17
  18 module load parallel_sql
  19
  20 #Put here commands to load other modules (e.g. matlab etc.)
  21 #Below command means that parallel_sql will get tasks from the database
  22 #and run them on the node (in parallel). So a 16 core node will have
  23 #16 tasks running at one time.
  24 parallel-sql --sql -a parallel --exit-on-term --jobs 4