]> code.communitydata.science - cdsc_reddit.git/blob - checkpoint_parallelsql.sbatch
a54aab124d2b83b2dd65a8bbdc4cd9d255e1ee0f
[cdsc_reddit.git] / checkpoint_parallelsql.sbatch
1 #!/bin/bash
2 ## parallel_sql_job.sh
3 #SBATCH --job-name=tf_subreddit_comments
4 ## Allocation Definition
5 #SBATCH --account=comdata-ckpt
6 #SBATCH --partition=ckpt
7 ## Resources
8 ## Nodes. This should always be 1 for parallel-sql.
9 #SBATCH --nodes=1    
10 ## Walltime (12 hours)
11 #SBATCH --time=12:00:00
12 ## Memory per node
13 #SBATCH --mem=100G
14 #SBATCH --cpus-per-task=4
15 #SBATCH --ntasks=1
16
17
18 module load parallel_sql
19
20 #Put here commands to load other modules (e.g. matlab etc.)
21 #Below command means that parallel_sql will get tasks from the database
22 #and run them on the node (in parallel). So a 16 core node will have
23 #16 tasks running at one time.
24 parallel-sql --sql -a parallel --exit-on-term --jobs 4

Community Data Science Collective || Want to submit a patch?