keywords/src/compile_translated_phrases.sh

   1 #!/bin/bash
   2
   3 # For now these scripts don't accept command line arguments. It's an MVP
   4
   5 echo "Reading Google trends"
   6 python3 collect_trends.py
   7
   8 echo "Searching for Wikidata items using base_terms.txt"
   9 python3 wikidata_search.py ../resources/base_terms.txt --output ../output/intermediate/wikidata_search_results.csv
  10
  11 echo "Searching for Wikidata items using Google trends"
  12 python3 wikidata_search.py ../output/intermediate/related_searches_rising.csv ../output/intermediate/related_searches_top.csv --use-gtrends --output ../output/intermediate/wikidata_search_results_from_gtrends.csv
  13
  14 echo "Finding translations from Wikidata using sparql"
  15 python3 wikidata_translations.py  ../output/intermediate/wikidata_search_results_from_gtrends.csv  ../output/intermediate/wikidata_search_results.csv --topN 10 20 --output ../output/csv/$(date '+%Y-%m-%d')_wikidata_item_labels.csv
  16
  17 rm latest.csv
  18 ln -s $(ls -tr | tail -n 1) latest.csv