Loader_Generate_Script
Prev  12.2. Tiger Geokoder  Next

Name

Loader_Generate_Script — Erzeugt für gegebene Plattform und Bundesstaaten ein Shellskript, das die TIGER Daten herunterlädt, bereitstellt und in das Schema tiger_data importiert. Jedes Bundesstaat-Skript wird in einem eigenen Datensatz ausgegeben. Die neueste Version unterstützt die geänderte Struktur von Tiger 2010 und lädt ebenfalls die Census Tract, Block Groups und Blocks Tabellen.

Synopsis

setof text loader_generate_script(text[] param_states, text os);

Beschreibung

Erzeugt für gegebene Plattform und Bundesstaaten ein Shellskript, das die TIGER Daten herunterlädt, bereitstellt und in das Schema tiger_data importiert. Jedes Bundesstaat-Skript wird in einem eigenen Datensatz ausgegeben.

Zum Herunterladen wird auf Linux unzip (auf Windows standardmäßig 7-zip) und wget verwendet. Es verwendet Section 4.7.2, “Verwendung des Shapefile Loaders” um die Daten zu laden. Die kleinste Einheit, die bearbeitet wird ist ein ganzer Bundesstaat. Es werden nur die Dateien in den Ordnern "staging" und "temp" bearbeitet.

Verwendet die folgenden Kontrolltabellen, um den Verarbeitungsprozess und die verschiedenen Variationen der Betriebssysteme in Bezug auf den Shellsyntax zu überprüfen.

  1. loader_variables behält den Überblick über verschiedenen Variablen, wie Census Site, Jahr, Daten- und "staging"-Schemata

  2. loader_platform Profile von verschiedenen Plattformen und Speicherplätze der ausführbaren Programme. Beinhaltet Windows und Linux. Weitere können hinzugefügt werden.

  3. loader_lookuptables jeder Datensatz definiert einen bestimmten Tabellentyp (state, county), um Datensätze zu bearbeiten und zu importieren. Legt die Schritte fest, die notwendig sind, um Daten zu importieren, bereitzustellen und hinzuzufügen, und um Spalten, Indizes und Constraints zu löschen. Jede Tabelle wird mit einem Präfix des Bundesstaates versehen und erbt von einer Tabelle in dem Schema TIGER. z.B. wird die Tabelle tiger_data.ma_faces erstellt, welche von tiger.faces erbt

Verfügbarkeit: 2.0.0 unterstützt die strukturierten Daten von Tiger 2010 und ladet die Tabellen "tract" (Census Area), "bg" (Census Block Groups) und "tabblocks" (Census Blocks).

[Note]

Wenn Sie pgAdmin3 verwenden, dann seien Sie gewarnt, dass pgAdmin3 langen Text abschneidet. Um dies zu beheben, können Sie File -> Options -> Query Tool -> Query Editor - > Max. characters per column auf mehr als 50000 Zeichen setzen.

Beispiele

Verwendung von psql; die Datenbank ist "gistest" und /gisdata/data_load.sh ist die Datei mit den Shell-Befehlen die ausgeführt werden sollen.

psql -U postgres -h localhost -d gistest -A -t \
 -c "SELECT Loader_Generate_Script(ARRAY['MA'], 'gistest')" > /gisdata/data_load.sh;

Erzeugt ein Skript, das Daten von 2 Staaten im Windows Shell Script Format ladet.

SELECT loader_generate_script(ARRAY['MA','RI'], 'windows') AS result;
-- result --
set TMPDIR=\gisdata\temp\
set UNZIPTOOL="C:\Program Files\7-Zip\7z.exe"
set WGETTOOL="C:\wget\wget.exe"
set PGBIN=C:\Program Files\PostgreSQL\9.4\bin\
set PGPORT=5432
set PGHOST=localhost
set PGUSER=postgres
set PGPASSWORD=yourpasswordhere
set PGDATABASE=geocoder
set PSQL="%PGBIN%psql"
set SHP2PGSQL="%PGBIN%shp2pgsql"
cd \gisdata

cd \gisdata
%WGETTOOL% ftp://ftp2.census.gov/geo/tiger/TIGER2015/PLACE/tl_*_25_* --no-parent --relative --recursive --level=2 --accept=zip --mirror --reject=html
cd \gisdata/ftp2.census.gov/geo/tiger/TIGER2015/PLACE
:
:

Erzeugt ein Shell-Skript

SELECT loader_generate_script(ARRAY['MA','RI'], 'sh') AS result;
-- result --
TMPDIR="/gisdata/temp/"
UNZIPTOOL=unzip
WGETTOOL="/usr/bin/wget"
export PGBIN=/usr/lib/postgresql/9.4/bin
-- variables used by psql: https://www.postgresql.org/docs/current/static/libpq-envars.html
export PGPORT=5432
export PGHOST=localhost
export PGUSER=postgres
export PGPASSWORD=yourpasswordhere
export PGDATABASE=geocoder
PSQL=${PGBIN}/psql
SHP2PGSQL=${PGBIN}/shp2pgsql
cd /gisdata

cd /gisdata
wget ftp://ftp2.census.gov/geo/tiger/TIGER2015/PLACE/tl_*_25_* --no-parent --relative --recursive --level=2 --accept=zip --mirror --reject=html
cd /gisdata/ftp2.census.gov/geo/tiger/TIGER2015/PLACE
rm -f ${TMPDIR}/*.*
:
: