Loader_Generate_Script — Erzeugt für gegebene Plattform und Bundesstaaten ein Shellskript, das die TIGER Daten herunterlädt, bereitstellt und in das Schema tiger_data
importiert. Jedes Bundesstaat-Skript wird in einem eigenen Datensatz ausgegeben. Die neueste Version unterstützt die geänderte Struktur von Tiger 2010 und lädt ebenfalls die Census Tract, Block Groups und Blocks Tabellen.
setof text loader_generate_script(
text[] param_states, text os)
;
Erzeugt für gegebene Plattform und Bundesstaaten ein Shellskript, das die TIGER Daten herunterlädt, bereitstellt und in das Schema tiger_data
importiert. Jedes Bundesstaat-Skript wird in einem eigenen Datensatz ausgegeben.
Zum Herunterladen wird auf Linux unzip (auf Windows standardmäßig 7-zip) und wget verwendet. Es verwendet Section 4.7.2, “Using the Shapefile Loader” um die Daten zu laden. Die kleinste Einheit, die bearbeitet wird ist ein ganzer Bundesstaat. Es werden nur die Dateien in den Ordnern "staging" und "temp" bearbeitet.
Verwendet die folgenden Kontrolltabellen, um den Verarbeitungsprozess und die verschiedenen Variationen der Betriebssysteme in Bezug auf den Shellsyntax zu überprüfen.
loader_variables
behält den Überblick über verschiedenen Variablen, wie Census Site, Jahr, Daten- und "staging"-Schemata
loader_platform
Profile von verschiedenen Plattformen und Speicherplätze der ausführbaren Programme. Beinhaltet Windows und Linux. Weitere können hinzugefügt werden.
loader_lookuptables
jeder Datensatz definiert einen bestimmten Tabellentyp (state, county), um Datensätze zu bearbeiten und zu importieren. Legt die Schritte fest, die notwendig sind, um Daten zu importieren, bereitzustellen und hinzuzufügen, und um Spalten, Indizes und Constraints zu löschen. Jede Tabelle wird mit einem Präfix des Bundesstaates versehen und erbt von einer Tabelle in dem Schema TIGER. z.B. wird die Tabelle tiger_data.ma_faces
erstellt, welche von tiger.faces
erbt
Verfügbarkeit: 2.0.0 unterstützt die strukturierten Daten von Tiger 2010 und ladet die Tabellen "tract" (Census Area), "bg" (Census Block Groups) und "tabblocks" (Census Blocks).
Wenn Sie pgAdmin3 verwenden, dann seien Sie gewarnt, dass pgAdmin3 langen Text abschneidet. Um dies zu beheben, können Sie File -> Options -> Query Tool -> Query Editor - > Max. characters per column auf mehr als 50000 Zeichen setzen. |
Verwendung von psql; die Datenbank ist "gistest" und /gisdata/data_load.sh
ist die Datei mit den Shell-Befehlen die ausgeführt werden sollen.
psql -U postgres -h localhost -d gistest -A -t \ -c "SELECT Loader_Generate_Script(ARRAY['MA'], 'gistest')" > /gisdata/data_load.sh;
Erzeugt ein Skript, das Daten von 2 Staaten im Windows Shell Script Format ladet.
SELECT loader_generate_script(ARRAY['MA','RI'], 'windows') AS result; -- result -- set TMPDIR=\gisdata\temp\ set UNZIPTOOL="C:\Program Files\7-Zip\7z.exe" set WGETTOOL="C:\wget\wget.exe" set PGBIN=C:\Program Files\PostgreSQL\9.4\bin\ set PGPORT=5432 set PGHOST=localhost set PGUSER=postgres set PGPASSWORD=yourpasswordhere set PGDATABASE=geocoder set PSQL="%PGBIN%psql" set SHP2PGSQL="%PGBIN%shp2pgsql" cd \gisdata cd \gisdata %WGETTOOL% ftp://ftp2.census.gov/geo/tiger/TIGER2015/PLACE/tl_*_25_* --no-parent --relative --recursive --level=2 --accept=zip --mirror --reject=html cd \gisdata/ftp2.census.gov/geo/tiger/TIGER2015/PLACE : :
Erzeugt ein Shell-Skript
SELECT loader_generate_script(ARRAY['MA','RI'], 'sh') AS result; -- result -- TMPDIR="/gisdata/temp/" UNZIPTOOL=unzip WGETTOOL="/usr/bin/wget" export PGBIN=/usr/lib/postgresql/9.4/bin -- variables used by psql: https://www.postgresql.org/docs/current/static/libpq-envars.html export PGPORT=5432 export PGHOST=localhost export PGUSER=postgres export PGPASSWORD=yourpasswordhere export PGDATABASE=geocoder PSQL=${PGBIN}/psql SHP2PGSQL=${PGBIN}/shp2pgsql cd /gisdata cd /gisdata wget ftp://ftp2.census.gov/geo/tiger/TIGER2015/PLACE/tl_*_25_* --no-parent --relative --recursive --level=2 --accept=zip --mirror --reject=html cd /gisdata/ftp2.census.gov/geo/tiger/TIGER2015/PLACE rm -f ${TMPDIR}/*.* : :