Chapter 10. 래스터 데이터의 관리, 쿼리 및 응용

The raster2pgsql is a raster loader executable that loads GDAL supported raster formats into SQL suitable for loading into a PostGIS raster table. It is capable of loading folders of raster files as well as creating overviews of rasters.

Since the raster2pgsql is compiled as part of PostGIS most often (unless you compile your own GDAL library), the raster types supported by the executable will be the same as those compiled in the GDAL dependency library. To get a list of raster types your particular raster2pgsql supports use the -G switch.

	정렬된 래스터 집합에서 특정 인자(factor)의 오버뷰를 성생하는 경우, 오버뷰들이 정렬되지 않을 수도 있습니다. http://trac.osgeo.org/postgis/ticket/1764 페이지에서 오버뷰가 정렬되지 않는 예시를 찾아볼 수 있습니다.

10.1.1.1. Example Usage

로더를 통해 입력 파일을 생성하고 100x100 타일 뭉치로 나누어 업로드하는 세션의 예시는 다음과 같습니다:

# -s use srid 4326
# -I create spatial index
# -C use standard raster constraints
# -M vacuum analyze after load
# *.tif load all these files
# -F include a filename column in the raster table
# -t tile the output 100x100
# public.demelevation load into this table
raster2pgsql -s 4326 -I -C -M -F -t 100x100 *.tif public.demelevation 
> elev.sql

# -d connect to this database
# -f read this file after connecting
psql -d gisdb -f elev.sql

	If you do not specify the schema as part of the target table name, the table will be created in the default schema of the database or user you are connecting with.

UNIX 파이프를 이용하면 변환 및 업로드 작업을 한 번에 끝낼 수 있습니다:

raster2pgsql -s 4326 -I -C -M *.tif -F -t 100x100 public.demelevation | psql -d gisdb

매사추세츠 주의 미터 단위 항공사진 타일 래스터들을 aerial 이라는 스키마로 로드하고, 전체 뷰와 2레벨 및 4레벨 오버뷰 테이블을 생성한 다음, 복사 모드를 통해 (중간 단계 파일 없이 DB로 직접) 삽입하며, 강제로 모든 작업을 상호처리하지 않도록 -e 플래그를 사용하십시오(작업이 완료되길 기다리지 않고 테이블에 들어오는 데이터를 바로 살펴보고자 할 때 유용합니다). 래스터를 128x128 픽셀 타일로 분절한 다음 래스터 제약조건을 적용하십시오. 테이블 삽입 대신 복사 모드를 이용하십시오. 타일들이 잘라져 나온 타일 파일명을 담을 수 있도록 -F 플래그로 "filename"이라는 필드를 포함시키십시오.

raster2pgsql -I -C -e -Y -F -s 26986 -t 128x128  -l 2,4 bostonaerials2008/*.jpg aerials.boston | psql -U postgres -d gisdb -h localhost -p 5432

--get a list of raster types supported:
raster2pgsql -G

-G 옵션이 다음과 같은 목록을 출력할 것입니다:

Available GDAL raster formats:
  Virtual Raster
  GeoTIFF
  National Imagery Transmission Format
  Raster Product Format TOC format
  ECRG TOC format
  Erdas Imagine Images (.img)
  CEOS SAR Image
  CEOS Image
  ...
  Arc/Info Export E00 GRID
  ZMap Plus Grid
  NOAA NGS Geoid Height Grids

사용자가 래스터와 래스터 테이블을 데이터베이스 내부에 생성하려 하는 경우가 많을 것입니다. 그런 작업을 위한, 넘치고도 남을 많은 함수가 있습니다. 일반적인 단계는 다음과 같습니다.

The raster2pgsql tool uses GDAL to access raster data, and can take advantage of a key GDAL feature: the ability to read from rasters that are stored remotely in cloud "object stores" (e.g. AWS S3, Google Cloud Storage).

Efficient use of cloud stored rasters requires the use of a "cloud optimized" format. The most well-known and widely used is the "cloud optimized GeoTIFF" format. Using a non-cloud format, like a JPEG, or an un-tiled TIFF will result in very poor performance, as the system will have to download the entire raster each time it needs to access a subset.

First, load your raster into the cloud storage of your choice. Once it is loaded, you will have a URI to access it with, either an "http" URI, or sometimes a URI specific to the service. (e.g., "s3://bucket/object"). To access non-public buckets, you will need to supply GDAL config options to authenticate your connection. Note that this command is reading from the cloud raster and writing to the database.

AWS_ACCESS_KEY_ID=xxxxxxxxxxxxxxxxxxxx \
AWS_SECRET_ACCESS_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx \
raster2pgsql \
  -s 990000 \
  -t 256x256 \
  -I \
  -R \
  /vsis3/your.bucket.com/your_file.tif \
  your_table \
  | psql your_db

Once the table is loaded, you need to give the database permission to read from remote rasters, by setting two permissions, postgis.enable_outdb_rasters and postgis.gdal_enabled_drivers.

SET postgis.enable_outdb_rasters = true;
SET postgis.gdal_enabled_drivers TO 'ENABLE_ALL';
    

To make the changes sticky, set them directly on your database. You will need to re-connect to experience the new settings.

ALTER DATABASE your_db SET postgis.enable_outdb_rasters = true;
ALTER DATABASE your_db SET postgis.gdal_enabled_drivers TO 'ENABLE_ALL';
    

For non-public rasters, you may have to provide access keys to read from the cloud rasters. The same keys you used to write the raster2pgsql call can be set for use inside the database, with the postgis.gdal_vsi_options configuration. Note that multiple options can be set by space-separating the key=value pairs.

SET postgis.gdal_vsi_options = 'AWS_ACCESS_KEY_ID=xxxxxxxxxxxxxxxxxxxx
AWS_SECRET_ACCESS_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx';

Once you have the data loaded and permissions set you can interact with the raster table like any other raster table, using the same functions. The database will handle all the mechanics of connecting to the cloud data when it needs to read pixel data.

raster_columns 는 사용자 데이터베이스에 있는 모든 래스터 테이블 열의 래스터 유형 카탈로그입니다. 래스터 열 카탈로그는 테이블에 대한 제약조건을 활용하기 때문에, 설령 사용자가 다른 데이터베이스의 백업으로부터 래스터 테이블을 하나 복원했다 하더라도, 카탈로그 정보는 언제나 일관성을 유지합니다. 다음은 raster_columns 카탈로그 안에 존재하는 열들입니다.

로더를 통해 사용자 테이블을 생성하지 않았거나 로드 과정에서 -C 플래그 설정을 잊었을 경우, 테이블 생성 후에 raster_columns 카탈로그가 사용자의 래스터 타일에 관한 일반 정보를 등록하도록 AddRasterConstraints 함수를 통해 제약조건을 강제할 수 있습니다.

raster_overviews 는 오버뷰에 이용되는 래스터 테이블 열에 관한 정보 및 오버뷰 활용시 알면 유용한 추가 정보를 카탈로그화합니다. 오버뷰 테이블은 raster_columns 및 raster_overviews 양쪽에 모두 카탈로그화됩니다. 오버뷰가 나름대로 래스터이긴 하지만, 동시에 고해상도 테이블의 저해상도 썸네일이라는 추가적인 특별 목적을 담당하고 있기 때문입니다. 래스터 로드 작업중 -l 스위치를 사용하면 주 래스터 테이블과 함께 오버뷰 테이블을 생성합니다. 또는 AddOverviewConstraints 함수를 통해 직접 생성할 수도 있습니다.

오버뷰 테이블은 다른 래스터 테이블과 동일한 제약조건은 물론 오직 오버뷰에 특화된 제약조건에 관한 추가 정보도 포함합니다.

	raster_overviews 에 담긴 정보는 raster_columns 의 정보를 복제한 것이 아닙니다. raster_columns 에서 현재 오버뷰 테이블에 관한 정보를 얻어야 할 경우 raster_overviews 와 raster_columns 을 함께 연결(join)시켜 필요한 완전한 정보를 얻으십시오.

오버뷰의 주된 존재 이유는 다음 두 가지입니다:

raster_overviews 카탈로그는 다음과 같은 정보 열을 포함합니다.

이 단원에서, PHP PostgreSQL 드라이버와 ST_AsGDALRaster 계열 함수를 사용해서 래스터의 1, 2, 3 밴드를 PHP 요청 스트림(request stream)으로 출력하는 방법을 설명할 것입니다. 이후 PHP 요청 스트림을 "img src" HTML 태그로 임베딩할 수 있습니다.

예시 쿼리는 여러 래스터 함수를 함께 결합(combine)해서 특정 WGS84 경계 상자와 교차하는 모든 타일을 얻은 다음, ST_Union 함수를 통해 교차하는 타일들과 반환되는 모든 밴드를 통합(union)해서, ST_Transform 함수를 이용해 사용자가 지정한 투영으로 변환한 후, ST_AsPNG 함수로 결과값을 PNG 파일로 출력하는 방법을 보여줍니다.

http://mywebserver/test_raster.php?srid=2249

를 통해 메사추세츠 주의 피트 단위 항공사진의 래스터 이미지를 얻은 후, 다음 쿼리를 호출하십시오.

<?php
/** contents of test_raster.php **/
$conn_str ='dbname=mydb host=localhost port=5432 user=myuser password=mypwd';
$dbconn = pg_connect($conn_str);
header('Content-Type: image/png');
/**If a particular projection was requested use it otherwise use mass state plane meters **/
if (!empty( $_REQUEST['srid'] ) &amp;&amp; is_numeric( $_REQUEST['srid']) ){
                $input_srid = intval($_REQUEST['srid']);
}
else { $input_srid = 26986; }
/** The set bytea_output may be needed for PostgreSQL 9.0+, but not for 8.4 **/
$sql = "set bytea_output='escape';
SELECT ST_AsPNG(ST_Transform(
                        ST_AddBand(ST_Union(rast,1), ARRAY[ST_Union(rast,2),ST_Union(rast,3)])
                                ,$input_srid) ) As new_rast
 FROM aerials.boston
        WHERE
         ST_Intersects(rast, ST_Transform(ST_MakeEnvelope(-71.1217, 42.227, -71.1210, 42.218,4326),26986) )";
$result = pg_query($sql);
$row = pg_fetch_row($result);
pg_free_result($result);
if ($row === false) return;
echo pg_unescape_bytea($row[0]);
?>

이 단원에서, npgsql PostgreSQL .NET 드라이버와 ST_AsGDALRaster 계열 함수를 사용해서 래스터의 1, 2, 3 밴드를 PHP 요청 스트림(request stream)으로 출력하는 방법을 설명할 것입니다. 이후 PHP 요청 스트림을 "img src" HTML 태그로 임베딩할 수 있습니다.

이 예제를 실행하려면 npgsql PostgreSQL .NET 드라이버가 필요합니다. http://npgsql.projects.postgresql.org/ 에서 최신 버전을 다운로드할 수 있습니다. 최신 버전을 다운로드해서 사용자의 ASP.NET bin 폴더에 넣기만 하면 준비가 끝납니다.

예시 쿼리는 여러 래스터 함수를 함께 결합(combine)해서 특정 WGS84 경계 상자와 교차하는 모든 타일을 얻은 다음, ST_Union 함수를 통해 교차하는 타일들과 반환되는 모든 밴드를 통합(union)해서, ST_Transform 함수를 이용해 사용자가 지정한 투영으로 변환한 후, ST_AsPNG 함수로 결과값을 PNG 파일로 출력하는 방법을 보여줍니다.

이 예제는 C#으로 실행된다는 점만 제회하면 Section 10.3.1, “다른 래스터 함수와 함께 ST_AsPNG를 이용해서 PHP 예제를 출력하기” 예제와 동일합니다.

http://mywebserver/test_raster.php?srid=2249

를 통해 메사추세츠 주의 피트 단위 항공사진의 래스터 이미지를 얻은 후, 다음 쿼리를 호출하십시오.

 -- web.config connection string section --
<connectionStrings>
    <add name="DSN"
        connectionString="server=localhost;database=mydb;Port=5432;User Id=myuser;password=mypwd"/>
</connectionStrings>

// Code for TestRaster.ashx
<%@ WebHandler Language="C#" Class="TestRaster" %>
using System;
using System.Data;
using System.Web;
using Npgsql;

public class TestRaster : IHttpHandler
{
        public void ProcessRequest(HttpContext context)
        {

                context.Response.ContentType = "image/png";
                context.Response.BinaryWrite(GetResults(context));

        }

        public bool IsReusable {
                get { return false; }
        }

        public byte[] GetResults(HttpContext context)
        {
                byte[] result = null;
                NpgsqlCommand command;
                string sql = null;
                int input_srid = 26986;
        try {
                    using (NpgsqlConnection conn = new NpgsqlConnection(System.Configuration.ConfigurationManager.ConnectionStrings["DSN"].ConnectionString)) {
                            conn.Open();

                if (context.Request["srid"] != null)
                {
                    input_srid = Convert.ToInt32(context.Request["srid"]);
                }
                sql = @"SELECT ST_AsPNG(
                            ST_Transform(
                                        ST_AddBand(
                                ST_Union(rast,1), ARRAY[ST_Union(rast,2),ST_Union(rast,3)])
                                                    ,:input_srid) ) As new_rast
                        FROM aerials.boston
                                WHERE
                                    ST_Intersects(rast,
                                    ST_Transform(ST_MakeEnvelope(-71.1217, 42.227, -71.1210, 42.218,4326),26986) )";
                            command = new NpgsqlCommand(sql, conn);
                command.Parameters.Add(new NpgsqlParameter("input_srid", input_srid));


                            result = (byte[]) command.ExecuteScalar();
                conn.Close();
                        }

                }
        catch (Exception ex)
        {
            result = null;
            context.Response.Write(ex.Message.Trim());
        }
                return result;
        }
}

이미지 한 장을 반환해서 지정된 파일로 출력하는 쿼리를 이용하는 단순한 Java 콘솔 응용 프로그램입니다.

http://jdbc.postgresql.org/download.html에서 최신 PostgreSQL JDBC 드라이버를 다운로드할 수 있습니다.

다음과 같은 명령어를 통해 예시 코드를 컴파일할 수 있습니다:

set env CLASSPATH .:..\postgresql-9.0-801.jdbc4.jar
javac SaveQueryImage.java
jar cfm SaveQueryImage.jar Manifest.txt *.class

다음과 같은 명령행을 이용해서 컴파일한 코드를 호출하십시오:

java -jar SaveQueryImage.jar "SELECT ST_AsPNG(ST_AsRaster(ST_Buffer(ST_Point(1,5),10, 'quad_segs=2'),150, 150, '8BUI',100));" "test.png" 

-- Manifest.txt --
Class-Path: postgresql-9.0-801.jdbc4.jar
Main-Class: SaveQueryImage

// Code for SaveQueryImage.java
import java.sql.Connection;
import java.sql.SQLException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.io.*;

public class SaveQueryImage {
  public static void main(String[] argv) {
      System.out.println("Checking if Driver is registered with DriverManager.");

      try {
        //java.sql.DriverManager.registerDriver (new org.postgresql.Driver());
        Class.forName("org.postgresql.Driver");
      }
      catch (ClassNotFoundException cnfe) {
        System.out.println("Couldn't find the driver!");
        cnfe.printStackTrace();
        System.exit(1);
      }

      Connection conn = null;

      try {
        conn = DriverManager.getConnection("jdbc:postgresql://localhost:5432/mydb","myuser", "mypwd");
        conn.setAutoCommit(false);

        PreparedStatement sGetImg = conn.prepareStatement(argv[0]);

        ResultSet rs = sGetImg.executeQuery();

                FileOutputStream fout;
                try
                {
                        rs.next();
                        /** Output to file name requested by user **/
                        fout = new FileOutputStream(new File(argv[1]) );
                        fout.write(rs.getBytes(1));
                        fout.close();
                }
                catch(Exception e)
                {
                        System.out.println("Can't create file");
                        e.printStackTrace();
                }

        rs.close();
                sGetImg.close();
        conn.close();
      }
      catch (SQLException se) {
        System.out.println("Couldn't connect: print out a stack trace and exit.");
        se.printStackTrace();
        System.exit(1);
      }
  }
}

서버 디렉터리에 각 레코드를 파일로 생성하는 PLPython 저장 함수입니다. PLPython을 설치해야 합니다. PLPythonu와 PLPythonu3u 모두 잘 작동할 것입니다.

CREATE OR REPLACE FUNCTION write_file (param_bytes bytea, param_filepath text)
RETURNS text
AS $$
f = open(param_filepath, 'wb+')
f.write(param_bytes)
return param_filepath
$$ LANGUAGE plpythonu;

--write out 5 images to the PostgreSQL server in varying sizes
-- note the postgresql daemon account needs to have write access to folder
-- this echos back the file names created;
 SELECT write_file(ST_AsPNG(
        ST_AsRaster(ST_Buffer(ST_Point(1,5),j*5, 'quad_segs=2'),150*j, 150*j, '8BUI',100)),
         'C:/temp/slices'|| j || '.png')
         FROM generate_series(1,5) As j;

     write_file
---------------------
 C:/temp/slices1.png
 C:/temp/slices2.png
 C:/temp/slices3.png
 C:/temp/slices4.png
 C:/temp/slices5.png

안타깝게도 PSQL은 바이너리 출력 작업에 쉽게 사용할 수 있는 내장 기능성을 가지고 있지 않습니다. PostgreSQL의 레거시 대용량 객체 지원에 어느 정도 숟가락만 얹는 꼼수에 가깝습니다. PSQL을 사용하려면, 먼저 사용자 데이터베이스에 연결된 사용자의 PSQL 명령행을 실행하십시오.

파이썬 접근법과는 달리, 이 접근법은 사용자의 로컬 시스템에 파일을 생성합니다.

SELECT oid, lowrite(lo_open(oid, 131072), png) As num_bytes
 FROM
 ( VALUES (lo_create(0),
   ST_AsPNG( (SELECT rast FROM aerials.boston WHERE rid=1) )
  ) ) As v(oid,png);
-- you'll get an output something like --
   oid   | num_bytes
---------+-----------
 2630819 |     74860

-- next note the oid and do this replacing the c:/test.png to file path location
-- on your local computer
 \lo_export 2630819 'C:/temp/aerial_samp.png'

-- this deletes the file from large object storage on db
SELECT lo_unlink(2630819);