第10章 ラスターデータの管理、クエリ、アプリケーション

raster2pgsqlは、GDAL がサポートするラスター書式を PostGIS ラスタテーブルにロードするのに適切な SQL にする実行ファイルです。ラスターのオーバビューの生成だけでなく、ラスターファイルのフォルダのロードも可能です。

かなり多くの場合、(ご自分の GDAL ライブラリをコンパイルしない限り) raster2pgsqlは PostGIS の一部としてコンパイルされるので、実行ファイルがサポートするラスタータイプは GDAL の依存ライブラリでコンパイルされたものと同じになります。お手持ちのraster2pgsqlがサポートするラスタータイプの一覧は、-Gスイッチで見ることができます。

	同じアラインメントを持つラスターの集合から特定の要素のオーバビューを生成する時、オーバビューが同じアラインメントを持たないことがあります。オーバビューが同じアラインメントを持たない例についてはhttp://trac.osgeo.org/postgis/ticket/1764をご覧下さい。

10.1.1.1. 使用例

ローダを用いて入力ファイルを 100x100のタイルで生成して、データベースにアップロードする例は、次の通りです。

ローダーが SRID を 4326にし、インデックスを作成し、標準の制約を作成し、ロードされたテーブルに ANALYZE をかけ、ソースファイル名を記録して、入力ラスターを 100x100 ピクセルのタイルで保存します。

コード

コピー

raster2pgsql -s 4326 -I -C -M -F -t 100x100 *.tif public.demelevation 
> elev.sql
psql -d gisdb -f elev.sql

	対象テーブル名の一部としてスキーマを指定しない場合には、テーブルはデータベースのデフォルトスキーマ内かユーザーが接続しているスキーマ内に作られます。

変換とアップロードは UNIX のパイプを使うと一回で実行できます。

コード

コピー

raster2pgsql -s 4326 -I -C -M -F -t 100x100 \
  *.tif public.demelevation |
  psql -d gisdb

マサチューセッツ州平面のメートル単位の空中写真タイルをaerialという名前のスキーマにロードします。 元の画像と 2, 4レベルのオーバビューのテーブルとを生成します。 データ格納に COPY を使用し (データベースに仲介ファイルなくまっすぐ入ります)、-e でトランザクションを指定しないようにします (待たずにテーブルのデータを見たい場合には良いです)。ラスターを 128x128ピクセルのタイルに分解してラスター制約を適用します。INSERT モードでなく COPY モードを使用します。-F で、カラム名をタイル切り出し元ファイルのファイル名にします。

コード

コピー

raster2pgsql -I -C -e -Y -F -s 26986 -t 128x128 -l 2,4 \
  bostonaerials2008/*.jpg aerials.boston |
  psql -U postgres -d gisdb -h localhost -p 5432

このコマンドが対応するラスターフォーマットの一覧:

コード

コピー

raster2pgsql -G

-G コマンドの出力は次のようになります:

出力

Available GDAL raster formats:
  Virtual Raster
  GeoTIFF
  National Imagery Transmission Format
  Raster Product Format TOC format
  ECRG TOC format
  Erdas Imagine Images (.img)
  CEOS SAR Image
  CEOS Image
  ...
  Arc/Info Export E00 GRID
  ZMap Plus Grid
  NOAA NGS Geoid Height Grids

データベース内でラスターやラスタテーブルを生成したい場合が多くあります。これを行うための関数が多数あります。一般的な手順は次の通りです。

raster2pgsqlツールは GDAL を使用してラスターデータにアクセスします。また、クラウドの「オブジェクト保存」 (AWS S3や Google Cloud Storage 等) にリモート格納されたラスターを読む能力という、重要なGDAL 機能の利点を享受することができます。

クラウドストレージの効率的な仕様には、「クラウド最適化」された書式の使用が必要です。最も知られて幅広く使われているものは、 "cloud optimized GeoTIFF"です。JPEGや非タイル化 TIFF などの非クラウド書式を使うと、発揮される能力は非常に貧弱になります。システムがラスターの一部分にアクセスする必要に迫られるたびに全体をダウンロードするためです。

まず、ラスターをあなたが選択したクラウドストレージに保存します。保存したら、アクセスに使う URI が得られます。"http"URI か、時々特別なサービスを示す URI ( "s3://bucket/object"等) です。非公開バケットにアクセスするには、接続認証のための GDAL コンフィギュレーションオプションが必要になります。このコマンドはクラウドラスターから読み、データベースに書きます。

AWS_ACCESS_KEY_ID=xxxxxxxxxxxxxxxxxxxx \
AWS_SECRET_ACCESS_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx \
raster2pgsql \
  -s 990000 \
  -t 256x256 \
  -I \
  -R \
  /vsis3/your.bucket.com/your_file.tif \
  your_table \
  | psql your_db

テーブルがロードされたら、データベースにリモートラスターらか読むためのアクセス許可を与えます。postgis.enable_outdb_rastersとpostgis.gdal_enabled_driversの、二つのアクセス許可を設定します。

SET postgis.enable_outdb_rasters = true;
SET postgis.gdal_enabled_drivers TO 'ENABLE_ALL';
    

確実に変更するには、データベースに直接設定します。新しい設定を使うには再接続が必要です。

ALTER DATABASE your_db SET postgis.enable_outdb_rasters = true;
ALTER DATABASE your_db SET postgis.gdal_enabled_drivers TO 'ENABLE_ALL';
    

非公開ラスターの場合、クラウドラスターから読み取るアクセスキーを与えなければならない場合があります。raster2pgsqlの書き込みに使用したのと同じキーを、データベース内でpostgis.gdal_vsi_options設定と共に使用するように設定できます。key=valueペアをスペースで区切ることで、複数のオプションを設定できることに注意してください。

SET postgis.gdal_vsi_options = 'AWS_ACCESS_KEY_ID=xxxxxxxxxxxxxxxxxxxx
AWS_SECRET_ACCESS_KEY=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx';

データをロードし、パーミッションが設定されると、ラスターテーブルは他のラスターテーブルとおなじように、同じ関数を使って、対話的処理が可能となります。データベースは、ピクセルデータの読み取りが必要なら、クラウドへの接続の全てを扱います。

raster_columnsは、ラスタータイプのデータベースにおける全てのラスターテーブルカラムのカタログです。テーブルの制約を使ったビューなので、他のデータベースのバックアップからラスターテーブルをリストアしたとしても、情報は常に矛盾がありません。raster_columnsカタログには次のカラムがあります。

ローダを使わずにテーブルを生成したり、ロード時に-C フラグを忘れたりした場合には、事後にAddRasterConstraintsで制約を強制でき、raster_columnsカタログは、ラスタータイルの共通の情報を登録します。

raster_overviewsは、オーバビューで使われるラスターテーブルカラムに関する情報のカタログで、オーバビューを用いる際に知っておくと便利な情報も持ちます。オーバビューテーブルはraster_columnsとraster_overviewsの両方のカタログに入れられます。オーバビューもラスターの一つであるのは確かですが、より高い解像度テーブルの解像度を落としたカリカチュアになるという特殊な目的を満たすためでもあるからです。ラスターをロードする際に-lスイッチを使うと、オーバビューが主ラスターテーブルと一緒に生成されます。もしくは、AddOverviewConstraintsを使うと手動で生成できます。

オーバビューテーブルには、他のラスターテーブルと同じ制約と、オーバビュー特有の制約となる追加情報があります。

	raster_overviewsの情報はraster_columnsとは重複しません。raster_columnsにあるオーバビューテーブルに関する情報が必要な場合は、raster_overviewsとraster_columnsとを結合すると、必要な情報の集合を完全に取得することができます。

オーバビューの主たる理由は次の二つです。

raster_overviewsカタログには、次の情報のカラムがあります。

本節では、PHP の PostgreSQL ドライバーとST_AsGDALRaster等の関数を使って、HTML img タグに埋め込むことができる PHP リクエストストリームにラスターの 1、2、3バンドを出力する方法を示します。

サンプルクエリでは、 指定した WGS84バウンディングボックスにインタセクトするタイルを取って、 ST_Unionでインタセクトしたタイルを結合して全てのバンドを返し、ST_Transformでユーザー指定投影法に変換し、ST_AsPNGを使って PNG で結果を出力するためのラスター関数群全体をまとめる方法を示します。

このスクリプトは http://mywebserver/test_raster.php?srid=2249 で呼んで、フィート単位マサチューセッツ州平面座標系のラスター画像を得ます。

<?php
$conn_str = 'dbname=mydb host=localhost port=5432 user=myuser password=mypwd';
$dbconn = pg_connect($conn_str);
header('Content-Type: image/png');

if (!empty($_REQUEST['srid']) &amp;&amp; is_numeric($_REQUEST['srid'])) {
    $input_srid = intval($_REQUEST['srid']);
} else {
    $input_srid = 26986;
}

$sql = "SET bytea_output = 'escape';
SELECT ST_AsPNG(
    ST_Transform(
        ST_AddBand(
            ST_Union(rast, 1),
            ARRAY[ST_Union(rast, 2), ST_Union(rast, 3)]
        ),
        $input_srid
    )
) AS new_rast
FROM aerials.boston
WHERE ST_Intersects(
    rast,
    ST_Transform(
        ST_MakeEnvelope(-71.1217, 42.227, -71.1210, 42.218, 4326),
        26986
    )
)";

$result = pg_query($sql);
$row = pg_fetch_row($result);
pg_free_result($result);
if ($row === false) return;
echo pg_unescape_bytea($row[0]);
?>

本節では Npgsql PostgreSQL.NET ドライバーと ST_AsGDALRaster 系の使い方を示します。1, 2, 3 バンドを HTTP 応答ストリームに出力するので、img タグに埋め込むことができます。

この例では Npgsql .NET PostgreSQL ドライバーが必要です。最新版はhttp://npgsql.projects.postgresql.org/にあります。最新版をダウンロードして、ASP.NET の bin フォルダに入れるだけでうまくいきます。

サンプルクエリでは、 指定した WGS84バウンディングボックスにインタセクトするタイルを取って、 ST_Unionでインタセクトしたタイルを結合して全てのバンドを返し、ST_Transformでユーザー指定投影法に変換し、ST_AsPNGを使って PNG で結果を出力するためのラスター関数群全体をまとめる方法を示します。

この例は C#で実装している点を除いては「ST_AsPNG を他の関数とあわせて使った PHP 出力例」と同じです。

http://mywebserver/TestRaster.ashx?srid=2249 でフィート単位マサチューセッツ州平面のラスター画像を得るための処理プログラムを呼び出します。

web.config の接続文字列設定部分:

<connectionStrings>
    <add name="DSN"
        connectionString="server=localhost;database=mydb;Port=5432;User Id=myuser;password=mypwd"/>
</connectionStrings>

TestRaster.ashx のコード:

<%@ WebHandler Language="C#" Class="TestRaster" %>
using System;
using System.Data;
using System.Web;
using Npgsql;

public class TestRaster : IHttpHandler
{
    public void ProcessRequest(HttpContext context)
    {
        context.Response.ContentType = "image/png";
        context.Response.BinaryWrite(GetResults(context));
    }

    public bool IsReusable {
        get { return false; }
    }

    public byte[] GetResults(HttpContext context)
    {
        byte[] result = null;
        NpgsqlCommand command;
        string sql = null;
        int input_srid = 26986;
        try {
            string connectionString = System.Configuration.ConfigurationManager
                .ConnectionStrings["DSN"].ConnectionString;
            using (NpgsqlConnection conn = new NpgsqlConnection(connectionString)) {
                conn.Open();

                if (context.Request["srid"] != null)
                {
                    input_srid = Convert.ToInt32(context.Request["srid"]);
                }
                sql = @"SELECT ST_AsPNG(
                            ST_Transform(
                                ST_AddBand(
                                    ST_Union(rast, 1),
                                    ARRAY[ST_Union(rast, 2), ST_Union(rast, 3)]
                                ),
                                :input_srid
                            )
                        ) As new_rast
                        FROM aerials.boston
                        WHERE ST_Intersects(
                            rast,
                            ST_Transform(
                                ST_MakeEnvelope(
                                    -71.1217, 42.227,
                                    -71.1210, 42.218,
                                    4326
                                ),
                                26986
                            )
                        )";
                command = new NpgsqlCommand(sql, conn);
                command.Parameters.Add(new NpgsqlParameter("input_srid", input_srid));


                result = (byte[]) command.ExecuteScalar();
                conn.Close();
            }

        }
        catch (Exception ex)
        {
            result = null;
            context.Response.Write(ex.Message.Trim());
        }
        return result;
    }
}

これは、一つの画像を返すクエリを取り、指定したファイルに出力する、簡単な Javaコンソールアプリケーションです。

最新の PostgreSQL JDBC ドライバーはhttp://jdbc.postgresql.org/download.htmlからダウンロードできます。

後で示すコードは次のようなコマンドでコンパイルできます:

CLASSPATH=".:../postgresql.jar" javac SaveQueryImage.java
jar cfm SaveQueryImage.jar Manifest.txt *.class

そしてコマンドラインから次のように実行します:

java -jar SaveQueryImage.jar \
  "SELECT ST_AsPNG(ST_AsRaster(ST_Buffer(ST_Point(1, 5), 10, 'quad_segs=2'), 150, 150, '8BUI', 100));" \
  "test.png"

Manifest.txt:

Class-Path: postgresql-9.0-801.jdbc4.jar
Main-Class: SaveQueryImage

SaveQueryImage.java のコード:

import java.sql.Connection;
import java.sql.SQLException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.io.*;

public class SaveQueryImage {
  public static void main(String[] argv) {
      System.out.println("Checking if Driver is registered with DriverManager.");

      try {
        //java.sql.DriverManager.registerDriver (new org.postgresql.Driver());
        Class.forName("org.postgresql.Driver");
      }
      catch (ClassNotFoundException cnfe) {
        System.out.println("Couldn't find the driver!");
        cnfe.printStackTrace();
        System.exit(1);
      }

      Connection conn = null;

      try {
        conn = DriverManager.getConnection("jdbc:postgresql://localhost:5432/mydb", "myuser", "mypwd");
        conn.setAutoCommit(false);

        PreparedStatement sGetImg = conn.prepareStatement(argv[0]);

        ResultSet rs = sGetImg.executeQuery();

        FileOutputStream fout;
        try
        {
            rs.next();
            /** Output to file name requested by user **/
            fout = new FileOutputStream(new File(argv[1]) );
            fout.write(rs.getBytes(1));
            fout.close();
        }
        catch(Exception e)
        {
            System.out.println("Can't create file");
            e.printStackTrace();
        }

        rs.close();
        sGetImg.close();
        conn.close();
      }
      catch (SQLException se) {
        System.out.println("Couldn't connect: print out a stack trace and exit.");
        se.printStackTrace();
        System.exit(1);
      }
  }
}

これは、サーバディレクトリ内でレコードごとにファイルを生成する Python ストアド関数です。plpython が必要です。plpythonu と plpython3u の両方が正しく動作します。

CREATE OR REPLACE FUNCTION write_file (param_bytes bytea, param_filepath text)
RETURNS text
AS $$
f = open(param_filepath, 'wb+')
f.write(param_bytes)
return param_filepath
$$ LANGUAGE plpythonu;

5個の画像を異なるサイズで PostgreSQL サーバーに書き込みます。PostgreSQL デーモンアカウントはフォルダーへの書き込み権限が必要です。この例では生成したファイル名が表示されます。

SELECT write_file(
    ST_AsPNG(
        ST_AsRaster(
            ST_Buffer(ST_Point(1, 5), j * 5, 'quad_segs=2'),
            150 * j,
            150 * j,
            '8BUI',
            100
        )
    ),
    'C:/temp/slices' || j || '.png'
)
FROM generate_series(1, 5) AS j;

write_file
---------------------
 C:/temp/slices1.png
 C:/temp/slices2.png
 C:/temp/slices3.png
 C:/temp/slices4.png
 C:/temp/slices5.png

悲しいことに PSQL はバイナリー出力の使いやすい組込み機能がありません。ここで示すのは PostgreSQL の少しレガシーなラージオブジェクト機能に便乗するハッキングです。使用するにはデータベースへの psql コマンドライン接続が必要です。

この方法は Python の場合と違い、ローカル機にファイルが生成されます。

SELECT
    oid,
    lowrite(lo_open(oid, 131072), png) AS num_bytes
FROM (VALUES (
    lo_create(0),
    ST_AsPNG((SELECT rast FROM aerials.boston WHERE rid = 1))
)) AS v(oid, png);

oid   | num_bytes
---------+-----------
 2630819 |     74860

ラージオブジェクトの OID を記録して、例のパスを求めるファイルパスに入れ替えてローカルのファイルにエクスポートします。

\lo_export 2630819 'C:/temp/aerial_samp.png'

これはデータベース内のラージオブジェクトストレージからファイルを削除します。

SELECT lo_unlink(2630819);