Enable automatic table schema evolution¶

使用上の注意¶

• この機能は、Apache Avro、Apache Parquet、 CSV、 JSON、 ORC ファイルをサポートしています。

• この機能は、 COPY INTO <テーブル> ステートメントとSnowpipeデータロードに限定されます。INSERT の操作で自動的にターゲットテーブルのスキーマを進化させることはできません。

• Snowflake Ingest SDK を使用して:doc:Snowpipe Streaming </user-guide/snowpipe-streaming/data-load-snowpipe-streaming-overview> データを直接ロードすることは、スキーマ進化ではサポートされていません。Snowpipe Streamingを使用したKafkaコネクタ は、スキーマ検出および進化をサポートしています。

• デフォルトでは、この機能は、COPY の操作ごとに、最大100列の追加または1スキーマ以上の進化に制限されています。COPY の操作ごとに、100列を超える追加列または1つのスキーマをリクエストする場合は、Snowflakeサポート にお問い合わせください。

• NOT NULL 列制約のドロップには制限はありません。

• スキーマ進化は、次のビューとコマンドの SchemaEvolutionRecord 出力によって追跡されます:INFORMATION_SCHEMACOLUMNSView、 ACCOUNT_USAGE COLUMNS View、 DESCRIBE TABLE コマンド、および SHOW COLUMNS コマンド。

  しかし、Snowpipe StreamingのKafkaコネクタでは、スキーマの進化は SchemaEvolutionRecord の出力では追跡されません。SchemaEvolutionRecord の出力は常に NULL を示します。

• スキーマの進化後に列の名前が手動で変更または修正されると、スキーマの進化記録はクリアされます。

• スキーマの進化は タスク ではサポートされていません。

スキーマ進化のサポート:インジェスションメソッドの比較¶

特定のメタデータフィールド SchemaEvolutionRecord はスキーマの進化を追跡するために使用されます。このフィールドは INFORMATION_SCHEMA.COLUMNS ビュー 、 DESCRIBE TABLE コマンド 、および SHOW COLUMNS コマンド で表示できます。

以下のテーブルは、さまざまなSnowflakeインジェスションメソッドでのスキーマ進化のサポートと対応する SchemaEvolutionRecord 追跡動作をまとめたものです。

例¶

次の例では、Parquetデータのセットから派生した列定義を持つテーブルを作成します。テーブルのスキーマの自動進化を有効にすると、名前と値のペアを追加したParquetファイルからさらにデータを読み取る際に、列がテーブルに自動で追加されます。

ステートメントで参照されている mystage ステージと my_parquet_format ファイル形式がすでに存在している必要があることに注意してください。ファイルのセットは、ステージ定義で参照されるクラウドストレージの場所に既にステージングされている必要があります。

この例は、 INFER_SCHEMA トピックの例に基づいて構築されています。

CopyExpand

-- Create table t1 in schema d1.s1, with the column definitions derived from the staged file1.parquet file.
USE SCHEMA d1.s1;

CREATE OR REPLACE TABLE t1
  USING TEMPLATE (
    SELECT ARRAY_AGG(object_construct(*))
      FROM TABLE(
        INFER_SCHEMA(
          LOCATION=>'@mystage/file1.parquet',
          FILE_FORMAT=>'my_parquet_format'
        )
      ));

-- Row data in file1.parquet.
+------+------+------+
| COL1 | COL2 | COL3 |
|------+------+------|
| a    | b    | c    |
+------+------+------+

-- Describe the table.
-- Note that column c2 is required in the Parquet file metadata. Therefore, the NOT NULL constraint is set for the column.
DESCRIBE TABLE t1;
+------+-------------------+--------+-------+---------+-------------+------------+-------+------------+---------+-------------+
| name | type              | kind   | null? | default | primary key | unique key | check | expression | comment | policy name |
|------+-------------------+--------+-------+---------+-------------+------------+-------+------------+---------+-------------|
| COL1 | VARCHAR(16777216) | COLUMN | Y     | NULL    | N           | N          | NULL  | NULL       | NULL    | NULL        |
| COL2 | VARCHAR(16777216) | COLUMN | N     | NULL    | N           | N          | NULL  | NULL       | NULL    | NULL        |
| COL3 | VARCHAR(16777216) | COLUMN | Y     | NULL    | N           | N          | NULL  | NULL       | NULL    | NULL        |
+------+-------------------+--------+-------+---------+-------------+------------+-------+------------+---------+-------------+

-- Use the SECURITYADMIN role or another role that has the global MANAGE GRANTS privilege.
-- Grant the EVOLVE SCHEMA privilege to any other roles that could insert data and evolve table schema in addition to the table owner.

GRANT EVOLVE SCHEMA ON TABLE d1.s1.t1 TO ROLE r1;

-- Enable schema evolution on the table.
-- Note that the ENABLE_SCHEMA_EVOLUTION property can also be set at table creation with CREATE OR REPLACE TABLE
ALTER TABLE t1 SET ENABLE_SCHEMA_EVOLUTION = TRUE;

-- Load a new set of data into the table.
-- The new data drops the NOT NULL constraint on the col2 column.
-- The new data adds the new column col4.
COPY INTO t1
  FROM @mystage/file2.parquet
  FILE_FORMAT = (type=parquet)
  MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE;

-- Row data in file2.parquet.
+------+------+------+
| col1 | COL3 | COL4 |
|------+------+------|
| d    | e    | f    |
+------+------+------+

-- Describe the table.
DESCRIBE TABLE t1;
+------+-------------------+--------+-------+---------+-------------+------------+-------+------------+---------+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| name | type              | kind   | null? | default | primary key | unique key | check | expression | comment | policy name | schema evolution record                                                                                                                                                                  |
|------+-------------------+--------+-------+---------+-------------+------------+-------+------------+---------+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| COL1 | VARCHAR(16777216) | COLUMN | Y     | NULL    | N           | N          | NULL  | NULL       | NULL    | NULL        | NULL                                                                                                                                                                                     |
| COL2 | VARCHAR(16777216) | COLUMN | Y     | NULL    | N           | N          | NULL  | NULL       | NULL    | NULL        | {"evolutionType":"DROP_NOT_NULL","evolutionMode":"COPY","fileName":"file2.parquet","triggeringTime":"2024-03-15 23:52:59.514000000Z","queryId":"01b303b8-0808-c9ed-0000-0971491b5932"}   |
| COL3 | VARCHAR(16777216) | COLUMN | Y     | NULL    | N           | N          | NULL  | NULL       | NULL    | NULL        | NULL                                                                                                                                                                                     |
| COL4 | VARCHAR(16777216) | COLUMN | Y     | NULL    | N           | N          | NULL  | NULL       | NULL    | NULL        | {"evolutionType":"ADD_COLUMN","evolutionMode":"COPY","fileName":"file2.parquet","triggeringTime":"2024-03-15 23:52:59.514000000Z","queryId":"01b303b8-0808-c9ed-0000-0971491b5932"}      |
+------+-------------------+--------+-------+---------+-------------+------------+-------+------------+---------+-------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
-- Note that since MATCH_BY_COLUMN_NAME is set as CASE_INSENSITIVE, all column names are retrieved as uppercase letters.

Show lessSee more

Scroll to top