Sources externes

Un catalogue externe donne accès en lecture à une source hors de l'entrepôt. Ses tables s'interrogent avec la notation catalogue.base.table, sans copie préalable.

Créer un catalogue

Menu + > Catalog : choisissez le type (JDBC, Hive Metastore, Elasticsearch, Iceberg, Paimon, Hudi, Trino) puis renseignez les propriétés demandées.

Source	type	Propriétés principales
MySQL, PostgreSQL, SQL Server, Oracle	jdbc	user, password, jdbc_url, driver_url, driver_class
Iceberg	iceberg	iceberg.catalog.type (rest, hms, glue), uri, warehouse
Hive	hms	hive.metastore.uris
Elasticsearch	es	hosts, user, password

La source doit accepter les connexions de DataKanu. Demandez au support les adresses IP à autoriser.

Base relationnelle (JDBC)

CREATE CATALOG pg_ops PROPERTIES (
  "type" = "jdbc",
  "user" = "lecteur",
  "password" = "…",
  "jdbc_url" = "jdbc:postgresql://pg.example.com:5432/ops",
  "driver_url" = "https://repo1.maven.org/maven2/org/postgresql/postgresql/42.7.9/postgresql-42.7.9.jar",
  "driver_class" = "org.postgresql.Driver"
);

L'URL JDBC doit contenir le nom de la base (…:5432/ops).

Pour MySQL : jdbc:mysql://hôte:3306/base, classe com.mysql.cj.jdbc.Driver, pilote https://repo1.maven.org/maven2/com/mysql/mysql-connector-j/8.0.33/mysql-connector-j-8.0.33.jar.

Tables Iceberg

Les outils sans destination directe, comme Fivetran, peuvent écrire en Iceberg sur votre stockage objet ; un catalogue Iceberg lit ensuite ces tables.

CREATE CATALOG lake PROPERTIES (
  "type" = "iceberg",
  "iceberg.catalog.type" = "rest",
  "uri" = "https://iceberg.example.com",
  "warehouse" = "s3://bucket/warehouse",
  "s3.endpoint" = "https://s3.eu-west-3.amazonaws.com",
  "s3.region" = "eu-west-3",
  "s3.access_key" = "…",
  "s3.secret_key" = "…"
);

Avec un stockage compatible S3 autre qu'AWS, utilisez un catalogue rest.

Interroger et copier

SELECT * FROM pg_ops.public.orders LIMIT 10;

INSERT INTO analytics.orders SELECT * FROM pg_ops.public.orders;
CREATE TABLE analytics.commandes AS SELECT * FROM lake.ventes.commandes;

Entourez de backticks les noms contenant -, . ou des espaces : pg_ops.`ventes-2026`.orders.

Planifiez une copie régulière avec une tâche planifiée.

Réplication des changements (CDC)

Flink CDC, avec le connecteur Flink pour Doris, réplique en continu les changements d'une base source. Utilisez un compte de service de modèle Loader.

Ressources

Une ressource enregistre une seule fois les paramètres d'accès à un stockage (S3, HDFS) ou à une source (JDBC, Spark, Hive Metastore, Elasticsearch, ODBC), réutilisés ensuite par leur nom. Menu + > Resource, ou en SQL :

CREATE RESOURCE s3_exports PROPERTIES (
  "type" = "s3",
  "s3.endpoint" = "https://s3.eu-west-3.amazonaws.com",
  "s3.region" = "eu-west-3",
  "s3.bucket" = "mon-bucket",
  "s3.root.path" = "exports",
  "s3.access_key" = "…",
  "s3.secret_key" = "…"
);

Supprimer

DROP CATALOG pg_ops;
DROP RESOURCE s3_exports;

Les données de la source ne sont pas affectées.