Estoy empezando a trabajar con Apache-Airflow y tengo que escribir un archivo Python que me cree una tabla BigQuery a partir de unos archivos csv dados. Para ello estoy utilizando el módulo GCSToBigQueryOperator
. El problema me surge al especificar los parámetros. He encontrado la documentación de los parámetros posibles del operador (https://airflow.apache.org/docs/apache-airflow-providers-google/stable/_api/airflow/providers/google/cloud/transfers/gcs_to_bigquery/index.html), pero no los atributos de cada uno.
Por ejemplo el parámetro write_disposition
tiene los siguientes atributos: 'WRITE_APPEND'
, 'WRITE_EMPTY'
, 'WRITE_TRUNCATE'
He encontrado esto aquí: https://googleapis.dev/python/bigquery/latest/generated/google.cloud.bigquery.job.WriteDisposition.html
Pero ahora quiero especificar el parámetro cluster_fields
y no encuentro documentación. Lo único que he encontrado es que tiene que ser una lista de strings.
¿Alguien me podría ayudar con esto?
Gracias!