Estoy trabajando con google dataproc, google composer y apache airflow, pero tengo el problema que cuandose ejecuta mi flujo con un schedule desde airflow en ocasiones X job en lugar de durar 3 minutos, por dar un ejemplo, sobrepasa ese tiempo y nunca termina (la última vez duró 1 hora ), por lo tanto tengo que manualmente detener el job, existe alguna forma de que en cierto tiempo(digamos 10 minutos) mate el job haya terminado o no?
ya utilice execution_timeout, en el dag si le hace caso y lo pinta de amarillo(upstream_failed) al sobrepasar el tiempo que le defino, pero en dataproc no detiene como tal el job y continúa con la ejecución.
también utilicéinit_action_timeout pero no le hace caso y continúa con la ejecución
De antemano gracias