Vendido por Zinn Digital
Una canalización ETL confiable que transfiere datos entre sus sistemas según un cronograma establecido, se recupera sin problemas de los fallos y señala los problemas antes de que provoquen la pérdida de datos.
Qué hace
Esto vincula los sistemas que utiliza actualmente, como una base de datos con un almacén de datos, un CRM con una herramienta de informes, una API con una hoja de cálculo o varios de estos combinados. Transferir filas durante el funcionamiento estándar es sencillo; la verdadera prueba es lo que ocurre en el día cuarenta, cuando un token de autenticación caduca a las 2 de la madrugada, una tabla de origen adquiere un nuevo campo que admite valores nulos o una transferencia por lotes se interrumpe a mitad de camino.
Cómo está construido
La extracción, la carga y la transformación se mantienen como fases independientes, ya que cada una puede fallar por motivos distintos y requiere su propio mecanismo de reintento. La extracción sigue un cursor o una marca de agua para garantizar que el reinicio se reanude desde donde se detuvo en lugar de duplicar registros. La carga se realiza dentro de una transacción para cada lote, lo que significa que una interrupción deja el destino en un estado coherente en lugar de parcialmente actualizado. Las reglas de transformación permanecen en SQL o Python bajo control de versiones en lugar de en un generador visual que luego resulta difícil de leer.
Cada ejecución genera un manifiesto que detalla las filas leídas, las filas escritas, las filas rechazadas y el motivo de cada rechazo. Una clave natural combinada con un hash garantiza que el proceso sea idempotente, lo que significa que volver a ejecutar un trabajo anterior no causa ningún daño. Las modificaciones en los esquemas de origen se detectan antes de que interrumpan una carga, lo que genera una alerta en lugar de un error silencioso.
Qué recibe usted
Qué necesitamos de usted
Acceso de lectura a los sistemas de origen y destino, una muestra funcional de los datos y el cronograma que su empresa realmente requiere en lugar de uno ambicioso.
Plazos y actualizaciones
Por lo general, una versión funcional inicial está lista en un plazo de cinco días e incluye una ejecución de prueba para su revisión antes del despliegue en producción. Las actualizaciones se proporcionan mediante breves notas por escrito en cada hito en lugar de reuniones, y las decisiones que afectan a sus datos (como la retención, los periodos de backfill y el tratamiento de las filas rechazadas) se registran para futuras consultas. Si no es posible alcanzar la fiabilidad en el tiempo permitido, se le informará con la debida antelación para modificar el plan en lugar de descubrir los problemas en el lanzamiento.
Esta compilación se suministra como un paquete único de precio fijo, finalizado de una sola vez con una revisión incluida, en un plazo de entrega de 14 días. Deberá proporcionar el dominio al que se aplica el pedido y sus instrucciones.
562,99 US$
O pague 502,59 € · 420,89 GBP a la tarifa de hoy: la tarifa se congela cuando lo añade a su cesta.
One fixed-price scope, delivered in one pass: ETL Pipeline Build. - 1 revision
Entregado en 14 días
Revisiones incluidas: 0
No se necesita una cuenta previa: la suya se crea al finalizar la compra. Retenemos el dinero hasta que usted acepte el trabajo.
En tales situaciones utilizamos un cursor compuesto o un hash de contenido, y analizamos los pros y contras con usted antes de escribir cualquier código. Un hash incrementa el coste por ejecución, pero garantiza que no se pase por alto ningún cambio.
Sí. Hemos creado canalizaciones a través de numerosas bases de datos relacionales y no relacionales, almacenes en la nube, almacenamiento de objetos, aplicaciones de hojas de cálculo e interfaces REST estándar. La selección de herramientas se basa en lo que su equipo pueda mantener de forma práctica.
Cada lote genera un manifiesto que contiene los recuentos de filas y las causas de los rechazos, y el conjunto de pruebas verifica con una muestra auténtica de sus datos, lo que significa que un cambio de esquema no anunciado aparece como una prueba fallida en lugar de una fila faltante.