级长将数据流自动化引入数据砖
开源数据工作流自动化平台Prefect技术公司Prefect背后的公司今天宣布与数据和人工智能公司Databricks合作,为数据工程师、数据科学家和分析工程师提供自动化数据流的能力,即使是数据最密集的组织和应用程序。
总之,组织将对其工作流程拥有更大的控制权和信心,并能够连接湖屋上现代数据堆栈中的各种资源。Databricks Lakehouse平台结合了数据湖和数据仓库的最佳元素,使用户能够统一其数据,分析和AI,以开源技术为基础,并在云中维护一致的平台。结合Prefect的数据工作流编排平台,数据团队将拥有更高的性能,可靠性和对其数据的可见性。
Databricks技术合作伙伴副总裁Roger Murff表示:“随着Databricks湖屋平台成为数据驱动型组织的中心,工作流编排可确保准确、可靠的数据为关键用例做好准备,同时最大限度地减少人为干预。“Prefect 节省了数据工程师的时间,提供了端到端的可见性,并增强了对数据准确性和可用性的信心。
对于迁移到Databricks的用户,Prefect允许他们使用数据堆栈中的工具,并同时在多个基础架构上运行。此外,数据工程师可以访问他们在Python开发时当前使用的所有工具。
“通过数据砖和级长集成,我们能够以前所未有的效率实现工作流程自动化,”亚力克洞察总监伊丽莎白·霍林格(Elizabeth Hollinger)说。“我们对数据的性能更有信心,并通过级长提供的无与伦比的可见性提高了生产力。
级长和Databricks的合作伙伴关系是由两家公司的共同愿景推动的,即为工程师提供灵活性和开源支持。
“随着数据工程师在整个堆栈中遇到越来越多的工具,我们很高兴添加Databricks作为合作伙伴,以帮助公司继续协调其数据流,”级长首席执行官Jeremiah Lowin说。“数据砖对Prefect技术的验证也有助于进一步推动我们作为领先的数据流自动化平台的发展。