我在AWS、Azure和雪花上建立了数据管道。 Palantir Foundry所做的让我惊讶

我在AWS、Azure和雪花上建立了数据管道。 Palantir Foundry所做的让我惊讶。

高级数据工程师接受培训,对专有平台持怀疑态度. 当我进入一个Palantir Foundry训练新兵营时,我期望找到一个慢而昂贵的替代品,取代我在AWS和Azure上已知的成熟工具. 我发现的是一个平台,它为一个完全不同的用户而建,这个用户不能写SQL,但现在需要答案。 我想写一些我真正诚实的观察, 包括我认为狂欢是正当的, 我写这封信时,这个观点仍然清楚。 速度是真实的 我最受打击的惊喜并不是一个特色 这是速度。 在启动营期间,我们的工作涉及一系列任务:连接数据源,建立转换管道,建立企业用户可以直接互动的工作流程。 为了制造出这种混凝土:建造一条管道,从多个来源吸收数据,应用了变换,并将产出暴露给商业用户,在铸造公司花了几个小时的时间. 在标准AWS或Snowflake堆放有dbt和管弦乐层的堆放上,一个相可比较的设置一般会跑到一个小团队的全速冲刺上去,这并非因为任何单一的硬步,而是因为工具间的高架协调. 我想小心我是什么 而不是在这里声称。 这是一个结构化的培训环境,有指导性的例子,而不是具有实际企业复杂性和遗留制约的生产基础设施。 比较不受控制。 但分歧的方向已经足够清楚,我注意到了. Foundry 的管道构建器总结了 大量的协调工作, 我无法从一个新兵营中回答一个问题,但值得严肃地提出这个问题。 老实人。

（编译自 InfoWorld；原文 https://www.infoworld.com/article/4209881/palantir-foundry-vs-snowflake.html，编译转述，非原文转载）