IBM新增 Apache Spark支援

IBM最新z/OS平台可支援Apache Spark,方便企业更简便、更快速地取用及分析IBM z Systems大型主机内的资料,为资料科学家与开发商创造新契机,结合先进分析技术与系统内丰富资料,拥有即时分析能力。

IBM z/OS 平台可支援Apache Spark,使开源分析架构Spark可自然地在z/OS大型主机作业系统内运作。此新平台现已上市,帮助资料科学家在系统源头分析资料,不需撷取、转换与载入(ETL),打破分析资料库与底层档案系统的连结。


[广告]

在认知时代中,资料是新的天然资源,电脑系统能够了解、归纳并学习这些资料,企业则必须在洞见价值尚未消失前,及时地开发与利用。该平台包含z Systems事业伙伴开发的加速器,让组织能更轻易的利用z Systems资料与性能,以了解市场变迁及满足个别客户需求,并即时调整业务,缩短创造价值所需的时间。

全球多家大型银行、保险业者、零售商及运输公司均已使用z Systems处理重要资料及交易,其中内含业界最快速的商业微处理器,能在交易中执行分析工作,并在两毫秒内计算交易的预测模型。各组织如今可运用这些功能,透过Spark运用先进的内存记忆体分析,无需将资料移到大型主机外,如此可节省时间与金钱,也降低潜在风险。

IBM新兴网路技术研究员Rod Smith指出,「企业不论规模大小,都逐渐转型为即时数位组织,企业必须掌握内部所有资料的全貌,但不能耗费过多时间或提高ETL风险。透过Apache Spark可于z Systems等IBM平台内自然运作,客户能在存有重要资料的交易系统内完成分析,同时从其他资料来源挖掘相关资讯,实践与客户即时互动、创造营收」。

支援Apache Spark的IBM z/OS平台内含Spark的开源功能,包括Apache Spark核心、Spark SQL、Spark Streaming、机器学习资料库(MLlib)与Graphx,搭配业界中唯一大型主机内建Spark资料提炼解决方案。全新IBM z/OS平台协助企业提升汲取洞见的效能与安全性,特色包括:
•简化开发-开发者与资料科学家能运用本身既有的专业及程式语言,如Scala、Python、R及SQL,缩短评估可行作为所需的时间。
•简化资料存取-优化资料抽象化服务后能降低複杂度,并透过Apache Spark APIs的常见工具,以IMS、VSAM、DB2 z/OS、PDSE或SMF等传统格式,流畅存取企业资料。
•就地化资料分析-Apache Spark使用内存记忆体的方式处理资料,以加速传送结果。该平台包含资料提炼与整合服务,协助z/OS分析应用程式并善用标準Spark APIs,如此可让组织恰当準确地分析资料,免除与ETL有关的高成本处理及安全考量。
•开放源码功能-本平台提供Apache Spark开源码、专为海量资料设计的内存记忆体处理引擎。

IBM也与DataFactZ、Rocket Software及Zementis三家伙伴合作,使用支援Apache Spark的 IBM z/OS 平台建立客製化解决方案:
•DataFactZ为IBM的新合作伙伴,共同以Spark SQL及MLlib为基础,开发Spark分析工具,处理大型主机内的资料与交易。
•Rocket Software为IBM长期合作伙伴,合作项目包括z/OS Apache Spark,例如客户在最新的Rocket Launchpad解决方案内,可使用z/OS上的资料试用该平台。
•Zementis在自有z/OS交易内预测分析工具中,搭配Apache Spark标準执行引擎,这项解决方案协助用户建置与执行先进的预测模型,估算终端用户的需求、计算风险,并在最大冲击时即时侦测错误,同时处理交易内容。

最新支援Apache Spark的z/OS 平台与伙伴解决方案结合后,可协助在不同来源中收集资料的资料科学家及数据整理专业人员,使用偏好的格式及工具,从各方蒐集与分析资料。

IBM去年投入一项Spark计画,由逾3,500名内部研究与开发者参与框架架构相关专案,为继续推动大型主机开源分析技术,z Systems已成立GitHub组织,让开发者彼此合作并打造z/OS上的Spark工具,例如结合Project Jupyter 与各种 NoSQL资料库之后,可打造兼具弹性与延展性的资料处理及分析解决方案。

这项计画让开发者可自选工具及程式语言,促进现代开源工具更加普及化,并提供新视觉辅助工具,可在分散资料环境内监控分析结果,促进现代资料处理技术与技能。