12月12日,以“Data@Future”为主题,由StartDT(奇点云、GrowingIO)主办的2023 StartDT Day数智科技大会暨数据云操作系统产品发布会召开。
会上,奇点云自研的新一代数据云操作系统StartDT SimbaOS正式亮相,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。
下文整理自嘉宾演讲精选
文末下载《数智时代制造业转型实践》
告别“烟囱”
进阶的数字化需要“DT时代的OS”
面向数据量爆发、数据需求激增的未来,企业的数据系统应做好哪些准备?
从众多客户的实践出发,StartDT COO、奇点云联合创始人刘莹谈到,企业对数据系统的要求可归纳为三层:
· 更简单有效的数据应用,让数据直接为业务所用。
· 更强大的数据平台,来保障规模化、持续稳定的数据生产。
· 更极致的存算调度能力,来满足越来越高难度的数据处理需求。
过去,数据产品厂商往往只能“烟囱式”地提供或拼装上述三层能力:以数据应用需求为起点,逐个对接云资源、数据源和存算引擎,逐个配置权限体系和安全机制,在该应用涉及的范围内进行数据治理和分析。
而当数字化转型深入,企业的数据应用越来越多,每每出现应用新增或配置变更时,仍然只能采用“烟囱式”从0到1建设,甚至不得不把过去的应用铲平重建。
这不仅会累积时间与资源浪费,也无从实现全域数据资产的统一管理。最终,一家企业的数据系统里烟囱林立,迭代困难。
数据应用“烟囱式建设”示意
在StartDT CEO、奇点云创始人行在看来,面向因时而变的业务,面对层出不穷的数字化进阶挑战,数据云操作系统是最优解
与计算机领域的操作系统原理相似,数据云操作系统封装底层各项常用能力,以标准接口的方式向外提供:
· 对于应用开发者而言,直接调用OS已有的能力,一套代码解决“多云适配”、“多数据源集成”、“多引擎整合”等难题,有效降低对接底层的复杂性,更专注于应用本身的研发。
· 对于企业而言,则能实现用同一套稳定的基础设施支撑丰富的数据应用,避免“烟囱式”开发;架构具备灵活度,告别“数据系统逐渐‘锁死’又铲平重建”的轮回。
StartDT SimbaOS
奇点云自研的第一代数据云操作系统
“历经4年‘雪藏式研发’,今天,奇点云第一代数据云操作系统StartDT SimbaOS终于面世。”
SimbaOS是奇点云自研的数据云操作系统,具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性,帮助客户建立企业级的数据能力,管好、用好全域数据资产。
谈及设计逻辑与技术实现,StartDT合伙人、CTO地雷介绍,SimbaOS采用分层结构,中间层为SimbaOS Kernel(数据云操作系统内核),将数据领域常用的存算、调度、服务、安全、元数据等核心能力抽象,封装为一套对象体系。
“这极为重要,也是OS研发的关键挑战所在。”地雷介绍,目前Kernel共包含32个对象,分为6个域。
通过API、SDK、Schema三类方式,数据应用开发者可以快速调用SimbaOS的能力,高效创建数据应用:
· API:提供南向接口和北向接口,前者对接多云、多引擎、多数据源(包括数据源集成接口、元数据采集接口、数据引擎适配接口、云对接接口等),后者面向应用开发者,便于他们调用各个对象的动词。
· SDK:在API基础上,提供Java、Python、JS等编程语言开发包SDK。
· Schema:支持用户使用SQL查询系统元数据,并基于多款内置的分析模型,洞察系统状态。
“把复杂交给操作系统,把简单留给开发者。”
行在介绍,“基于SimbaOS构建数据应用,效率可以提升4倍*,帮助企业应对汹涌而来的数据应用需求和进阶的数据技术挑战。”
*时间估算自奇点云的数据应用研发实践。
内核加持,能力升级
多款数据应用产品更新
目前,StartDT SimbaOS生态内的应用共有“开发”、“安全”、“增长”、“增效”、“AI”五大类。
没错,面向AI应用大爆发的未来,SimbaOS不仅支持开发者构建数据应用,也支持构建AI应用,帮助开发者基于数据优化算法,提升训练数据的质量,加快模型部署的速度。
本次发布会,针对数据开发、指标资产管理及安全合规场景,三款数据应用率先带来最新动态:
企业级RAS的数据云平台 DataSimba
地雷介绍,构建企业级“RAS”(可靠性、可用性、可服务性)的数据生产系统,既需要数据工程的最佳实践,也需要专业可靠的数据云平台。就像“好车手”和“好赛车”,两者缺一不可。
因此,一方面,DataSimba持续加固稳定性,提供高可用部署方案,可用性达99.95%。依托SimbaOS的Schema,帮助用户构建可观测性,以数据驱动运维巡检、血缘治理、研发风控等多个场景。
另一方面,还提供针对大数据迁移、备份、CI/CD等场景的专业自动化工具,以及开发陪跑、迁移发布及各类运维服务包,支持客户数据团队成为“好车手”、“好车队”。
指标全生命周期管理平台 SimbaMetric
SimbaMetric提供数仓规划、维度建模、业务指标体系等完善功能,支持业务、研发等角色通过一个产品完成无缝协作,实现围绕指标资产的全生命周期管理。
奇点云认为,指标工具不仅要完成“总线矩阵户口本”的基本职责,还应帮助客户提高效率,让指标资产的运营管理高效、方便、可持续。因此,SimbaMetric还提供配套的自动化工具,来完成批量转换、自动扫描等工作,解决迁移、兼容、规范性检测等繁杂问题,提升指标交付效率。
此外,企业还可以通过SimbaOS Kernel的元数据域,实现BI、大屏、报表等应用之间指标数据的交互查询。
全域数据安全管理平台 DataBlack
DataBlack推出了“数据云标准版”、“分析云标准版”、“专业版”三大版本产品,满足不同类型企业不同的数据安全合规需要。
StartDT资深算法专家曾博指出,数据安全之于企业,已从过去小部分的风控需求,转向全面的合规建设需求。如果仍“烟囱式”地逐个数据应用实施合规治理,不仅重复建设耗时费力,还可能出现“漏网之鱼”。
得益于SimbaOS Kernel,DataBlack支持对接企业所有数据源,完成统一的安全合规治理,助客户告别数据安全“短板”。
重塑数据应用构建的方式
让数据驱动更简单
本次大会的圆桌环节,StartDT的产品专家、行业专家们进一步分享了基于SimbaOS研发应用、服务客户的亲身体验,解读真正支持业务、赋能业务、陪伴业务进化的数据应用如何炼成。
简化技术复杂性
SimbaOS为OneID等组件/应用开发
提供强劲支撑
OneID是全域用户运营的基础,看似老生常谈,却始终未得到有效解决——用户ID增长,端/触点/渠道增加,用传统的研发方式不仅费时费力、灵活度不足,时效性和准确度也远远达不到需求。
StartDT合伙人、资深行业专家追风介绍,现在基于StartDT标准的OneID组件,客户可以轻松配置不同数据源与身份体系的优先级,或按需新增渠道,完成实时OneID融合。
OneID组件能支撑海量数据的实时复杂计算,处理结果准确度高,与SimbaOS的能力密不可分。StartDT副总裁、GrowingIO联合创始人叶玎玎解释道:“以OneID底层的‘流批图一体’为例,我们原本需要3~4个月才能适配一个引擎,现在SimbaOS已经解决了这个问题,预先完成了7类不同引擎的对接,还天然支持多引擎混合调度。”
积木式研发
让大规模打造贴合企业场景的数据应用
成为可能
相较已有成熟方法论的前链路,企业后链路实现数据驱动的场景往往更为复杂多样。以制造业为例,订单、库存、工厂、供应商等环节各有各的逻辑。StartDT资深行业专家、制造业产研负责人航宇表示,哪怕处于同一个细分行业,企业的情况也常常千差万别。
如何大规模满足这些个性化的需求,提供贴合客户场景的数据应用?
StartDT合伙人、资深产品专家星魁介绍:“经过多年的客户实践和产品调研,我们把数据应用研发抽象为‘存算模块’、‘分析模块’、‘数据模型’和‘服务模块’,共四大类标准模块。其中,存算模块和服务模块由SimbaOS Kernel提供能力支撑。”
基于标准模块完成“积木式的产品开发”,让StartDT能更及时地响应客户“个性化”产品需求。今年推出面向制造业的六大数据产品,就采用上述方式研发,并已在多家制造企业客户落地实践。同时,客户的数据团队也能更轻松地组装出数据应用,快速把自身Know-how转变为数字化工具。
如行在所说:“数据的价值在于应用,而应用的核心在于人。只有关注人的需求,让人可以更简单有效地使用数据,才能用数据驱动企业和社会进步。”
StartDT SimbaOS的研发与迭代,正是为更简单高效、更具性价比、更可持续、更规模化的数据生产和消费而来,让数据为人所用,为人好用。
StartDT SimbaOS期待得到更多客户的使用,也期待收到更多DT开发者的反馈。
Data@Future. Data for all.
《数智时代制造业转型实践》
↑ 10大标杆案例 匠心沉淀 扫码下载 ↑
* 大会各环节详解,将于“奇点云”、“GrowingIO”微信公众号持续释出,敬请关注。
* 多款数据产品的免费试用活动将于2023年12月20日截止,扫码添加官方客服小奇获取详情。
继续阅读
阅读原文