fitdata是烽火研发的大数据平台,围绕政府治理和公共服务的改革需要,专注于政法机关等部门的现实问题,为各政府部门提供针对性的大数据产品和服务,挖掘数值金矿,释放数据价值。fitdata大数据平台实现业务系统内外的各类基础业务数据的完整采集与汇聚,提升各类基础数据的使用价值,强化数据采集汇聚的整体管理能力;以元数据为基础,实现数据标准;完成业务系统相关数据的统一、完整、高效汇集接入,构建业务系统数据源模型,完成数据的互联互通。
fitdata hd大数据平台是烽火大数据核心技术、大数据方法和大数据服务理念,构建的一站式数据采集、数据预处理、数据存储、数据计算、数据分析挖掘、数据可视化、用户工作台和平台运维的大数据综合平台。结合大数据处理需求以及烽火对各领域的业务理解,fitdata hd大数据平台提供了从原始数据到数据运营的全业务、全数据、全覆盖的整体利来国际app的解决方案,打造以统一管理调度为基础,以数据处理为中心、以满足用户需求为目标的新型平台。目前fitdata hd大数据平台已广泛应用于公安、政务等多个行业领域,为用户提供了优质的大数据平台服务和数据服务,发掘了数据的业务价值,提升了用户业务应用的能力。
从数据分类、数据来源、数据量级、数据质量、数据加工过程等构建了数据勘探的流程、方法,形成份数据质量分析报告,同时开发了数据勘探的工具包,提高数据勘探的效率。
成熟的多租户技术、有效的数据接口平台、上亿级别的流式预处理、贴近实战的数据中枢、高性价的索引机制、在线实时处理、满足各类场景的分析计算框架、可视化分析工具。
持续演进的开放的大数据平台技术内核(安全、可信、易用)。
强大的信息感知小组即iao团队,专门针对行业用户的分析需求提供各种对应的分析服务。
建设168套大数据平台系统,成功对接了280种数据源,涉及对接近200个,制定了1整套标准化、流程化的对接体系,同时配备了高级研发工作程师组成的专家作为数据对接团队,能够快速、有效提供数据对接服务。
提供底层数据etl能力,将外部数据通过抽取、转化、加载到平台存储系统中,支持外部多种数据源接入,如各种关系库,各种文件,并提供丰富的函数清洗能力,保证数据的高质量入库,同时具备较好的横向和纵向扩展能力,支持快速开发满足客户的接入需求及分布式部署保证系统的高性能处理。
提供丰富的数据存储能力,支持数据存储到内存数据库、关系数据库、分布式文件系统、分布式nosql数据库、es索引系统、全文系统及分布式图数据库系统中,并提供数据的高可靠性,在一份数据丢失时能够及时进行恢复,保证数据的安全,同时具有较强的横向扩展能力,能够适应pb级别的数据量存储。
数据总线的作用是进行数据缓存和数据实时加载入库,将接入数据进行缓存,然后通过数据加载任务从数据缓存中读取数据并进行实时入库。
提供平台安全通信、资源和权限控制能力,保证平台数据的安全存储和访问。
提供各种场景的数据查询分析方法,包括离线分析、在线查询、流式计算、机器学习等,保证正在和已经进入系统数据的价值能够得到较大程度的利用,同时提供分布式资源调度和协调能力,保证查询分析任务的并行执行和计算资源的合理利用。
将平台提供的各种复杂存储能力、查询计算能力、通用组件、资源管理能力、服务发布能力、数据交换能力,进行统一整合,对外提供统一服务,方便上层业务使用。