数据采集

金山云智•数据采集是大数据云平台内外部数据传输的桥梁，可以将云外数据安全有序的接入到大数据云平台内部。采集模块支持对文件、文件夹、外部kafka、自定义source等进行采集，将分散在各地的数据方便快捷的采集到大数据云平台，同时可通过流计算组件进行实时消费处理。

立即购买咨询客服

核心优势

支持多种采集任务统一管理，采集配置一件修改，采集agent实时监控，采集任务一键暂停与恢复。

支持文本文件数据流式采集，支持Oracle/MySQL等关系型数据库流式采集，支持http方式的数据采集。

采集数据自动重发机制，支持数据查重，支持数据格式校验，支持采集数据分布式存储。

支持将采集到的数据直接投递到ES中。

支持针对不同类型的采集任务，通过统一的方式来进行管理；提供数据采集任务的创建，查询，采集任务的启动与停止等功能的服务，包括：创建数据采集任务、查询采集任务状态、采集任务启动与停止、采集状态上报等功能。

流式采集任务支持将文件、外部Kafka、文件夹、自定义source、oracle数据库、MySQL数据库等数据，实时采集至大数据云平台的Kafka中。

支持将数据实时采集到kafka，并可实时投递到ES等数据库中。