DAP数据分析平台是面向企业数据处治和数据分析的大数据诈欺平台，通过企业数仓建立和数据可视化分析，已毕企业数据的整合归集、圭臬结伴，构建数据财富，撑抓企业业务照应和决策。在强化数据整合、管控的同期，已毕数据的集成联动，通过流动的数据做事于业务，产生业务价值香港六合彩开奖号码规律，已毕数据价值的最大化。

在数据集成整合的过程中，DAP平台需要从各个表里部系统数据源中网罗各样数据，包括结构化数据、半结构化数据和非结构化数据等，同期为超过志不同行务和使用的需要，在网罗格式上需要已毕及时网罗和离线网罗采聚积的格式。本文将分为险阻两篇，上篇主要先容Kafka部署过程，下篇将主要先容Flink部署及举座测试过程。

总体诠释

DAP数据分析平台算作数据中台有缱绻的中枢家具，提供全方面的数据体系建立，本色企业数据整合归集的同期深度挖掘数据价值，通过数据撑抓企业决策、鼓舞业务运营。

1.家具有缱绻

DAP平台主要濒临企业数据处治和数据分析需求，一般聚聚积ESB、MDM变成数据中台或轻量级数据中台有缱绻，轻量级数据中台主要通过数仓建立已毕数据分析和数据诈欺，完好意思的数据中台会在轻量级数据中台基础上添加主数据处治的内容。

DAP平台算作数据中台的中枢家具，承担了数仓建立、数据分析、数据诈欺等中枢业务需求，通过ODS、DWD、DWS、ADS构建数仓的的分层体系。同期通过ESB总线平台已毕泉源系统到数仓的数据网罗、加工、调理、汇总，为DAP数仓提供数据支抓。而MDM在已毕主数据处治的同期，也为DAP的数仓提供维表支抓。通过数据中台的建立已毕企业数据的整合汇聚，构建数据中心，基于数据进行分析展现、透视业务、价值挖掘，有用撑抓企业的业务发展。

2.功能诠释

DAP平台在功能上包括了数仓建立、数据分析、数据财富、数据做事、算法测度等内容。

1.数仓建立：包括ODS建立、数仓建立等内容，通过数据网罗、加工、调理、汇总的过程已毕从泉源系统到数仓的建立；

2.数据分析：基于数仓构建数据集、立方体、意见集等分析模子，通过DAP预置的可视化组件已毕可视化分析与联动穿透，从而支抓企业数据的检察以及业务照应；

3.财富目次：基于数仓数据构建数据财富体系，将企业数据构建成数据财富，用于企业数据的照应、价值分析以及数据分享；

4.数据做事：字据设置的各样分析模子自动构建数据做事接口，已毕对外进行数据提供和诈欺；

5.算法模子：通过平台预置的各样算法对数据进行西宾与模拟，构建算法模子对象，从辛苦毕数据的测度与价值挖掘，支抓业务层面的数据诈欺；

6.质地安全：通过数据加密、脱敏战略已毕对重要数据、明锐数据的加密、脱敏处理，保证数据使用过程中的数据安全性。

3.及时集成

DAP在从泉源系统网罗数据时，一般分为及时网罗和离线网罗两种格式，及时网罗即及时赢得泉源系统变化的数据，数据及时性高、频率高，离线网罗即定时网罗数据，通过定时轮询的格式赢得增量数据。本次主要先容及时网罗的模式，DAP从泉源系统网罗数据是通过ESB数据总线已毕的，而ESB中预置了Flink的网罗格式，本次触及的网罗历程如下图：

Kafka部署

本次主要先容Kafka的假造机部署格式，若是举座家具有缱绻接纳k8s容器化部署的格式，提议径直通过UMC部署Kafka，愈加浅易进行Kafka的部署和照应。

1.部署过程

1.下载kafka装配包，上传

2.解压：tar -zxvf kafka_2.12-3.5.1.tgz

开篇曹远征的访问中，他谈到应对当前国际变局，全方位扩大内需是当前和今后一段时间的重要任务。专题的第二篇，我们邀请了北京大学中国经济研究中心教授姚洋，深入剖析如何扩内需提消费；各界普遍认为要促消费必须扩福利，那么，现阶段我们需要什么样的福利社会？

同时，名创优品与投资银行订立了看涨期权价差合约，这一结构将使其能够以类似于可转债的形式筹集资金，同时将潜在的股权稀释价格提高到2025年1月6日港股收盘价的200%（约102港元），对应市值约1260亿港元。

3.开动zookeeper：nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties > zookeeper.log 2>&1 &

4.检察端口：netstat -nlp|grep 2181

香港六合彩开奖号码规律

5.开动Kafka：./bin/kafka-server-start.sh ./config/server.properties，后台开动：nohup ./bin/kafka-server-start.sh ./config/server.properties > kafka.log 2>&1 &

6.端口监听：

2.测西宾证

通过Kafka自带的Topic、坐褥者、奢靡者呐喊创建相干对象，手动测试Kafka的数据订阅奢靡操作。

> > > > 创建Topic

1.掀开一个新的shell窗口

2.插足kafka目次

3.创建topic：./bin/kafka-topics.sh --create --topic test001 --bootstrap-server 127.0.0.1:9092

4.检察扫数的topic：./bin/kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092

> > > > 开动奢靡者

1.掀开一个新的shell窗口能够在创建topic窗口

2.插足kafka目次

3.开动奢靡者：./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test001 --from-beginning

> > > > 开动坐褥者

1.掀开一个新的shell窗口能够在创建topic窗口，但弗成占用奢靡者窗口

2.插足kafka目次

3.开动坐褥者：./bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test001

4.坐褥者输入测试内容：

5.奢靡者检察：

3.安全认证

通过ESB相连Kafka以及在坐褥环境中，Kafka的看望需要缔造密码，保证Kafka的看望安全，是以通过养息Kafka的设置添加安全认证机制。

> > > > 设置养息

1.插足kafka目次

2.新建kafka_server_jaas.conf文献：vi config/kafka_server_jaas.conf

1)username、password为broker里面通讯的用户名密码；

2)user_xxx其中xxx必须和username设置的用户名一致，密码也一致（这个用户便是照应员用户，不受鉴权撤销）

3)user_producer和user_consumer为创建的坐褥者和奢靡者用户；

4)在本色诈欺时，admin、producer、consumer王人不错同期算作坐褥者或奢靡者用户，何况不错用合并个用户；

3.修改kafka设置文献：vi config/server.properties

1)advertised.listeners界说了kafka broker对外秘书的监听器列表，若是有多个监听器，它们之间用逗号分隔；

2)inter.broker.listener.name 应该缔造为 advertised.listeners 中界说的一个监听器称呼，要务迷漫匹配（区别大小写）；

3)若是需要外部做事器看望，不错不写ip，只写端口；

4)经过实测，若是advertised.listeners设置多个，必须设置对应多个listeners，何况保证多个listeners的端口不同，参考：

4.修改kafka开动文献：vi bin/kafka-server-start.sh

5.重启kafka：./bin/kafka-server-stop.sh & nohup ./bin/kafka-server-start.sh ./config/server.properties > kafka.log 2>&1 &

6.检察日记：tail -f kafka.log

> > > > 测西宾证

1.开动奢靡者：

1)使用admin、producer、consumer用户均可，详精采码对应

2.开动坐褥者：

1)使用admin、producer、consumer用户均可，详精采码对应

3.发送测试

基于ESB数据总线进行数据网罗是DAP平台已毕数据网罗、加工、调理、汇总的基础，而字据本色业务、需求以及数据类型的不同，网罗格式也会有所区别香港六合彩开奖号码规律，本次数据针对结构化数据的及时网罗进行先容，通过Flink与Kafka聚会的格式已毕的网罗过程。本篇主要先容了Kafka部署过程，下篇将主要先容Flink部署及举座测试过程，敬请热心。