2020-02-20 – chenxi

集群三台机器

在Hosts文件中建立域名和IP的映射配置（方便解析）： vim /etc/hosts

192.168.0.1 master
192.168.0.2 slave1
192.168.0.3 slave2

配置环境变量：vim /etc/profile

注意修改安装目录

#kafka eagle config
export KE_HOME=/opt/module/eagle
export PATH=$PATH:$KE_HOME/bin

使环境变量生效：source /etc/profile

主要配置修改：

######################################
# multi zookeeper & kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=master,slave1,slave2
master.zk.list=master:2181,slave1:2181,slave2:2181
slave1.zk.list=master:2181,slave1:2181,slave2:2181
slave2.zk.list=master:2181,slave1:2181,slave2:2181

######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size=20

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
master.kafka.eagle.offset.storage=kafka
slave1.kafka.eagle.offset.storage=kafka
slave2.kafka.eagle.offset.storage=kafka

######################################
# kafka metrics, 30 days by default
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30

######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=false

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
master.kafka.eagle.sasl.enable=false
master.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
master.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
master.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
master.kafka.eagle.sasl.client.id=
master.kafka.eagle.sasl.cgroup.enable=false
master.kafka.eagle.sasl.cgroup.topics=

slave1.kafka.eagle.sasl.enable=false
slave1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
slave1.kafka.eagle.sasl.mechanism=PLAIN
slave1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
slave1.kafka.eagle.sasl.client.id=
slave1.kafka.eagle.sasl.cgroup.enable=false
slave1.kafka.eagle.sasl.cgroup.topics=

slave2.kafka.eagle.sasl.enable=false
slave2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
slave2.kafka.eagle.sasl.mechanism=PLAIN
slave2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
slave2.kafka.eagle.sasl.client.id=
slave2.kafka.eagle.sasl.cgroup.enable=false
slave2.kafka.eagle.sasl.cgroup.topics=

######################################
# kafka sqlite jdbc driver address
######################################
#kafka.eagle.driver=org.sqlite.JDBC
#如需使用eagle自带数据库，则修改安装路径
#kafka.eagle.url=jdbc:sqlite:/opt/module/eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://slave2:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123a123@

##授权启动文件：chomd 777 ke.sh

##启动：ke.sh start

访问：ip:8048/ke admin/123456

注意：本次安装目录为/opt/module/

###下载mysql安装包
[root@chenxi module]# wget https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.18-linux-glibc2.12-x86_64.tar.xz

###解压安装包
[root@chenxi module]# tar -xf mysql-8.0.18-linux-glibc2.12-x86_64.tar.xz
[root@chenxi module]# mv mysql-8.0.18-linux-glibc2.12-x86_64 mysql
###在/etc目录下创建my.cnf初始文件插入以下并保存
[root@chenxi module]# vim /etc/my.cnf

[mysqld]
# 设置3306端口
port=3306
# 设置mysql的安装目录
basedir=/opt/module/mysql
# 设置mysql数据库的数据的存放目录
datadir=/opt/module/mysql/data
# 允许最大连接数
max_connections=10000
# 允许连接失败的次数。这是为了防止有人从该主机试图攻击数据库系统
max_connect_errors=10
# 服务端使用的字符集默认为UTF8MB4
# 搭建时使用UTF8报出警告如下：
# --character-set-server: 'utf8' is currently an alias for the character
# set UTF8MB3, but will be an alias for UTF8MB4 in a future release.
# Please consider using UTF8MB4 in order to be unambiguous
character-set-server=UTF8MB4
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
# 默认使用“mysql_native_password”插件认证
default_authentication_plugin=mysql_native_password
[mysql]
# 设置mysql客户端默认字符集
default-character-set=UTF8MB4
[client]
# 设置mysql客户端连接服务端时默认使用的端口
port=3306
default-character-set=UTF8MB4

###初始化mysql 
[root@chenxi module]# /opt/module/mysql/bin/mysqld --initialize --user=mysqluser --basedir=/opt/module/mysql/ --datadir=/opt/module/mysql/data/ 

###暂且保留好密码：root@localhost: dj91/8JC%k=Z

###创建用户组和用户并赋予mysql文件夹操作权限
[root@chenxi module]# groupadd mysqlgroup
[root@chenxi module]# useradd mysqluser
[root@chenxi module]# chown -R mysqluser:mysqlgroup /opt/module/mysql

###把启动命令加入到系统服务service管理并授权
[root@chenxi module]# cp support-files/mysql.server /etc/init.d/mysqld
[root@chenxi module]# chmod 755 /etc/init.d/mysqld

###切换用户启动
[root@chenxi module]# su mysqluser

###注意：切换用户，如不切换用户启动会报如下错误：（大坑）



[mysqluser@chenxi module]# service mysqld start

###进入mysql(/opt/module/mysql/bin/mysql为mysql安装目录下的bin/mysql)
[mysqluser@chenxi module]# /opt/module/mysql/bin/mysql -uroot -p dj91/8JC%k=Z

###修改当前用户密码、创建新用户并授权、刷新缓存
mysql> alter user user() identified by '密码';
mysql> create user '用户名'@'%' identified by '密码';
mysql> grant all privileges on *.* to '用户名'@'%' with grant option;
mysql> flush privileges;

日期：2020年2月20日

Kafka-Eagle搭建可视化工具

集群三台机器

##授权启动文件：chomd 777 ke.sh

Centos安装mysql8.0