Lucissfer's

大数据平台CDH安装部署

2018-07-08T16:00:00.000Z

因为业务需要了解大数据平台CDH的部署，找了三台虚拟机简单的安装部署一下，踩了一遍坑，留个文档记录一下。

1. 服务器规划

集群规划三台服务器，一台namenode，两台datanode，规划如下：
namenode
192.168.3.131
node-01
192.168.3.132
node-02
192.168.3.133

服务器操作系统均为Centos 7 x86_64

2. 安装前预配置

2.1 关闭防火墙、SELINUX

关闭防火墙

1
2
3

因为是测试环境，为方便起见，直接关闭防火墙，生产环境中最好还是开启防火墙，开放相应端口就行了，或者直接在防火墙中配置集群内服务器白名单
# systemctl stop firewalld
# systemctl disable firewalld

关闭SELINUX

1
2
3

SELINUX建议一定要关掉，配置太麻烦了，而且容易踩坑，官方也建议关掉
# setenforce 0
# sed -i 's/SELINUX=enforcing/#SELINUX=enforcing\nSELINUX=disabled/g' /etc/selinux/config

2.2 配置CM源

1
2

# wget -O /etc/yum.repos.d/cloudera-manager.repo http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo
# wget -O /etc/yum.repos.d/cloudera-cdh5.repo https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/cloudera-cdh5.repo

2.3 安装JDK

1 2	CDH对JDK版本有要求，建议1.8以上 # rpm -ivh jdk-8u171-linux-x64.rpm

2.4 修改hosts文件

# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.3.131 namenode
192.168.3.132 node-01
192.168.3.133 node-02

2.5 配置集群时钟同步

CDH服务集群一定要配置时间同步，否则集群会持续报警时钟偏移，此处我用的是chrony
以namenode做服务器，node节点做客户端
服务端

# yum install -y chrony
# vim /etc/chrony.conf
server 192.168.3.131 iburst
服务端配置与自己同步

客户端

# yum install -y chrony
# vim /etc/chrony.conf
server 192.168.3.131 iburst
客户端配置与服务端同步

重启所有服务器chrony服务

1	# systemctl restart chronyd

验证同步

1	# chronyc -n sources

2.6 安装配置MariaDB服务

CDH集群部署需要数据库服务支持，目前支持Oracle/MySQL(MariaDB)/PostgreSQL，这里我用的MariaDB，只需要在主节点(namenode)上安装即可

1	# yum install -y mariadb-server mariadb

启动mariadb

1	# systemctl start mariadb

初始化mariadb

1
2
3

# /usr/bin/mysql_secure_installation
root
123456

创建各个服务需要的库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database am DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database cm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database rm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

这里创建的库名最好与你后面要安装的服务保持一致

2.7 安装jdbc驱动

1	# yum install -y mysql-connector-java

3. 安装Cloudera Manager服务

主节点服务器

1	# yum install -y cloudera-manager-server

从节点服务器

1	# yum install -y cloudera-manager-agent

安装oracle-j2sdk1.7

1	# yum install -y oracle-j2sdk1.7

初始化数据库

1
2
3

# /usr/share/cmf/schema/scm_prepare_database.sh mysql cm root 123456
上面初始化数据库命令各参数如下：
# /usr/share/cmf/schema/scm_prepare_database.sh [postgresql|mysql|oracle] [database] [username] [password]

启动ClouderaManager Server

1	# systemctl start cloudera-scm-server

访问CM，验证安装

1 2	http://192.168.3.131:7180 初始用户名密码admin:admin

4. 安装配置CDH

安装前各服务器配置

# echo "vm.swappiness = 10" >> /etc/sysctl.conf
# sysctl -p
# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo never > /sys/kernel/mm/transparent_hugepage/enabled
# echo -e 'echo never > /sys/kernel/mm/transparent_hugepage/defrag\necho never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

如上，修改内核参数，否则安装过程中会报警。

登录web页面http://192.168.3.131:7180按需安装CDH服务，安装过程不详述，按步骤来即可。

5. 踩过的坑

首次安装完成，启动kafka是会报错OOM，原因是Java Heap Size配置小了，回到CDH主页面，点击kafka，进入配置页面，修改 Java Heap Size of Broker为1G，然后保存，重启KAFKA，OK

这里就是个坑，安装的时候也没有提示哪里设置Java Heap Size。

6. CM服务重启顺序

1 2	# systemctl restart cloudera-scm-server # systemctl restart cloudera-scm-agent（每个节点的agent都需要重启一下）

ESXI虚拟机磁盘在线扩容

2018-06-11T16:00:00.000Z

内网有一台ESXI上的虚拟机，用来做构建服务的，因为构建项目逐渐增加，磁盘空间渐渐不足，严重影响使用。
为解决问题，当务之急是将磁盘分区进行扩容，因为磁盘分区做的LVM，可以很方便的动态扩容，在物理机上可以通过加硬盘的方式来解决问题，而ESXI的虚拟机就更方便了，直接将虚拟机关机修改磁盘大小即可，但是修改完的硬盘空间并不会自动扩展到磁盘分区中，还需要我们做一些操作才可以使用，具体操作如下：

1. 创建新分区

ESXI修改完磁盘大小后，增加的磁盘空间表现为当前磁盘剩余未分配空间，需要使用剩余未分配空间新建分区

# fdisk /dev/sda
n       （新建分区）
p       （选择分区类型主分区或扩展分区）
3       （选择分区编号）
回车
回车
t（修改分区类型）
3（选择分区）
8e（Changed type of partition 'Linux' to 'Linux LVM'，修改成LVM类型）
w（写分区表退出）

使用命令重新读取分区表，或者重启机器
# partprobe
Warning: Unable to open /dev/sr0 read-write (Read-only file system).  /dev/sr0 has been opened read-only.

Centos6系统上使用
# partx

格式化新磁盘分区
xfs文件系统
# mkfs.xfs /dev/sda3       （此处分区格式要与已有的LVM卷中分区格式一致）
EXT4文件系统
# mkfs.ext4 /dev/sda3

2. 添加新LVM分区到已有的LVM组，实现扩容

进入LVM管理

1 2	# lvm lvm>

1 2	初始化新分区 lvm> pvcreate /dev/sda3

查看卷组名
lvm> vgdisplay 
  --- Volume group ---
  VG Name               test_build

1
2
3

将初始化过的分区加入到虚拟卷组
lvm> vgextend test_build /dev/sda3
  Volume group "test_build" successfully extended

扩展已有卷的容量
lvm> vgdisplay 
  --- Volume group ---
  VG Name               test_build
  System ID             
  Format                lvm2
  Metadata Areas        2
  Metadata Sequence No  4
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                2
  Open LV               2
  Max PV                0
  Cur PV                2
  Act PV                2
  VG Size               <399.53 GiB
  PE Size               4.00 MiB
  Total PE              102279
  Alloc PE / Size       51080 / 199.53 GiB
  Free  PE / Size       51199 / <200.00 GiB
  VG UUID               wVZavM-oLX7-iWf1-fKiO-TGVM-Oa0r-2mcTsD

lvm> lvextend -l +51199 /dev/mapper/test_build-data
  Size of logical volume test_build/data changed from 152.96 GiB (39159 extents) to 352.96 GiB (90358 extents).
  Logical volume test_build/data successfully resized.
上述参数中，
-l,指定逻辑卷的大小，单位为PE数;
51199为通过vgdisplay命令查询到的卷中空闲空间，目录参数为df命令查询到的需要扩展的挂载点位置。

查看卷容量
lvm> pvdisplay
  --- Physical volume ---
  PV Name               /dev/sda2
  VG Name               test_build
  PV Size               199.53 GiB / not usable 3.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              51080
  Free PE               0
  Allocated PE          51080
  PV UUID               2gmX3A-Bpz4-hCQ0-5fjr-CiCM-peYZ-BMDi9W
   
  --- Physical volume ---
  PV Name               /dev/sda3
  VG Name               test_build
  PV Size               200.00 GiB / not usable 4.00 MiB
  Allocatable           yes (but full)
  PE Size               4.00 MiB
  Total PE              51199
  Free PE               0
  Allocated PE          51199
  PV UUID               wJe39M-0326-n2Ge-6m2d-IlTR-Gubg-UXRhie

lvm> quit

3. 文件系统扩容

卷扩容完成后，系统并不能直接使用扩容空间，还需要将文件系统扩容

xfs文件系统
# xfs_growfs /dev/mapper/test_build-data
meta-data=/dev/mapper/test_build-data isize=512    agcount=4, agsize=10024704 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0 spinodes=0
data     =                       bsize=4096   blocks=40098816, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal               bsize=4096   blocks=19579, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
data blocks changed from 40098816 to 92526592

EXT4文件系统
# resize2fs /dev/mapper/test_build-data

查看分区大小
# df -hl
Filesystem                   Size  Used Avail Use% Mounted on
/dev/mapper/test_build-root   47G  2.3G   45G   5% /
devtmpfs                     908M     0  908M   0% /dev
tmpfs                        920M     0  920M   0% /dev/shm
tmpfs                        920M  8.8M  911M   1% /run
tmpfs                        920M     0  920M   0% /sys/fs/cgroup
/dev/mapper/test_build-data  353G  456M  353G   1% /data
/dev/sda1                    473M  169M  305M  36% /boot
tmpfs                        184M     0  184M   0% /run/user/0

扩容成功

配置rsync+inotify实现文件实时同步

2018-06-03T16:00:00.000Z

1. 项目背景

因为工作需要，需部署一套nginx负载均衡群集，群集须保证所有nginx节点配置文件完全一致；要解决不同服务器之间数据一致，一般采用NFS共享文件、DRBD镜像复制或rsync文件同步来实现，相对于rsync，前两者配置稍麻烦，此处我选择rsync文件同步来保证配置文件一致性。

rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。它使用所谓的“Rsync演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。但是rsync仅仅是同步工具，并不能做到监控文件变化并实时同步，因此还需要配合inotify来实现文件实时同步。

inotify是一种强大的、细粒度的、异步的文件系统事件控制机制。linux内核从2.6.13起，加入了inotify支持，通过inotify可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools正是实施监控的软件。

在这里，我们使用inotify监控文件变化，同时通过脚本来触发rsync将发生变化的文件同步到目标服务器。

术语定义：
客户端–>源服务器（SRC）
服务端–>目标服务器（DEST）

2. 安装配置rsync

2.1 安装rsync服务

# yum install -y gcc gcc-c++
# yum install -y rsync
关闭SELINUX（服务端SELINUX一定要关掉，不然rsync同步的时候会报错）
# setenforce 0
# vim /etc/selinux/config
SELINUX=disabled

2.2 编辑rsync配置文件

# vim /etc/rsyncd.conf

uid = root     # 此处的用户及用户组必须要拥有操作待同步文件的权限
gid = root
port = 873     # rsync默认监听端口873，也可以自定义
use chroot = no  
max connections = 5
pid file = /var/run/rsyncd.pid
exclude = lost+found/   # 排除同步文件
transfer logging = yes
timeout = 900
ignore nonreadable = yes
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2

[nginx_conf]
path = /data/program/nginx/conf/    # rsync服务端数据目录路径，即同步到目标目录后的存放路径，按需配置
comment = nginx_conf  # 此处定义模块名称，这个模块名称在rsync同步命令中需要调用
ignore errors
read only = no
list = yes
auth users = rsync    # 设置执行rsync同步的用户名，此用户名可自定义，不需与系统用户一致，需要与secrets file中设置的用户名匹配
secrets file = /data/program/rsync/rsync_server.passwd  # 用户认证配置文件，保存同步时使用的用户名密码，可设置多个用户名密码
hosts allow = 192.168.2.182  #允许进行同步的客户端地址，可设置多个，用英文逗号分隔

2.3 编辑rsync用户认证配置文件

服务端
# vim /data/program/rsync/rsync_server.passwd
rsync:rsync

客户端
# vim /data/program/rsync/rsync_client.passwd
rsync

双向同步的时候，两台服务器上都需要配置这两个文件。

2.4 修改配置文件权限

1
2
3

# chmod 600 /data/program/rsync/rsync_server.passwd
# chmod 600 /data/program/rsync/rsync_client.passwd
# chmod 600 /etc/rsyncd.conf

2.5 启动rsync服务

1 2	# systemctl enable rsyncd # systemctl start rsyncd

2.6 双向同步配置

单向同步

1	如果仅需单向同步，只需要在服务端启动rsyncd服务，客户端无需启动服务，可直接执行rsync命令。

双向同步

1	如需双向同步，则需要在两台服务器启动rsyncd服务，两台服务器互为C-->S。

此处我选择双向同步，则需在两台服务器上同时配置服务。

3. 安装配置inotify-tools

1	# yum install -y inotify-tools

4. 配置inotify_rsync同步脚本

# cd /data/program/rsync/
# vim inotify_rsync.sh

#!/bin/bash
source /etc/profile

src=/data/program/nginx/conf              # 需要同步的源路径
des=nginx_conf                            # 目标服务器上rsyncd.conf中定义的名称(comment)
rsync_passwd_file=/data/program/rsync/rsync_client.passwd            # rsync验证的密码文件
ip=192.168.2.182                          # 目标服务器
user=rsync                                # rsyncd.conf中定义的验证用户名(auth users)
include_list=/data/program/rsync/include  #指定同步文件写入列表文件，列表文件路径必须用绝对路径，列表文件中内容用相对路径
log_path=/data/program/rsync/logs/$(date +%Y-%m-%d).log    #同步日志输出到日志文件

cd ${src}
inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move ./ | while read file
do
        INO_EVENT=$(echo $file | awk '{print $1}')      # 把inotify输出切割 把事件类型部分赋值给INO_EVENT
        INO_FILE=$(echo $file | awk '{print $2}')       # 把inotify输出切割 把文件路径部分赋值给INO_FILE
        echo "-------------------------------$(date)------------------------------------"  >> ${log_path}
        echo $file  >> ${log_path}
        #增加、修改、写入完成、移动进事件
        #增、改放在同一个判断，因为他们都是针对文件的操作，即使是新建目录，要同步的也只是一个空目录，不会影响速度。
        if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]         # 判断事件类型
        then
                echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'  >> ${log_path}
                rsync -avrtzopgcRP --include-from=${include_list} --exclude=/* --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip}::${des}  >> ${log_path}
        fi
        #删除、移动出事件
        if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]
        then
                echo 'DELETE or MOVED_FROM'  >> ${log_path}
                rsync -avrtzopgcRP --delete --include-from=${include_list} --exclude=/* --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip}::${des}  >> ${log_path}
        fi
        #修改属性事件 指 touch chgrp chmod chown等操作
        if [[ $INO_EVENT =~ 'ATTRIB' ]]
        then
                echo 'ATTRIB'  >> ${log_path}
                if [ ! -d "$INO_FILE" ]
                # 如果修改属性的是目录 则不同步，因为同步目录会发生递归扫描，等此目录下的文件发生同步时，rsync会顺带更新此目录。
                then
                        rsync -avrtzopgcRP --include-from=${include_list} --exclude=/* --password-file=${rsync_passwd_file} $(dirname ${INO_FILE}) ${user}@${ip}::${des}  >> ${log_path}
                fi
        fi
done

编辑指定同步文件列表

# vim /data/program/rsync/include
nginx.conf
nginx_conf/
conf.d/

将指定同步的文件写到该列表文件中，需使用相对路径

给同步脚本添加执行权限

1	# chmod +x inotify_rsync.sh

5. 将同步脚本放到后台启动

1	# nohup /data/program/rsync/inotify_rsync.sh >/data/program/rsync/nohup.out 2>&1 &

6. 将同步脚本加到开机启动

1	# echo "nohup /data/program/rsync/inotify_rsync.sh >/data/program/rsync/nohup.out 2>&1 &" >> /etc/rc.local

7. rsync+inotifywait部分参数说明

7.1 rsync参数说明

-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关，强制对文件传输进行校验
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
-r, --recursive 对子目录以递归模式处理
-R, --relative 使用相对路径信息
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)
-l, --links 保留软链结
-L, --copy-links 想对待常规文件一样处理软链结
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
--safe-links 忽略指向SRC路径目录树以外的链结
-H, --hard-links 保留硬链结
-p, --perms 保持文件权限
-o, --owner 保持文件属主信息
-g, --group 保持文件属组信息
-D, --devices 保持设备文件信息
-t, --times 保持文件时间信息
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
-n, --dry-run现实哪些文件将被传输
-W, --whole-file 拷贝文件，不进行增量检测
-x, --one-file-system 不要跨越文件系统边界
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件
--delete 删除那些DST中SRC没有的文件
--delete-excluded 同样删除接收端那些被该选项指定排除的文件
--delete-after 传输结束以后再删除
--ignore-errors 及时出现IO错误也进行删除
--max-delete=NUM 最多删除NUM个文件
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输
--force 强制删除目录，即使不为空
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名
--timeout=TIME IP超时时间，单位为秒
-I, --ignore-times 不跳过那些有同样的时间和长度的文件
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0
-T --temp-dir=DIR 在DIR中创建临时文件
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
-P 等同于 --partial
--progress 显示备份过程
-z, --compress 对备份的文件在传输时进行压缩处理
--exclude=PATTERN 指定排除不需要传输的文件模式
--include=PATTERN 指定不排除而需要传输的文件模式
--exclude-from=FILE 排除FILE中指定模式的文件
--include-from=FILE 不排除FILE指定模式匹配的文件
--version 打印版本信息
--address 绑定到特定的地址
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件
--port=PORT 指定其他的rsync服务端口
--blocking-io 对远程shell使用阻塞IO
-stats 给出某些文件的传输状态
--progress 在传输时现实传输过程
--log-format=formAT 指定日志文件格式
--password-file=FILE 从FILE中得到密码
--bwlimit=KBPS 限制I/O带宽，KBytes per second
-h, --help 显示帮助信息

7.2 inotifywait参数说明

-h,–help 输出帮助信息
-m,–monitor始终保持事件监听状态，接收到一个事件而不退出，无限期地执行。默认的行为是接收到一个事件后立即退出
-r,–recursive 递归查询目录
-q,–quiet只打印监控事件的信息
–exclude正则匹配需要排除的文件，区分大小写
–excludei正则匹配需要排除的文件，不区分大小写
-t,–timeout超时时间，如果为0，则无限期地执行下去
–timefmt指定时间输出格式，用于–format选项中的%T格式
–format指定输出格式
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式
-e,–event 指定监视的事件
–fromfile 从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头
-d, –daemon 跟–monitor一样，除了是在后台运行，需要指定–outfile把事情输出到一个文件。也意味着使用了–syslog。
-o, –outfile  输出事情到一个文件而不是标准输出。
-s, –syslog 输出错误信息到系统日志
-c, –csv 输出csv格式

7.3 inotifywait events事件说明

access读取文件或目录内容
modify修改文件或目录内容
attrib文件或目录属性更改，如权限，时间戳等
close_write以可写模式打开的文件被关闭，不代表此文件一定已经写入数据
close_nowrite以只读模式打开的文件被关闭
close文件被关闭，不管它是如何打开的
open文件打开
moved_to一个文件或目录移动到监听的目录，即使是在同一目录内移动，此事件也触发
moved_from一个文件或目录移出监听的目录，即使是在同一目录内移动，此事件也触发
move包括moved_to和 moved_from
move_self文件或目录被移除，之后不再监听此文件或目录
create文件或目录创建
delete文件或目录删除
delete_self文件或目录移除，之后不再监听此文件或目录
unmount文件系统取消挂载，之后不再监听此文件系统

pyenv安装配置

2018-05-28T16:00:00.000Z

pyenv是一个Python多版本管理工具，它可以改变全局的Python版本，安装多个版本的Python，设置目录级别的Python版本，还能创建和管理virtual python environments 。所有的设置都是用户级别的操作，不需要sudo 命令。
pyenv通过系统修改环境变量来实现Python不同版本的切换，它在PATH的最前面插入了一个垫片路径（shims）：~/.pyenv/shims:/usr/local/bin:/usr/bin:/bin。所有对 Python 可执行文件的查找都会首先被这个 shims 路径截获，从而使后方的系统路径失效。

1. 安装pyenv

1.1 git拉取pyenv代码

1	# git clone https://github.com/pyenv/pyenv.git ~/.pyenv

1.2 修改配置文件

1
2
3

# echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
# echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
# echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n  eval "$(pyenv init -)"\nfi' >> ~/.bash_profile

1.3 重新载入变量配置

1	# source ~/.bashrc

1.4 验证安装

1	# pyenv versions

2. 使用pyenv安装多版本Python

2.1 安装依赖包

在使用pyenv安装Python之前，需要安装相应的依赖包，否则在安装过程中会报错。

# yum install -y gcc*
# yum install -y readline readline-devel readline-static
# yum install -y zlib-devel
# yum install -y bzip2-devel bzip2-libs
# yum install -y openssl openssl-devel openssl-static
# yum install -y sqlite-devel

2.2 pyenv常用命令

查看本机安装 Python 版本

1 2	# pyenv versions * 表示当前正在使用的 Python 版本

查看可安装Python版本

1	# pyenv install -l

python安装与卸载

# pyenv install 2.7.15   
# 安装python
# pyenv uninstall 2.7.15 
# 卸载python

python切换

# pyenv global 2.7.15  
# 设置全局的 Python 版本，通过将版本号写入 ~/.pyenv/version 文件的方式。
# pyenv local 2.7.15 
# 设置 Python 本地版本，通过将版本号写入当前目录下的 .python-version 文件的方式。通过这种方式设置的 Python 版本优先级较 global 高。

python优先级
shell > local > global
pyenv 会从当前目录开始向上逐级查找 .python-version 文件，直到根目录为止。若找不到，就用 global 版本。

# pyenv shell 2.7.15 # 设置面向 shell 的 Python 版本，通过设置当前 shell 的 PYENV_VERSION 环境变量的方式。这个版本的优先级比 local 和 global 都要高。–unset 参数可以用于取消当前 shell 设定的版本。
# pyenv shell --unset
# pyenv rehash  # 创建垫片路径（为所有已安装的可执行文件创建 shims，如：~/.pyenv/versions/*/bin/*，因此，每当你增删了 Python 版本或带有可执行文件的包（如 pip）以后，都应该执行一次本命令）

查看所有pyenv支持命令

1	# pyenv commands

2.3 安装过程中遇到的相关问题解决

2.3.1 安装Python过程慢

pyenv安装Python过程

1	pyenv默认会从官网下载相应Python压缩包，放到/tmp目录下，然后在/tmp目录编译安装，安装在~/.pyenv/versions/下面。

解决下载安装慢的问题

因为pyenv默认会从Python官网下载压缩包，因为众所周知的原因，国内访问Python官网不稳定，因此在下载过程中会非常慢，解决该问题有两个办法：
1. 手动将Python压缩包下载到~/.pyenv/cache/目录下，pyenv会校验md5值和完整性，确认无误的话就不会重新下载直接从这里安装；这里有个需要注意的地方，需要把下载的Python压缩包后缀名由.tgz修改为.tar.gz（切记不能采用把.tgz解压之后再压缩成.tar.gz 的方式，因为这样的话会导致源文件的md5值发生变化而校验失败重新下载。）
2. 直接修改pyenv配置文件，将Python下载地址修改为国内Python镜像源地址，在此，推荐第二种方法，我这里使用的是sohu的镜像源；修改~/.pyenv/plugins/python-build/share/python-build/目录下对应版本号文件，你需要安装哪个版本就修改哪个版本号，替换下载地址为sohu镜像源地址：
# cd ~/.pyenv/plugins/python-build/share/python-build/
# vim 3.6.5
  #install_package "Python-3.6.5" "https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tar.xz#f434053ba1b5c8a5cc597e966ead3c5143012af827fd3f0697d21450bb8d87a6
  install_package "Python-3.6.5" "http://mirrors.sohu.com/python/3.6.5/Python-3.6.5.tar.xz#f434053ba1b5c8a5cc597e966ead3c5143012af827fd3f0697d21450bb8d87a6

2.3.2 pip安装库timeout

pip安装库的时候，也会经常出现现在速度很慢或者timeout的状况，更换成国内镜像源即可解决问题

创建一个pip.conf文件
# mkdir ~/.pip
# vim ~/.pip/pip.conf
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/

[install]
trusted-host=mirrors.aliyun.com

Centos7安装配置RabbitMQ

2018-05-06T16:00:00.000Z

1. RabbitMQ介绍

RabbitMQ是实现AMQP（高级消息队列协议）的消息中间件的一种，最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。RabbitMQ主要是为了实现系统之间的双向解耦而实现的。当生产者大量产生数据时，消费者无法快速消费，那么需要一个中间层。保存这个数据。

AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。

RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

---以上内容我抄的

2. 准备所需软件包

1 2	# ls /data/src/ jdk-8u171-linux-x64.rpm otp_src_18.3.tar.gz rabbitmq-server-generic-unix-3.6.6.tar wxWidgets-3.0.4.tar

3. 编译安装Erlang

因为RabbitMQ是用Erlang语言编写的，所以在编译安装RabbitMQ之前必须要先编译安装Erlang，Erlang的安装可以使用yum安装，也可以使用源码包编译安装；Centos7上yum安装的Erlang版本太低，因此，此处我们采用源码包编译安装。

3.1 安装依赖环境

# yum install -y gcc*
# yum install -y ncurses-devel
# yum install -y unixODBC unixODBC-devel
# yum install -y openssl-devel
# yum install -y mesa* freeglut*
# yum install -y fop
# yum install -y libxslt-devel

3.2 编译安装wxWidgets

wxWidgets是一个开源的跨平台的C++构架库（framework），它可以提供GUI（图形用户界面）和其它工具。wxWidgets支持在Erlang的编译安装过程中是非必需的，但Erlang的新GUI工具是基于wxWidgets开发的，因此要使用这些工具必须安装wxWidgets。

# wget https://github.com/wxWidgets/wxWidgets/releases/download/v3.0.4/wxWidgets-3.0.4.tar.bz2
# bzip2 -d wxWidgets-3.0.4.tar.bz2
# tar xf wxWidgets-3.0.4.tar
# cd wxWidgets-3.0.4/
# yum install -y gtk+-devel
# yum install -y gtk2-devel binutils-devel
# ./configure --with-opengl --enable-debug --enable-unicode
# make && make install

注意：
此处需注意的是，gtk+-devel、gtk2-devel、binutils-devel是必需的依赖环境，否则wxWidgets的make过程会报错。

3.3 编译安装Erlang

# tar zxf otp_src_18.3.tar.gz
# cd otp_src_18.3
# ./configure
# make && make install

测试Erlang是否安装成功

# erl
Erlang/OTP 18 [erts-7.3] [source] [64-bit] [smp:4:4] [async-threads:10] [kernel-poll:false]

Eshell V7.3  (abort with ^G)
1> halt().

4. 安装配置RabbitMQ

RabbitMQ提供了yum安装、rpm安装、编译安装、二进制包等多种方式，此处采用的是二进制包直接解压使用。

4.1 解压RabbitMQ二进制包并移动到指定目录

1 2	# tar xf rabbitmq-server-generic-unix-3.6.6.tar # mv rabbitmq_server-3.6.6 /data/program/rabbitmq

配置环境变量

1
2
3

# vim /etc/profile.d/rabbitmq.sh
export PATH=/data/program/rabbitmq/sbin:$PATH
# source /etc/profile

4.2 启动RabbitMQ服务

1 2	# rabbitmq-server -detached # rabbitmqctl status

4.3 开启web管理接口

RabbitMQ默认情况下近允许通过命令行来管理，在日常工作中多有不便，还好RabbitMQ自带了web管理界面，只需要启动插件便可以使用。

1	# rabbitmq-plugins enable rabbitmq_management

使用浏览器访问

http://[IP]:15672

输入用户名和密码就可以访问web管理界面了。

4.4 配置RabbitMQ用户

默认情况下，RabbitMQ的默认的guest用户只允许本机访问，如果需要远程访问，可以新增一个用户并配置远程；同时，由于RabbitMQ默认的账号用户名和密码都是guest。为了安全起见, 先删掉默认用户。

新增远程管理用户rabbitmq

1
2
3

# rabbitmqctl add_user rabbitmq password
# rabbitmqctl set_permissions -p "/" rabbitmq ".*" ".*" ".*"
# rabbitmqctl set_user_tags rabbitmq administrator

删除默认用户guest

1 2	# rabbitmqctl delete_user guest Deleting user "guest" ...

4.5 RabbitMQ常用命令

查看当前所有用户
# rabbitmqctl list_users
Listing users ...
rabbitmq[administrator]

查看默认guest用户的权限
# rabbitmqctl list_user_permissions guest

添加新用户
# rabbitmqctl add_user username password

设置用户tag
# rabbitmqctl set_user_tags username administrator

赋予用户默认vhost的全部操作权限
# rabbitmqctl set_permissions -p / username ".*" ".*" ".*"

查看用户的权限
# rabbitmqctl list_user_permissions username

4.6 RabbitMQ用户角色

RabbitMQ的用户角色分类：

none、management、policymaker、monitoring、administrator

RabbitMQ各类角色描述：

none
不能访问 management plugin

management
用户可以通过AMQP做的任何事外加：
列出自己可以通过AMQP登入的virtual hosts
查看自己的virtual hosts中的queues, exchanges 和 bindings
查看和关闭自己的channels 和 connections
查看有关自己的virtual hosts的“全局”的统计信息，包含其他用户在这些virtual hosts中的活动。

policymaker
management可以做的任何事外加：
查看、创建和删除自己的virtual hosts所属的policies和parameters

monitoring
management可以做的任何事外加：
列出所有virtual hosts，包括他们不能登录的virtual hosts
查看其他用户的connections和channels
查看节点级别的数据如clustering和memory使用情况
查看真正的关于所有virtual hosts的全局的统计信息

administrator
policymaker和monitoring可以做的任何事外加:
创建和删除virtual hosts
查看、创建和删除users
查看创建和删除permissions
关闭其他用户的connections

5. 一些踩到的坑

5.1 关于编译环境

编译安装Erlang的时候会出现报错：

jinterface : No Java compiler found

可以通过安装jdk来解决，如果有gcc环境，无需安装jdk，可以在configure时增加 –disable-javac来跳过警告。

5.2 重启服务器后，RabbitMQ用户丢失问题

在部署配置完成后，重启了一次服务器，服务器启动后重新启动RabbitMQ服务，结果神奇的发现RabbitMQ用户丢失了。
原因如下：

1
2
3

RabbitMQ数据是根据当前hostname作为node节点作为数据名保存
# ls /data/program/rabbitmq/var/lib/rabbitmq/mnesia/
rabbit@Centos7-01  rabbit@Centos7-01.pid  rabbit@Centos7-01-plugins-expand

重启服务器之前我修改了hostname，所以重启之后，RabbitMQ服务使用新的hostname来保存数据。

可以通过添加RabbitMQ固定节点名字，保证数据文件不变。

1	# echo 'NODENAME=rabbit@info' \| tee -a etc/rabbitmq/rabbitmq-env.conf

配置docker使用国内镜像源及镜像加速器

2018-04-25T16:00:00.000Z

因为众所周知的原因，在国内访问docker官方yum源经常会出现不可知状态，为了正常使用docker，我们需要将docker yum源修改为国内yum源来解决访问慢或者无法访问的问题。
目前国内大多数开放镜像站都提供了docker yum源，如：阿里云、USTC等，此处以阿里云为例。

1. 修改docker-ce.repo文件，配置国内镜像站地址

docker-ce.repo文件可从阿里云或USTC镜像站下载，阿里云下载地址：https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

不知为何，阿里云与USTC镜像站上默认的docker-ce.repo文件内部地址均是指向docker官方站https://download-stage.docker.com 这样导致直接下载下来的repo文件无法正常使用，需要将baseurl修改为国内镜像站的地址。

1
2
3

# vim /etc/yum.repos.d/docker-ce.repo
# sed -i 's@https://download-stage.docker.com/linux/centos/7/@https://mirrors.aliyun.com/docker-ce/linux/centos/7/@g' /etc/yum.repos.d/docker-ce.repo
# sed -i 's@https://download-stage.docker.com/linux/centos/gpg@https://mirrors.aliyun.com/docker-ce/linux/centos/gpg@g' /etc/yum.repos.d/docker-ce.repo

修改完成后，yum安装docker就可以直接使用国内yum源了。

2. 修改/etc/docker/daemon.json文件，配置docker镜像加速器

配置完docker的国内yum源仅仅解决了yum安装docker时的访问问题，但在docker实际使用中还面临另外一个问题；
docker默认镜像仓库Docker Hub服务器位于国外，因此在国内访问的时候依然会出现各种故障，为此docker提供了一个镜像加速器的设置，
可以通过配置位于国内的镜像加速器来加速docker镜像的拉取。
Docker 官方和国内很多云服务商都提供了国内加速器服务，例如：

Docker 官方提供的中国 registry mirror
阿里云加速器
 DaoCloud 加速器
后两者需要注册相关账号才可以使用。

修改/etc/docker/daemon.json文件，添加以下内容，如此文件不存在则创建之；

# vim /etc/docker/daemon.json
{
"registry-mirrors": [
"https://registry.docker-cn.com"
]
}

修改完成后，需重启服务生效；

1 2	# systemctl daemon-reload # systemctl restart docker

到此为止，可以愉快的使用docker了。

使用Nginx来配置服务端兼容APP接口多版本

2018-03-19T16:00:00.000Z

移动互联网时代，讲究的是快速迭代，为了完善产品功能，一款APP需要不断的更新版本发布功能；而为了不影响用户体验，很多时候我们无法做到每个版本都强制用户更新；这样一来势必要保证APP多版本共存，作为APP与服务端交互的交互的api接口也将存在多个接口共存的情况，所以，我们必须考虑到如何实现APP接口多版本共存。

1. APP接口多版本共存的几种实现方式

1.1 URL请求中加入版本信息

例如：
www.xxx.com/api.xxx?version=v1
www.xxx.com/api.xxx?version=v2

1.2 使用不同子域名来区分不同版本的api接口

例如：
api1.xxx.com
api2.xxx.com

1.3 URL中加入不同版本路径来区分不同版本的api接口

例如：
www.xxx.com/v1/api
www.xxx.com/v2/api

例如：
header信息中直接添加一个字段：http_AppVersion = 1

2. 我们选择的方案

在我们的技术选型过程中，不远将版本信息暴露在URL中，因此我们选择将版本信息放在header中，通过服务端来判断app版本信息并将请求分发到不同的接口服务上。
因此，我们选择在接口服务前面加一个Nginx来反代请求并分发，而Nginx原生支持用户自定义header，所以我们只需要在提交的header信息中定义一个http_AppVersion字段，APP端请求到Nginx服务器，Nginx服务器根据请求过来的header信息中的http_AppVersion字段值将不同版本的APP请求转发的不同的api接口服务上。

3. Nginx的具体配置

location / {
if ($http_AppVersion = "1_0_1") {
proxy_pass https://api1.xxx.com/1_0_1$request_uri;
break;
}
if ($http_AppVersion = "1.0.2") {
proxy_pass https://api1.xxx.com/1_0_2$request_uri;
break;
}
if ($http_AppVersion = "1.0.3") {
proxy_pass https://api1.xxx.com/1_0_3$request_uri;
break;
}
if ($http_AppVersion = "1.0.4") {
proxy_pass https://api1.xxx.com/1_0_4$request_uri;
break;
}
if ($http_AppVersion = "") {
proxy_pass https://api1.xxx.com/1_0_1$request_uri;
break;
}
}

MongoDB副本集分片集群配置

2017-02-02T16:00:00.000Z

1. 配置前准备工作

准备MongoDB程序文件

# wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.1.tgz
# tar zxf mongodb-linux-x86_64-rhel62-3.4.1.tgz
# cp -r mongodb-linux-x86_64-rhel62-3.4.1 /usr/local/
# ln -s /usr/local/mongodb-linux-x86_64-rhel62-3.4.1 /usr/local/mongodb
# ls /usr/local/mongodb
bin  GNU-AGPL-3.0  MPL-2  README  THIRD-PARTY-NOTICES

为MongoDB配置环境变量

1
2
3

# vim /etc/profile.d/mongodb.sh
export PATH=/usr/local/mongodb/bin:$PATH
# source /etc/profile.d/mongodb.sh

为MongoDB创建相关目录

# mkdir -pv /home/mongodb/shard{1,2,3}/data/
mkdir: created directory `/home/mongodb/shard1'
mkdir: created directory `/home/mongodb/shard1/data/'
mkdir: created directory `/home/mongodb/shard2'
mkdir: created directory `/home/mongodb/shard2/data/'
mkdir: created directory `/home/mongodb/shard3'
mkdir: created directory `/home/mongodb/shard3/data/'
# mkdir -pv /home/mongodb/shard{1,2,3}/config/
mkdir: created directory `/home/mongodb/shard1/config/'
mkdir: created directory `/home/mongodb/shard2/config/'
mkdir: created directory `/home/mongodb/shard3/config/'
# mkdir -pv /home/mongodb/shard{1,2,3}/log/
mkdir: created directory `/home/mongodb/shard1/log/'
mkdir: created directory `/home/mongodb/shard2/log/'
mkdir: created directory `/home/mongodb/shard3/log/'

# tree /home/mongodb
/home/mongodb
├── shard1
│   ├── config
│   ├── data
│   └── log
├── shard2
│   ├── config
│   ├── data
│   └── log
└── shard3
    ├── config
    ├── data
    └── log

12 directories, 0 files

2. 配置副本集

启动MongoDB实例

# mongod --shardsvr --replSet sharding1 --port 27101 --dbpath /home/mongodb/shard1/data/ --pidfilepath /home/mongodb/shard1/log/sharding1_1.pid --logpath /home/mongodb/shard1/log/sharding1_1.log --logappend --fork
在生产环境中更推荐使用指定配置文件的方式来启动
# cd /home/mongodb
# vim shard1/config/shard1.conf
shardsvr = true
replSet = sharding1
port = 27101
quiet = true
dbpath = /home/mongodb/shard1/data/
pidfilepath = /home/mongodb/shard1/log/sharding1_1.pid
logpath = /home/mongodb/shard1/log/sharding1_1.log
oplogSize = 2048
directoryperdb=true
logappend = true
rest = true
fork = true
journal = true
noprealloc=true

指定配置文件启动MongoDB
# mongod --config /home/mongodb/shard1/config/shard1.conf

添加iptables规则
# iptables -I INPUT -s 192.168.1.0/24 -p tcp -j ACCEPT
# service iptables save

初始化副本集（Replica Set）

# mongo --port 27101
> use admin
switched to db admin
> db.runCommand({"replSetInitiate" :{
... "_id":"sharding1",
... "members":[
... {"_id":1,"host":"10.1.1.148:27101"},
... {"_id":2,"host":"10.1.1.149:27101"},
... {"_id":3,"host":"10.1.1.150:27101"},
... ]}})

验证副本集（Replica Sets）状态

sharding1:PRIMARY> rs.status()
{
"set" : "sharding1",
"date" : ISODate("2017-01-13T07:01:09.676Z"),
"myState" : 1,
"term" : NumberLong(1),
"heartbeatIntervalMillis" : NumberLong(2000),
"optimes" : {
"lastCommittedOpTime" : {
"ts" : Timestamp(1484290864, 1),
"t" : NumberLong(1)
},
"appliedOpTime" : {
"ts" : Timestamp(1484290864, 1),
"t" : NumberLong(1)
},
"durableOpTime" : {
"ts" : Timestamp(1484290864, 1),
"t" : NumberLong(1)
}
},
"members" : [
{
"_id" : 1,
"name" : "10.1.1.148:27101",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 1169,
"optime" : {
"ts" : Timestamp(1484290864, 1),
"t" : NumberLong(1)
},
"optimeDate" : ISODate("2017-01-13T07:01:04Z"),
"electionTime" : Timestamp(1484290383, 1),
"electionDate" : ISODate("2017-01-13T06:53:03Z"),
"configVersion" : 1,
"self" : true
},
{
"_id" : 2,
"name" : "10.1.1.149:27101",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 497,
"optime" : {
"ts" : Timestamp(1484290864, 1),
"t" : NumberLong(1)
},
"optimeDurable" : {
"ts" : Timestamp(1484290864, 1),
"t" : NumberLong(1)
},
"optimeDate" : ISODate("2017-01-13T07:01:04Z"),
"optimeDurableDate" : ISODate("2017-01-13T07:01:04Z"),
"lastHeartbeat" : ISODate("2017-01-13T07:01:09.543Z"),
"lastHeartbeatRecv" : ISODate("2017-01-13T07:01:09.460Z"),
"pingMs" : NumberLong(0),
"syncingTo" : "10.1.1.148:27101",
"configVersion" : 1
},
{
"_id" : 3,
"name" : "10.1.1.150:27101",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 497,
"optime" : {
"ts" : Timestamp(1484290864, 1),
"t" : NumberLong(1)
},
"optimeDurable" : {
"ts" : Timestamp(1484290864, 1),
"t" : NumberLong(1)
},
"optimeDate" : ISODate("2017-01-13T07:01:04Z"),
"optimeDurableDate" : ISODate("2017-01-13T07:01:04Z"),
"lastHeartbeat" : ISODate("2017-01-13T07:01:09.543Z"),
"lastHeartbeatRecv" : ISODate("2017-01-13T07:01:09.456Z"),
"pingMs" : NumberLong(0),
"syncingTo" : "10.1.1.148:27101",
"configVersion" : 1
}
],
"ok" : 1
}

三台主机操作一致。
其余两个副本集的设置同上。

3. 配置分片集群

为config server创建相关目录

# mkdir -pv /home/mongodb/configsvr/{data,config,log}
mkdir: created directory `/home/mongodb/configsvr'
mkdir: created directory `/home/mongodb/configsvr/data'
mkdir: created directory `/home/mongodb/configsvr/config'
mkdir: created directory `/home/mongodb/configsvr/log'
# tree /home/mongodb
/home/mongodb
├── configsvr
│   ├── config
│   ├── data
│   └── log

启动config server实例

# vim /home/mongodb/configsvr/config/configsvr.conf
configsvr = true
replSet = configdb
dbpath = /home/mongodb/configsvr/data/
port = 27301
logpath = /home/mongodb/configsvr/log/dbconfig.log
pidfilepath = /home/mongodb/configsvr/log/configdb.pid
rest = true
journal = true
logappend = true
fork = true

# mongod --config /home/mongodb/configsvr/config/configsvr.conf

为config server 配置副本集

因为mongodb 3.2版本以后要求配置服务器必须也是副本集，所以我们要给config server也建立一个副本集
# mongo --port 27301
> use admin
switched to db admin
> db.runCommand({"replSetInitiate" :{
... "_id":"configdb",
... "members":[
... {"_id":1,"host":"10.1.1.148:27301"},
... {"_id":2,"host":"10.1.1.149:27301"},
... {"_id":3,"host":"10.1.1.150:27301"},
... ]}})
{ "ok" : 1 }

为mongos创建相关目录

# mkdir -pv /home/mongodb/mongos/{data,config,log}
mkdir: created directory `/home/mongodb/mongos'
mkdir: created directory `/home/mongodb/mongos/data'
mkdir: created directory `/home/mongodb/mongos/config'
mkdir: created directory `/home/mongodb/mongos/log'
# tree /home/mongodb
/home/mongodb
├── mongos
│   ├── config
│   ├── data
│   └── log

启动mongos实例

# vim /home/mongodb/mongos/config/mongos.conf
configdb = configdb/10.1.1.148:27301,10.1.1.149:27301,10.1.1.150:27301
port = 28885
logpath = /home/mongodb/mongos/log/mongos.log
pidfilepath = /home/mongodb/mongos/log/mongos.pid
logappend = true
fork = true

# mongos --config /home/mongodb/mongos/config/mongos.conf

登录mongos进程，配置Shard Cluster

# mongo --port 28885 admin
mongos> db.runCommand({addshard:"sharding1/10.1.1.148:27101,10.1.1.149:27101,10.1.1.150:27101"});
{ "shardAdded" : "sharding1", "ok" : 1 }
mongos> db.runCommand({addshard:"sharding2/10.1.1.148:27102,10.1.1.149:27102,10.1.1.150:27102"});
{ "shardAdded" : "sharding2", "ok" : 1 }
mongos> db.runCommand({addshard:"sharding3/10.1.1.148:27103,10.1.1.149:27103,10.1.1.150:27103"});
{ "shardAdded" : "sharding3", "ok" : 1 }

Redis Cluster部署配置

2017-02-01T16:00:00.000Z

1. 配置前准备工作

部署规划

集群使用三台服务器，每服务器上分别部署两个实例（端口监听6379、7379），一共6个实例来组建集群。
redis安装路径
/usr/local/redis3
链接至
/usr/local/redis
redis数据存放位置
/home/redis/{6379,7379}/data
redis日志文件、pid文件位置
/home/redis/{6379,7379}/log
redis配置文件位置
/home/redis/{6379,7379}/config

准备redis安装程序

1 2	# wget http://download.redis.io/releases/redis-3.2.6.tar.gz # tar zxf redis-3.2.6.tar.gz

为redis创建相关目录

redis安装目录
# mkdir -pv /usr/local/redis3
redis数据目录
redis日志文件、PID文件、配置文件目录
# mkdir -pv /home/redis/{6379,7379}/{data,config,log}
mkdir: created directory `/home/redis'
mkdir: created directory `/home/redis/6379'
mkdir: created directory `/home/redis/6379/data'
mkdir: created directory `/home/redis/6379/config'
mkdir: created directory `/home/redis/6379/log'
mkdir: created directory `/home/redis/7379'
mkdir: created directory `/home/redis/7379/data'
mkdir: created directory `/home/redis/7379/config'
mkdir: created directory `/home/redis/7379/log'

配置相应iptables规则

1 2	# iptables -I INPUT -s 10.1.1.0/24 -p tcp -j ACCEPT # service iptables save

2. 安装redis并配置实例

安装redis

解决依赖关系
# yum install -y gcc*
# cd redis-3.2.6
# make
# make test
cd src && make test
make[1]: Entering directory `/home/soft/redis/redis-3.2.6/src'
You need tcl 8.5 or newer in order to run the Redis test
make[1]: *** [test] Error 1
make[1]: Leaving directory `/home/soft/redis/redis-3.2.6/src'
make: *** [test] Error 2
报错，提示需要tcl 8.5或以上版本支持。
# yum install -y tcl
继续make test，通过。

如果继续报错：
*** [err]: Test replication partial resync: ok psync (diskless: yes, reconnect: 1) in tests/integration/replication-psync.tcl
只需要以单核运行make test就行了
# taskset -c 1 sudo make test

指定目录安装
# make PREFIX=/usr/local/redis3 install
# ln -s /usr/local/redis3 /usr/local/redis
# ls /usr/local/redis
bin

配置环境变量

1
2
3

# vim /etc/profile.d/redis.sh
export PATH=/usr/local/redis/bin:$PATH
# source /etc/profile.d/redis.sh

准备redis配置文件

# vim /home/redis/6379/config/redis-6379.conf
bind 10.1.1.148
protected-mode no
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 0
daemonize yes
supervised no
pidfile /home/redis/6379/log/redis_6379.pid
loglevel notice
logfile "/home/redis/6379/log/redis-6379.log"
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir /home/redis/6379/data/
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
maxclients 10000
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
cluster-enabled yes #（开启集群）
cluster-config-file /home/redis/6379/config/nodes-6379.conf #（此配置文件在首次启动时自动生成）
cluster-node-timeout 15000
cluster-slave-validity-factor 10
cluster-migration-barrier 1
cluster-require-full-coverage yes
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

# cp /home/redis/6379/config/redis-6379.conf /home/redis/7379/config/redis-7379.conf
将6379的配置文件复制到7379中，并修改相应的路径及端口号。
# sed -i 's/6379/7379/g' /home/redis/7379/config/redis-7379.conf

在其余几台服务器上同样操作，记住务必要修改相应端口号及绑定IP。

启动redis实例

1 2	# redis-server /home/redis/6379/config/redis-6379.conf # redis-server /home/redis/7379/config/redis-7379.conf

3. 创建redis-cluster集群

使用redis-trib.rb来创建cluster集群

redis官方提供了一个工具/home/soft/redis/redis-3.2.6/src/redis-trib.rb用来创建集群。
# /home/soft/redis/redis-3.2.6/src/redis-trib.rb create --replicas 1 10.1.1.148:6379 10.1.1.149:6379 10.1.1.150:6379 10.1.1.148:7379 10.1.1.149:7379 10.1.1.150:7379
/usr/bin/env: ruby: No such file or directory
有报错，因为这是一个ruby程序，必须安装ruby才可以执行

安装ruby及相关支持

# yum -y install ruby ruby-devel rubygems rpm-build
# gem install redis
此处可指定安装对应版本，如
# gem install redis --version 3.2.2

创建redis-cluster集群

# /home/soft/redis/redis-3.2.6/src/redis-trib.rb create --replicas 1 10.1.1.148:6379 10.1.1.149:6379 10.1.1.150:6379 10.1.1.148:7379 10.1.1.149:7379 10.1.1.150:7379
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
10.1.1.150:6379
10.1.1.149:6379
10.1.1.148:6379
Adding replica 10.1.1.149:7379 to 10.1.1.150:6379
Adding replica 10.1.1.150:7379 to 10.1.1.149:6379
Adding replica 10.1.1.148:7379 to 10.1.1.148:6379
M: 4b37935462a37c9817f9c90877b07a8984c8c5d4 10.1.1.148:6379
   slots:10923-16383 (5461 slots) master
M: a96f7c1a1b9fa6c128549cbef80e7b021c8c2e57 10.1.1.149:6379
   slots:5461-10922 (5462 slots) master
M: cffe855dfc88781443af94d65a8b25b6bbf381fd 10.1.1.150:6379
   slots:0-5460 (5461 slots) master
S: 96ac7786eb3317048f82be33024c954794a75230 10.1.1.148:7379
   replicates 4b37935462a37c9817f9c90877b07a8984c8c5d4
S: 03bd2483ab51191208bfdbc6781e8910018980f1 10.1.1.149:7379
   replicates cffe855dfc88781443af94d65a8b25b6bbf381fd
S: 0ba60ec12c581896898fe0504009cdb494f61bc6 10.1.1.150:7379
   replicates a96f7c1a1b9fa6c128549cbef80e7b021c8c2e57
Can I set the above configuration? (type 'yes' to accept): yes
/usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/connection/ruby.rb:111:in `_write_to_socket': Connection timed out (Redis::TimeoutError)
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/connection/ruby.rb:131:in `write'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/connection/ruby.rb:130:in `loop'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/connection/ruby.rb:130:in `write'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/connection/ruby.rb:374:in `write'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:271:in `write'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:250:in `io'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:269:in `write'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:228:in `process'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:222:in `each'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:222:in `process'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:367:in `ensure_connected'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:221:in `process'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:306:in `logging'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:220:in `process'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/client.rb:120:in `call'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis.rb:2705:in `method_missing'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis.rb:58:in `synchronize'
from /usr/lib/ruby/1.8/monitor.rb:242:in `mon_synchronize'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis.rb:58:in `synchronize'
from /usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis.rb:2704:in `method_missing'
from /home/soft/redis/redis-3.2.6/src/redis-trib.rb:212:in `flush_node_config'
from /home/soft/redis/redis-3.2.6/src/redis-trib.rb:776:in `flush_nodes_config'
from /home/soft/redis/redis-3.2.6/src/redis-trib.rb:775:in `each'
from /home/soft/redis/redis-3.2.6/src/redis-trib.rb:775:in `flush_nodes_config'
from /home/soft/redis/redis-3.2.6/src/redis-trib.rb:1296:in `create_cluster_cmd'
from /home/soft/redis/redis-3.2.6/src/redis-trib.rb:1701:in `send'
from /home/soft/redis/redis-3.2.6/src/redis-trib.rb:1701

出现报错：/usr/lib/ruby/gems/1.8/gems/redis-3.3.2/lib/redis/connection/ruby.rb:111:in `_write_to_socket': Connection timed out (Redis::TimeoutError)
搜索了一下，发现是gem安装的redis库版本太高。
# gem list
*** LOCAL GEMS ***
redis (3.3.2)

卸载并使用3.0的gem就OK了。
# gem uninstall redis --version 3.3.2
Successfully uninstalled redis-3.3.2
# gem install redis --version 3.0.0
Successfully installed redis-3.0.0
1 gem installed
Installing ri documentation for redis-3.0.0...
Installing RDoc documentation for redis-3.0.0...
# gem list
*** LOCAL GEMS ***
redis (3.0.0)

重新执行命令创建集群
继续报错：/usr/lib/ruby/gems/1.8/gems/redis-3.0.0/lib/redis/client.rb:79:in `call': ERR Slot 11291 is already busy (Redis::CommandError)
这是因为之前创建集群没有成功,需要将nodes.conf和dir里面的文件全部删除
# rm -rf 6379/config/nodes-6379.conf
# rm -rf 6379/data/*
# rm -rf 7379/config/nodes-7379.conf
# rm -rf 7379/data/*
# redis-cli -p 6379 shutdown
# redis-cli -p 7379 shutdown
# redis-server /home/redis/6379/config/redis-6379.conf
# redis-server /home/redis/7379/config/redis-7379.conf

报错：一直卡在Waiting for the cluster to join.....................................
问题原因不明，但是按照网上的解决办法是，在redis配置文件中bind一行只绑定一个内网IP地址即可，不要绑定本地回环地址127.0.0.1
# vim /home/redis/6379/config/redis-6379.conf
bind 10.1.1.148

创建集群成功
# /home/soft/redis/redis-3.2.6/src/redis-trib.rb create --replicas 1 10.1.1.148:6379 10.1.1.149:6379 10.1.1.150:6379 10.1.1.148:7379 10.1.1.149:7379 10.1.1.150:7379
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
10.1.1.149:6379
10.1.1.148:6379
10.1.1.150:6379
Adding replica 10.1.1.148:7379 to 10.1.1.149:6379
Adding replica 10.1.1.149:7379 to 10.1.1.148:6379
Adding replica 10.1.1.150:7379 to 10.1.1.150:6379
M: ce3a2498a81f450b3d648bc1ede7c82fcac87cf2 10.1.1.148:6379
   slots:5461-10922 (5462 slots) master
M: 74719e18073c6ac08da0a5608e7986d057e51ee4 10.1.1.149:6379
   slots:0-5460 (5461 slots) master
M: 3c2b327b2b56ddf07fc4040061f95dd6458b5154 10.1.1.150:6379
   slots:10923-16383 (5461 slots) master
S: 0d43b62b9ce2241147376574280e339b1fc3a97b 10.1.1.148:7379
   replicates 74719e18073c6ac08da0a5608e7986d057e51ee4
S: 40a7736a56fe9671a79eb4e392a3669a4797c4d3 10.1.1.149:7379
   replicates ce3a2498a81f450b3d648bc1ede7c82fcac87cf2
S: b6e2e6c8093bfa92d49c6f3771316ca1c5304c01 10.1.1.150:7379
   replicates 3c2b327b2b56ddf07fc4040061f95dd6458b5154
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join..
>>> Performing Cluster Check (using node 10.1.1.148:6379)
M: ce3a2498a81f450b3d648bc1ede7c82fcac87cf2 10.1.1.148:6379
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: 40a7736a56fe9671a79eb4e392a3669a4797c4d3 10.1.1.149:7379
   slots: (0 slots) slave
   replicates ce3a2498a81f450b3d648bc1ede7c82fcac87cf2
S: b6e2e6c8093bfa92d49c6f3771316ca1c5304c01 10.1.1.150:7379
   slots: (0 slots) slave
   replicates 3c2b327b2b56ddf07fc4040061f95dd6458b5154
M: 74719e18073c6ac08da0a5608e7986d057e51ee4 10.1.1.149:6379
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
M: 3c2b327b2b56ddf07fc4040061f95dd6458b5154 10.1.1.150:6379
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 0d43b62b9ce2241147376574280e339b1fc3a97b 10.1.1.148:7379
   slots: (0 slots) slave
   replicates 74719e18073c6ac08da0a5608e7986d057e51ee4
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

检查集群状态

# /home/soft/redis/redis-3.2.6/src/redis-trib.rb check 10.1.1.148:6379
>>> Performing Cluster Check (using node 10.1.1.148:6379)
M: ce3a2498a81f450b3d648bc1ede7c82fcac87cf2 10.1.1.148:6379
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: 40a7736a56fe9671a79eb4e392a3669a4797c4d3 10.1.1.149:7379
   slots: (0 slots) slave
   replicates ce3a2498a81f450b3d648bc1ede7c82fcac87cf2
S: b6e2e6c8093bfa92d49c6f3771316ca1c5304c01 10.1.1.150:7379
   slots: (0 slots) slave
   replicates 3c2b327b2b56ddf07fc4040061f95dd6458b5154
M: 74719e18073c6ac08da0a5608e7986d057e51ee4 10.1.1.149:6379
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
M: 3c2b327b2b56ddf07fc4040061f95dd6458b5154 10.1.1.150:6379
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
S: 0d43b62b9ce2241147376574280e339b1fc3a97b 10.1.1.148:7379
   slots: (0 slots) slave
   replicates 74719e18073c6ac08da0a5608e7986d057e51ee4
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

redis-trib.rb工具可以拷贝到任意目录下使用，建议拷贝到redis的bin目录下；如果集群开启了密码认证，需要在client.rb文件中设置密码参数。

测试redis集群

# redis-cli -h 10.1.1.148 -p 6379
10.1.1.148:6379> set test test01
OK
10.1.1.148:6379> get test
"test01"
# redis-cli -h 10.1.1.149 -p 7379
10.1.1.149:7379> get test
(error) MOVED 6918 10.1.1.148:6379
发现在另一节点上无法get，因为Redis集群的数据是根据插槽值来设置进具体的节点中的.但是如果这个key的插槽值不是在当前redis实例的话,他就需要进行重定向.
所以redis-cli提供可一个-c参数用来连接集群，指定了这个参数之后,redis-cli会根据插槽值做一个重定向,连接到指定的redis实例上面。
# redis-cli -c -h 10.1.1.149 -p 7379
10.1.1.149:7379> get test
-> Redirected to slot [6918] located at 10.1.1.148:6379
"test01"

为redis集群开启密码认证
redis-cluster集群开启密码认证有两种方式：

1. 在使用redis-trib.rb工具创建cluster集群前，在每个节点上开启密码认证，然后在ruby-gem配置文件中指定密码（各节点密码必须一致）
# vim /usr/local/rvm/gems/ruby-2.4.1/gems/redis-4.0.1/lib/redis/client.rb
:password => 'PASSWORD'     #在此处填写密码
此处因为我的gem redis库是通过rvm安装的，所以client.rb文件路径在/usr/local/rvm/下，如果你的不是使用rvm安装，可以直接使用find搜索client.rb文件并修改。

上述方法配置集群密码验证比较复杂不建议使用；

但是配置client.rb中的password参数有一个好处：当集群开启认证，配置了client.rb中的password参数后，可以直接使用源码包中提供的redis-trib.rb工具来查看集群信息，具体的使用参数可以--help（redis-trib.rb工具可以拷贝到任意目录下使用）。

2. 在创建cluster集群前不设置密码认证，创建集群完成后，登录到每一个集群节点创建密码，命令如下：
# redis-cli -c -h 10.1.1.148 -p 6379   # 此处注意是集群所有节点，包括所有主从节点
10.1.1.148:6379> config set masterauth 123456
10.1.1.148:6379> config set requirepass 123456
上述命令执行完成后，需退出redis重新使用密码认证登录，否则后续命令将无权执行。
# redis-cli -c -h 10.1.1.148 -p 6379 -a '123456'
10.1.1.148:6379> config rewrite
执行完成config rewrite命令后，redis密码会自动保存到redis的config配置文件中。

上述配置一定要注意，必须在集群所有节点一一执行，建议集群各节点密码一致（节点密码不一致的情况我也没有试过，有兴趣的可以试试）。

zookeeper+dubbo部署分布式服务集群

2017-01-31T16:00:00.000Z

1. 配置前准备工作

部署规划

集群使用三台服务器，分别部署zookeeper、dubbo-admin服务，其中zookeeper分别部署在三台服务器上，dubbo-admin部署于三台服务器其中一台上，三台zookeeper构成集群，而dubbo-admin是否正常对于dubbo服务正常运行并不会造成任何影响，因此dubbo采用单点部署。
zookeeper安装路径：
/usr/local/zookeeper-3.4.6/
链接至
/usr/local/zookeeper/
zookeeper数据存放路径
/home/zookeeper/data/
zookeeper日志存放路径
/usr/local/zookeeper/log/
clientPort:2181
zookeeper数据交换端口:2888
zookeeper选举端口:3888

准备安装程序

# ls /home/soft/
dubbo-admin-tomcat.tar.gz  dubbo-monitor-simple-2.8.4-assembly.tar.gz  jdk-8u111-linux-x64.rpm  zookeeper-3.4.6.tar.gz
# tar zxf zookeeper-3.4.6.tar.gz
# mv /home/soft/zookeeper-3.4.6 /usr/local/
# ln -s /usr/local/zookeeper-3.4.6 /usr/local/zookeeper

创建相关安装目录

# mkdir -pv /home/zookeeper/data/
mkdir: created directory `/home/zookeeper'
mkdir: created directory `/home/zookeeper/data/'
# mkdir /usr/local/zookeeper/log/

配置相应的iptables规则

1 2	# iptables -I INPUT -s 10.1.1.0/24 -p tcp -j ACCEPT # service iptables save

2. 安装并配置JDK

因为zookeeper是Java语言开发的项目，所以要先安装JDK。

安装JDK

1	# rpm -ivh jdk-8u111-linux-x64.rpm

配置JAVA环境变量

1
2
3

# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/latest
export PATH=$JAVA_HOME/bin:$PATH

导出环境变量

1	# source /etc/profile.d/java.sh

查看Java版本

1	# java -version

3. 安装并配置zookeeper

准备zookeeper配置文件

# cd /usr/local/zookeeper
# pwd
/usr/local/zookeeper
# cd conf/
# pwd
/usr/local/zookeeper/conf
# cp zoo_sample.cfg zoo.cfg
# vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/zookeeper/data
dataLogDir=/usr/local/zookeeper/log
clientPort=2181
server.1=10.1.1.148:2888:3888
server.2=10.1.1.149:2888:3888
server.3=10.1.1.150:2888:3888

这里的地址用IP或主机名都可以。

在data目录下创建myid文件

分别在三台服务器上创建myid文件，myid文件中的只要与配置文件中对应，依次为：
10.1.1.148
echo "1" > /home/zookeeper/data/myid
10.1.1.149
echo "2" > /home/zookeeper/data/myid
10.1.1.150
echo "3" > /home/zookeeper/data/myid

启动并测试zookeeper

# /usr/local/zookeeper/bin/zkServer.sh start
# jps -l
16691 org.apache.zookeeper.server.quorum.QuorumPeerMain
16758 sun.tools.jps.Jps

4. 安装dubbo-admin并配置

安装dubbo-admin

dubbo-admin是否正常对于dubbo服务正常运行并不会造成任何影响，因此dubbo采用单点部署，此次部署在10.1.1.148上。
# pwd
/home/soft
# tar zxf dubbo-admin-tomcat.tar.gz
# mv /home/soft/dubbo-admin-tomcat /usr/local/
# cd /usr/local/dubbo-admin-tomcat/
# ls
bin  conf  lib  LICENSE  logs  NOTICE  RELEASE-NOTES  RUNNING.txt  temp  webapps  work

配置dubbo.properties

# pwd
/usr/local/dubbo-admin-tomcat
# cd webapps/ROOT/WEB-INF/
# ls
classes  common  dubbo.properties  forms  i18n  lib  log4j.xml  templates  webx-governance.xml  webx-home.xml  web.xml  webx-personal.xml  webx-sysinfo.xml  webx-sysmanage.xml  webx.xml
# vim dubbo.properties
dubbo.registry.address=zookeeper://10.1.1.148:2181?backup=10.1.1.149:2181,10.1.1.150:2181
dubbo.admin.root.password=root
dubbo.admin.guest.password=guest

启动dubbo-admin

# /usr/local/dubbo-admin-tomcat/bin/catalina.sh start
Using CATALINA_BASE:   /usr/local/dubbo-admin-tomcat
Using CATALINA_HOME:   /usr/local/dubbo-admin-tomcat
Using CATALINA_TMPDIR: /usr/local/dubbo-admin-tomcat/temp
Using JRE_HOME:        /usr/java/latest
Using CLASSPATH:       /usr/local/dubbo-admin-tomcat/bin/bootstrap.jar:/usr/local/dubbo-admin-tomcat/bin/tomcat-juli.jar
Tomcat started.
# netstat -nultp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 127.0.0.1:25                0.0.0.0:*                   LISTEN      1005/master         
tcp        0      0 0.0.0.0:11580               0.0.0.0:*                   LISTEN      1366/sshd           
tcp        0      0 ::ffff:10.1.1.148:3888      :::*                        LISTEN      5132/java           
tcp        0      0 :::56656                    :::*                        LISTEN      5132/java           
tcp        0      0 :::8082                     :::*                        LISTEN      5241/java           
tcp        0      0 ::1:25                      :::*                        LISTEN      1005/master         
tcp        0      0 :::11580                    :::*                        LISTEN      1366/sshd           
tcp        0      0 :::2181                     :::*                        LISTEN      5132/java           
tcp        0      0 :::8010                     :::*                        LISTEN      5241/java

访问dubbo-admin web页面测试

1	http://10.1.1.148:8082

5. 安装dubbo-monitor并配置

安装dubbo-monitor

dubbo-monitor也只需单点部署即可
# pwd
/home/soft
# tar zxf dubbo-monitor-simple-2.8.4-assembly.tar.gz
# mv /home/soft/dubbo-monitor-simple-2.8.4 /usr/local/dubbo-monitor
# cd /usr/local/dubbo-monitor/
# ls
bin  conf  lib

配置dubbo.properties

# pwd
/usr/local/dubbo-monitor/conf
# vim dubbo.properties
dubbo.container=log4j,spring,registry,jetty
dubbo.application.name=simple-monitor
dubbo.application.owner=kp-java
dubbo.registry.address=zookeeper://10.1.1.148:2181?backup=10.1.1.149:2181,10.1.1.150:2181
dubbo.protocol.port=7070
dubbo.jetty.port=8080
dubbo.jetty.directory=${user.home}/monitor
dubbo.charts.directory=${dubbo.jetty.directory}/charts
dubbo.statistics.directory=${user.home}/monitor/statistics
dubbo.log4j.file=logs/dubbo-monitor-simple.log
dubbo.log4j.level=WARN

启动dubbo-monitor

1	# /usr/local/dubbo-monitor/bin/server.sh start

访问dubbo-monitor web页面测试

1	http://10.1.1.149:8080

disconf分布式配置管理平台部署

2017-01-25T16:00:00.000Z

1. 前言

Disconf是由百度开源的一套分布式配置管理平台（Distributed Configuration Management Platform），专注于各种「分布式系统配置管理」的「通用组件」和「通用平台」, 提供统一的「配置管理服务」。
首先，实现了同构系统的配置发布统一化，提供了配置服务server，该服务可以对配置进行持久化管理并对外提供restful接口，在此基础上，基于zookeeper实现对配置更改的实时推送，并且，提供了稳定有效的容灾方案，以及用户体验良好的编程模型和WEB用户管理界面。其次，实现了异构系统的配置包管理，提出基于zookeeper的全局分布式一致性锁来实现主备统一部署、系统异常时的主备自主切换。

2. 配置前准备工作

部署规划

Disconf分为web端与client端，web端统一管理各个环境的配置，在此我们只需要部署web端即可。
Disconf的部署非常简单，它是java语言开发的程序，部署时只需将war包部署到相应位置即可运行，因此只需要在JDK+Tomcat环境中将disconf的war包部署即可。
为保证高可用，我们将disconf分别部署到三台服务器上，并在前端采用nginx实现动静分离+负载均衡。
disconf依赖tomcat环境部署路径：
/usr/local/disconf-tomcat/
disconf部署路径：
/home/disconf/war
disconf打包前配置文件存放路径：
/home/disconf/conf/
disconf日志文件存放路径：
/home/disconf/log/
disconf前端静态文件存放路径：
/home/disconf/war/html/
disconf-web监听端口：8085
disconf前端nginx监听端口：8888

准备安装程序

# ls /home/soft/disconf/
apache-maven-3.3.9-bin.tar.gz  apache-tomcat-8.0.39.tar.gz
# tar zxf apache-maven-3.3.9-bin.tar.gz
# tar zxf apache-tomcat-8.0.39.tar.gz
# ls
apache-maven-3.3.9  apache-maven-3.3.9-bin.tar.gz  apache-tomcat-8.0.39  apache-tomcat-8.0.39.tar.gz

创建相关安装目录

# mkdir -pv /home/disconf/{conf,war,log}
mkdir: created directory `/home/disconf'
mkdir: created directory `/home/disconf/conf'
mkdir: created directory `/home/disconf/war'
mkdir: created directory `/home/disconf/log'

3. 部署配置Disconf

3.1 安装配置JDK环境

disconf是采用JAVA语言开发的程序，所以需要先安装配置JDK环境，本次因为我们部署disconf的服务器已配置过JDK环境，故在此略过配置详细步骤。

3.2. 部署配置MAVEN

因为最新版本的disconf仅提供源码，因此需要我们将源码下载到服务器，然后通过maven来打包，所以我们要先部署maven环境，只需在其中一台服务器上部署maven即可。

# mv apache-maven-3.3.9 /usr/local/maven
# vim /etc/profile.d/maven.sh
export MAVEN_HOME=/usr/local/maven
export PATH=$MAVEN_HOME/bin:$PATH

# source /etc/profile.d/maven.sh 
# mvn -v
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /usr/local/maven
Java version: 1.8.0_111, vendor: Oracle Corporation
Java home: /usr/java/jdk1.8.0_111/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-642.4.2.el6.x86_64", arch: "amd64", family: "unix"

maven默认中央仓库为apache官方，在国内使用速度是相当之慢，因此，建议将中央仓库修改为阿里云仓库。

# vim /usr/local/maven/conf/settings.xml
添加如下配置：
  
    
      alimaven
      aliyun maven
      http://maven.aliyun.com/nexus/content/groups/public/
      central

maven配置成功。

3.3 为Disconf准备MySQL数据库环境

在MySQL服务器上创建数据库disconf并设置相应的用户。

mysql> create database disconf;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on disconf.* to 'disconf'@'192.168.1.%' identified by 'bh7F3d0djPhkTcp9D';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

将disconf源码目录下的sql文件上传到MySQL服务器上，并按照readme.md文件中的说明，依此导入sql文件。

# pwd
/home/soft/disconf/disconf-master/disconf-web/sql
# ls
0-init_table.sql  1-init_data.sql  201512  20160701  deprecated  readme.md
# more readme.md 
为了方便大家开发，统一了所有SQL，请先后执行：

- 0-init_table.sql        create db,tables
- 1-init_data.sql         create data
- 201512/20151225.sql     patch
- 20160701/20160701.sql   patch

mysql> source /home/soft/sql/0-init_table.sql
Query OK, 1 row affected, 1 warning (0.00 sec)

Database changed
Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)

mysql> source /home/soft/sql/1-init_data.sql
Query OK, 1 row affected (0.00 sec)

Query OK, 16 rows affected (0.00 sec)
Records: 16  Duplicates: 0  Warnings: 0

Query OK, 4 rows affected (0.00 sec)
Records: 4  Duplicates: 0  Warnings: 0

Query OK, 3 rows affected (0.00 sec)
Records: 3  Duplicates: 0  Warnings: 0

Query OK, 72 rows affected (0.00 sec)
Records: 72  Duplicates: 0  Warnings: 0

Query OK, 8 rows affected (0.00 sec)
Records: 8  Duplicates: 0  Warnings: 0

mysql> source /home/soft/sql/201512/20151225.sql
Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.03 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> source /home/soft/sql/20160701/20160701.sql
Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 3 rows affected (0.00 sec)
Records: 3  Duplicates: 0  Warnings: 0

mysql> show tables;
+-------------------+
| Tables_in_disconf |
+-------------------+
| app               |
| config            |
| config_history    |
| env               |
| role              |
| role_resource     |
| user              |
+-------------------+
7 rows in set (0.00 sec)
出现上面7个表，就说明数据库初始化成功。

3.4 下载并打包disconf-web

# ls /home/soft/disconf/
disconf-master.zip
# unzip disconf-master.zip
# ls
disconf-master  disconf-master.zip
# pwd
/home/soft/disconf/disconf-master

将mvn编译打包需要的文件拷贝到/home/disconf/conf目录下。

# cp disconf-web/profile/rd/* /home/disconf/conf/
# cd /home/disconf/conf/
# ls
application-demo.properties  jdbc-mysql.properties  log4j.properties  logback.xml  redis-config.properties  zoo.properties
# mv application-demo.properties application.properties 
# ls
application.properties  jdbc-mysql.properties  log4j.properties  logback.xml  redis-config.properties  zoo.properties
切记，一定要将配置文件application-demo.properties修改为application.properties

修改配置文件

# vim jdbc-mysql.properties
jdbc.driverClassName=com.mysql.jdbc.Driver

jdbc.db_0.url=jdbc:mysql://192.168.1.110:3306/disconf?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&rewriteBatchedStatements=false
jdbc.db_0.username=disconf
jdbc.db_0.password=bh7F3d0djPhkTcp9D

jdbc.maxPoolSize=20
jdbc.minPoolSize=10
jdbc.initialPoolSize=10
jdbc.idleConnectionTestPeriod=1200
jdbc.maxIdleTime=3600

# vim log4j.properties
log4j.rootLogger=INFO,dailyRolling,CONSOLE

log4j.logger.org.apache.zookeeper=WARN
log4j.logger.org.springframework=INFO
log4j.logger.org.springframework.aop.framework.Cglib2AopProxy = INFO

log4j.appender.dailyRolling=org.apache.log4j.DailyRollingFileAppender
log4j.appender.dailyRolling.File=/home/disconf/log/disconf-log4j.log
log4j.appender.dailyRolling.layout=org.apache.log4j.PatternLayout
log4j.appender.dailyRolling.layout.ConversionPattern=%d [%t] %-5p %-17c{2} (%13F:%L) %3x - %m%n

log4j.appender.Threshold=WARN
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.Target=System.out
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=%d [%t] %-5p %-17c{2} (%13F:%L) %3x - %m%n

# vim redis-config.properties
redis.group1.retry.times=2

redis.group1.client1.name=BeidouRedis1
redis.group1.client1.host=192.168.1.5
redis.group1.client1.port=6379
redis.group1.client1.timeout=5000
redis.group1.client1.password=foobared

redis.group1.client2.name=BeidouRedis2
redis.group1.client2.host=192.168.1.6
redis.group1.client2.port=6379
redis.group1.client2.timeout=5000
redis.group1.client2.password=foobared

redis.group1.client3.name=BeidouRedis3
redis.group1.client3.host=192.168.1.7
redis.group1.client3.port=6379
redis.group1.client3.timeout=5000
redis.group1.client3.password=foobared

redis.evictor.delayCheckSeconds=300
redis.evictor.checkPeriodSeconds=30
redis.evictor.failedTimesToBeTickOut=6

# vim zoo.properties
hosts=192.168.1.104:2181,192.168.1.105:2181,192.168.1.106:2181

# zookeeper\u7684\u524D\u7F00\u8DEF\u5F84\u540D
zookeeper_url_prefix=/disconf

编译disconf源文件，生成war包

# pwd
/home/soft/disconf/disconf-master
# mvn clean install
这一步如果报错，可以忽略。

设置环境变量
# vim /etc/profile.d/war.sh
export ONLINE_CONFIG_PATH=/home/disconf/conf
export WAR_ROOT_PATH=/home/disconf/war
# source /etc/profile.d/war.sh

执行编译脚本
# cd disconf-web/
# pwd
/home/soft/disconf/disconf-master/disconf-web
# sh deploy/deploy.sh

编译结束后，会在$WAR_ROOT_PATH位置下生成如下文件：
# ls /home/disconf/war/
application.properties  disconf-web.war  html  jdbc-mysql.properties  jpaas_control  log4j.properties  logback.xml  META-INF  redis-config.properties  Release  WEB-INF  zoo.properties

3.5 部署配置nginx+tomcat

nginx与tomcat的部署，在之前的文档有过详细说明，在此不赘述。

修改tomcat配置文件

# vim /usr/local/disconf-tomcat/conf/server.xml
    
               connectionTimeout="20000"
               redirectPort="8443" />

      
            unpackWARs="true" autoDeploy="true">

修改nginx配置文件

# vim /usr/local/openresty/nginx/conf/nginx.conf
    upstream disconf {
    server 192.168.1.104:8085 weight=10 max_fails=2 fail_timeout=30s;
    }

    server {
        listen       8888;
        server_name  localhost;

        #charset koi8-r;
        charset utf-8;

        #access_log  logs/host.access.log  main;
        access_log  logs/disconf.access.log  main;
        error_log   logs/disconf.error.log;

        #location / {
        #    root   html;
        #    index  index.html index.htm;
        #}

        location / {
            root /home/disconf/war/html;
            if ($query_string) {
                expires max;
            }
        }
        location ~ ^/(api|export) {
            proxy_pass_header Server;
            proxy_set_header Host $http_host;
            proxy_redirect off;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Scheme $scheme;
            proxy_pass http://disconf;
        }

分别启动nginx、tomcat服务。

3.6 访问Disconf Web页面测试

1
2
3

http://192.168.1.104:8888/

使用用户名密码admin/admin正常登陆，disconf配置完成。

FastDFS部署配置

2017-01-23T16:00:00.000Z

1. 安装FastDFS服务

所需软件包

fastdfs-nginx-module_v1.16.tar.gz
FastDFS_v5.05.tar.gz
libfastcommon
ngx_cache_purge-2.3.tar.gz

安装软件依赖环境

1	# yum install -y libevent gcc* git

安装 libfastcommon

从github下载最新的libfastcommon
# git clone https://github.com/happyfish100/libfastcommon.git
# cd libfastcommon
编译
# ./make.sh
安装
# ./make.sh install
指定库文件加载位置
# vim /etc/ld.so.conf.d/libfastcommon.conf
/usr/local/lib
/usr/local/lib64
/usr/lib64
/usr/lib
然后执行ldconfig更新/etc/ld.so.cache文件
# ldconfig

安装FastDFS

# tar zxf FastDFS_v5.05.tar.gz
# cd FastDFS/
# ./make.sh
# ./make.sh install
确认make没有错误后，执行安装，默认会安装到/usr/bin中，并在/etc/fdfs中添加三个配置文件。

创建文件存放路径

# mkdir -p /home/fastdfs/tracker   #创建tracker文件存放路径
# mkdir -p /home/fastdfs/storage    #创建storage 文件存放路径
# mkdir -p /home/fastdfs/client    #创建client 文件存放路径

# mkdir -pv /home/fastdfs/{tracker,storage,client}

修改配置文件

# cd /etc/fdfs/
# ls
client.conf.sample  storage.conf.sample  tracker.conf.sample
# cp client.conf.sample client.conf
# cp storage.conf.sample storage.conf
# cp tracker.conf.sample tracker.conf

# vim tracker.conf
disabled=false
bind_addr=
port=22122
connect_timeout=30
network_timeout=60
base_path=/home/fastdfs/tracker
max_connections=256
accept_threads=1
work_threads=4
store_lookup=2
store_group=group2
store_server=0
store_path=0
download_server=0
reserved_storage_space = 10%
log_level=info
run_by_group=
run_by_user=
allow_hosts=*
sync_log_buff_interval = 10
check_active_interval = 120
thread_stack_size = 64KB
storage_ip_changed_auto_adjust = true
storage_sync_file_max_delay = 86400
storage_sync_file_max_time = 300
use_trunk_file = false 
slot_min_size = 256
slot_max_size = 16MB
trunk_file_size = 64MB
trunk_create_file_advance = false
trunk_create_file_time_base = 02:00
trunk_create_file_interval = 86400
trunk_create_file_space_threshold = 20G
trunk_init_check_occupying = false
trunk_init_reload_from_binlog = false
trunk_compress_binlog_min_interval = 0
use_storage_id = false
storage_ids_filename = storage_ids.conf
id_type_in_filename = ip
store_slave_file_use_link = false
rotate_error_log = false
error_log_rotate_time=00:00
rotate_error_log_size = 0
log_file_keep_days = 0
use_connection_pool = false
connection_pool_max_idle_time = 3600
http.server_port=8080
http.check_alive_interval=30
http.check_alive_type=tcp
http.check_alive_uri=/status.html

# vim storage.conf
disabled=false
group_name=group1
bind_addr=
client_bind=true
port=23000
connect_timeout=30
network_timeout=60
heart_beat_interval=30
stat_report_interval=60
base_path=/home/fastdfs/storage
max_connections=256
buff_size = 256KB
accept_threads=1
work_threads=4
disk_rw_separated = true
disk_reader_threads = 1
disk_writer_threads = 1
sync_wait_msec=50
sync_interval=0
sync_start_time=00:00
sync_end_time=23:59
write_mark_file_freq=500
store_path_count=1
store_path0=/home/fastdfs/storage
subdir_count_per_path=256
tracker_server=10.1.1.150:22122
log_level=info
run_by_group=
run_by_user=
allow_hosts=*
file_distribute_path_mode=0
file_distribute_rotate_count=100
fsync_after_written_bytes=0
sync_log_buff_interval=10
sync_binlog_buff_interval=10
sync_stat_file_interval=300
thread_stack_size=512KB
upload_priority=10
if_alias_prefix=
check_file_duplicate=0
file_signature_method=hash
key_namespace=FastDFS
keep_alive=0
use_access_log = false
rotate_access_log = false
access_log_rotate_time=00:00
rotate_error_log = false
error_log_rotate_time=00:00
rotate_access_log_size = 0
rotate_error_log_size = 0
log_file_keep_days = 0
file_sync_skip_invalid_record=false
use_connection_pool = false
connection_pool_max_idle_time = 3600
http.domain_name=
http.server_port=8888

# vim client.conf
connect_timeout=30
network_timeout=60
base_path=/home/fastdfs/client
tracker_server=10.1.1.150:22122
log_level=info
use_connection_pool = false
connection_pool_max_idle_time = 3600
load_fdfs_parameters_from_tracker=false
use_storage_id = false
storage_ids_filename = storage_ids.conf
http.tracker_server_port=80

启动tracker和storage服务

# /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
# /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
storage首次启动会很慢，因为它在创建预设存储文件的目录，默认创建256个数据存放目录。

检查服务是否启动正常
# netstat -nultp | grep fdfs
tcp        0      0 0.0.0.0:22122               0.0.0.0:*                   LISTEN      14633/fdfs_trackerd 
tcp        0      0 0.0.0.0:23000               0.0.0.0:*                   LISTEN      14643/fdfs_storaged

使用自带的工具fdfs_test测试上传、删除文件

上传文件
# fdfs_test /etc/fdfs/client.conf upload install.log
This is FastDFS client test program v5.05

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/ 
for more detail.

[2016-12-29 23:46:46] DEBUG - base_path=/home/fastdfs/client, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

tracker_query_storage_store_list_without_group: 
server 1. group_name=, ip_addr=10.1.1.150, port=23000

group_name=group1, ip_addr=10.1.1.150, port=23000
storage_upload_by_filename
group_name=group1, remote_filename=M00/00/00/CgEBllhlL-aAJf9YAAAigwDiG9U128.log
source ip address: 10.1.1.150
file timestamp=2016-12-29 23:46:46
file size=8835
file crc32=14818261
example file url: http://10.1.1.150/group1/M00/00/00/CgEBllhlL-aAJf9YAAAigwDiG9U128.log
storage_upload_slave_by_filename
group_name=group1, remote_filename=M00/00/00/CgEBllhlL-aAJf9YAAAigwDiG9U128_big.log
source ip address: 10.1.1.150
file timestamp=2016-12-29 23:46:46
file size=8835
file crc32=14818261
example file url: http://10.1.1.150/group1/M00/00/00/CgEBllhlL-aAJf9YAAAigwDiG9U128_big.log
上面这个example file url现在还不能在浏览器中直接访问，因为必须要配合nginx使用才行。

我们看一下文件实际的物理存储位置。
# ls /home/fastdfs/storage/data/00/00/  
CgEBllhlL-aAJf9YAAAigwDiG9U128_big.log  CgEBllhlL-aAJf9YAAAigwDiG9U128_big.log-m  CgEBllhlL-aAJf9YAAAigwDiG9U128.log  CgEBllhlL-aAJf9YAAAigwDiG9U128.log-m

删除文件
# fdfs_test /etc/fdfs/client.conf delete install.log
This is FastDFS client test program v5.05

Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/ 
for more detail.

[2016-12-29 23:52:47] DEBUG - base_path=/home/fastdfs/client, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

Usage: fdfs_test  delete  
删除的时候我们会发现报错了，因为删除文件必须要完整的group_name和remote_filename才可以。
从上面的上传信息中我们可以得知group_name=group1,remote_filename=M00/00/00/CgEBllhlL-aAJf9YAAAigwDiG9U128_big.log，所以正确的删除命令应该是：
# fdfs_test /etc/fdfs/client.conf delete group1 M00/00/00/CgEBllhlL-aAJf9YAAAigwDiG9U128.log

This is FastDFS client test program v5.05
Copyright (C) 2008, Happy Fish / YuQing

FastDFS may be copied only under the terms of the GNU General
Public License V3, which may be found in the FastDFS source kit.
Please visit the FastDFS Home Page http://www.csource.org/ 
for more detail.

[2016-12-29 23:59:32] DEBUG - base_path=/home/fastdfs/client, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

storage=10.1.1.150:23000
delete file success
删除成功。
再来检查物理存储位置
# ls /home/fastdfs/storage/data/00/00/ 
目录下为空

实际在上传时会在上传文件外另外生成一个文件名后加_big的文件，所以删除文件时应一并删除这两个文件。

2. 安装nginx和nginx-fastdfs模块并配置

解压配置nginx-fastdfs

# tar zxf fastdfs-nginx-module_v1.16.tar.gz
# cd fastdfs-nginx-module/
编辑nginx模块的配置文件
# vim src/config
修改
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
修改为
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
因为实际上fastdfs的头文件在/usr/include/fastdfs与/usr/include/fastcommon/目录下

复制配置文件
# cp /root/soft/fastdfs/FastDFS/conf/http.conf /root/soft/fastdfs/FastDFS/conf/mime.types /etc/fdfs/

安装nginx及nginx-fastdfs模块

解决依赖关系
# yum install -y gcc* pcre-devel zlib-devel openssl-devel
安装nginx
# tar zxf openresty-1.11.2.1.tar.gz
# cd openresty-1.11.2.1/
# ./configure  --with-http_gzip_static_module --add-module=/root/soft/fastdfs/fastdfs-nginx-module/src/
# gmake && gmake install

编辑nginx-fastdfs模块配置文件

# cp /root/soft/fastdfs/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
# vim /etc/fdfs/mod_fastdfs.conf
connect_timeout=2
network_timeout=30
base_path=/tmp
load_fdfs_parameters_from_tracker=true
storage_sync_file_max_delay = 86400
use_storage_id = false
storage_ids_filename = storage_ids.conf
tracker_server=10.1.1.150:22122
storage_server_port=23000
group_name=group1
url_have_group_name = true
store_path_count=1
store_path0=/home/fastdfs/storage
log_level=info
log_filename=
response_mode=proxy
if_alias_prefix=
flv_support = true
flv_extension = flv
group_count = 0

编辑nginx配置文件

# vim /usr/local/openresty/nginx/conf/nginx.conf
user  root;
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
    access_log  logs/access.log  main;
    sendfile        on;
    keepalive_timeout  60;
    gzip  on;
    server {
        listen       80;
        server_name  localhost;
        location ~/group([0-9])/M00 {
            ngx_fastdfs_module;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

启动nginx服务

1 2	# /usr/local/openresty/nginx/sbin/nginx -t # /usr/local/openresty/nginx/sbin/nginx

上传文件并测试是否能正常访问

1
2
3

# fdfs_test /etc/fdfs/client.conf upload test.html
# curl -I http://10.1.1.150/group1/M00/00/00/CgEBlVhyVPSAM6m1AAAAhl47IRo71_big.html
HTTP/1.1 200 OK

报错解决办法

如果访问时报400错误，查看错误日志：

1	[2017-01-09 22:57:06] ERROR - file: ../common/fdfs_global.c, line: 52, the format of filename "group1/M00/00/00/wKgBylhzpI2AW8AFAAAAE-vP9Cw582_big.txt" is invalid

解决办法

# vim /etc/fdfs/mod_fastdfs.conf
将url_have_group_name = false
修改为
url_have_group_name = true

MySQL+MHA安装部署

2017-01-14T16:00:00.000Z

1. 准备工作

软件包版本

mysql-5.7.17.tar.gz
cmake-3.6.2.tar.gz
mha4mysql-manager-0.57.tar.gz
mha4mysql-node-0.57.tar.gz

服务器明细

kp-bt-101 Master
kp-bt-102 Candidate Master
kp-bt-103 Slave
kp-bt-13 MHA-manager

2. 安装MySQL服务

解决依赖关系

1	# yum install -y gcc-c++ ncurses-devel openssh-clients

配置ssh互信

在所有服务器均做如下配置
# ssh-keygen -t rsa
# ssh-copy-id -i /root/.ssh/id_rsa.pub "-p 16811 root@kp-bt-101"
# ssh-copy-id -i /root/.ssh/id_rsa.pub "-p 16812 root@kp-bt-102"
# ssh-copy-id -i /root/.ssh/id_rsa.pub "-p 16813 root@kp-bt-103"
# ssh-copy-id -i /root/.ssh/id_rsa.pub "-p 16813 root@kp-bt-13"

安装cmake

# tar zxf cmake-3.6.2.tar.gz
# cd cmake-3.6.2/
# ./bootstrap
# gmake && gmake install
# cmake --version

准备Boost库支持

# mkdir /usr/local/boost
# wget -o /usr/local/boost/boost_1_59_0.tar.gz http://ncu.dl.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz

boost1.63版本不支持MySQL5.7.17，编译时会报错。

创建Mysql安装目录以及数据库文件存放的路径

1 2	# mkdir -p /home/mysql # mkdir -p /home/mysql/data

创建mysql用户以及对应用户组

1 2	# groupadd mysql # useradd -r -g mysql mysql -s /sbin/nologin

编译安装MySQL

# tar zxf mysql-5.7.17.tar.gz
# # cd mysql-5.7.17/
# cmake -DCMAKE_INSTALL_PREFIX=/home/mysql  -DMYSQL_UNIX_ADDR=/home/mysql/mysql.sock  -DDEFAULT_CHARSET=utf8  -DDEFAULT_COLLATION=utf8_general_ci  -DWITH_MYISAM_STORAGE_ENGINE=1  -DWITH_INNOBASE_STORAGE_ENGINE=1  -DWITH_MEMORY_STORAGE_ENGINE=1  -DWITH_READLINE=1  -DENABLED_LOCAL_INFILE=1  -DMYSQL_DATADIR=/home/mysql/data  -DMYSQL_USER=mysql  -DMYSQL_TCP_PORT=3306 -DWITH_BOOST=/usr/local/boost
# make && make install

修改MySQL目录权限

1	# chown -R mysql.mysql /home/mysql/

准备MySQL配置文件

# cp support-files/my-default.cnf /etc/my.cnf
kp-bt-101   Master
# vim /etc/my.cnf
[mysqld]
port            = 3306
basedir         = /home/mysql
datadir         = /home/mysql/data
tmpdir          = /home/mysql/tmp

log-error = /home/mysql/log/mysql_run.err
log-bin = /home/mysql/data/mysql-bin
binlog_format=mixed
expire_logs_days = 15
skip-name-resolve

#replication options
server-id = 1
relay-log=rep_relay_log
relay-log-index=rep_relay_log_index
skip-slave-start

kp-bt-102   Candidate Master
# vim /etc/my.cnf
[mysqld]
port            = 3306
socket          = /tmp/mysql.sock
basedir         = /home/mysql
datadir         = /home/mysql/data
tmpdir          = /home/mysql/tmp

log-error = /home/mysql/log/mysql_run.err
log-bin = /home/mysql/data/mysql-bin
binlog_format=mixed
expire_logs_days = 15
skip-name-resolve

#replication options
server-id = 2
relay-log=rep_relay_log
relay-log-index=rep_relay_log_index
skip-slave-start

kp-bt-103   Slave
# vim /etc/my.cnf
[mysqld]
port            = 3306
socket          = /tmp/mysql.sock
basedir         = /home/mysql
datadir         = /home/mysql/data
tmpdir          = /home/mysql/tmp

log-error = /home/mysql/log/mysql_run.err
log-bin = /home/mysql/data/mysql-bin
binlog_format=mixed
expire_logs_days = 15
skip-name-resolve

#replication options
server-id = 3
relay-log=rep_relay_log
relay-log-index=rep_relay_log_index
skip-slave-start

初始化数据库、创建数据库系统表

1
2
3

# cd /home/mysql/
# bin/mysqld --initialize --user=mysql --basedir=/home/mysql/ --datadir=/home/mysql/data/
mysql初始化过程如果正常将不会出现任何提示，初始化过程中创建的默认密码输出到配置文件中指定的log_error文件中。

设置环境变量

1 2	# vim /etc/profile.d/mysql.sh export PATH=/home/mysql/bin:$PATH

为MySQL提供服务脚本，并将MySQL服务加入开机启动

1
2
3

# cp support-files/mysql.server /etc/init.d/mysql
# chmod +x /etc/init.d/mysql
# chkconfig mysql on

启动MySQL服务

1	# /etc/init.d/mysql start

修改MySQL初始root密码

1	# mysqladmin -uroot password 'password' -p'dh9>qmyaBIZe'

配置iptables规则

1
2
3

# iptables -I INPUT -p tcp --dport 3306 -s 192.168.1.0/24 -j ACCEPT
# service iptables save
所有MySQL节点都要配置iptables规则。

3. 配置主从复制

创建数据库管理账号和复制账号及MHA监控账号

所有服务器均执行
mysql> grant all privileges on *.* to 'root'@'192.168.1.%' identified by 'nhE93d0qjPhkEcp3D';
mysql> grant replication slave,replication client,super on *.* to 'rep'@'192.168.1.%' identified by '2wsxzaq1';
mysql> grant all privileges on *.* to 'mha'@'192.168.1.%' identified by '4rfvxsw2';
mysql> flush privileges;

配置主从复制

Master
查询Master状态
mysql> show master status;

Candidate Master
mysql> change master to master_host='192.168.1.101',master_port=3306,master_user='rep',master_password='2wsxzaq1',master_log_file='mysql-bin.000002',master_log_pos=1204;
mysql> start slave;

Slave
mysql> change master to master_host='192.168.1.101',master_port=3306,master_user='rep',master_password='2wsxzaq1',master_log_file='mysql-bin.000002',master_log_pos=1204;
mysql> start slave ;

设置从库只读

1	mysql> set global read_only=1;

检查主库、从库状态

Master
mysql> show master status \G

Slave
mysql> show slave tatus\G
检查Slave_IO_Running、Slave_SQL_Running是否为Yes，如果
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
则说明主从复制正常。

4. 安装配置MHA

安装MHA-manager

解决依赖关系
# yum install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager  perl-Time-HiRes perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker -y
# wget http://www.cpan.org/authors/id/A/AN/ANDK/CPAN-2.14.tar.gz
# tar zxf CPAN-2.14.tar.gz 
# cd CPAN-2.14
# perl Makefile.PL
# make && make install

在mha-manager服务器上也需要安装mha-node
# tar zxf mha4mysql-node-0.57.tar.gz
# cd mha4mysql-node-0.57/
# perl Makefile.PL
# make && make install

安装mha-manager
# tar zxf mha4mysql-manager-0.57.tar.gz
# cd mha4mysql-manager-0.57/
# perl Makefile.PL
# make && make install

复制相关脚本到/usr/local/bin/
# cp samples/scripts/* /usr/local/bin/

安装MHA-node

在所有MySQL节点安装mha-node
解决依赖关系
# yum install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager  perl-Time-HiRes perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker -y
# wget http://www.cpan.org/authors/id/A/AN/ANDK/CPAN-2.14.tar.gz
# tar zxf CPAN-2.14.tar.gz 
# cd CPAN-2.14
# perl Makefile.PL
# make && make install

安装mha-node
# tar zxf mha4mysql-node-0.57.tar.gz
# cd mha4mysql-node-0.57/
# perl Makefile.PL
# make && make install

配置MHA

创建MHA的工作目录，并且创建相关配置文件（在软件包解压后的目录里面有样例配置文件）
# mkdir -p /etc/masterha
# pwd
/root/soft/mysql/mha4mysql-manager-0.57
# cp samples/conf/app1.cnf /etc/masterha/
# vim /etc/masterha/app1.cnf
[server default]
manager_workdir=/var/log/masterha/app1.log              //设置manager的工作目录
manager_log=/var/log/masterha/app1/manager.log          //设置manager的日志
master_binlog_dir=/home/mysql/data                      //设置master 保存binlog的位置，以便MHA可以找到master的日志，我这里的也就是mysql的数据目录
master_ip_failover_script= /usr/local/bin/master_ip_failover    //设置自动failover时候的切换脚本
master_ip_online_change_script= /usr/local/bin/master_ip_online_change  //设置手动切换时候的切换脚本
user=mha                  设置监控用户mha
password=4rfvxsw2         //设置监控用户的密码
ping_interval=3         //设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行railover
remote_workdir=/tmp     //设置远端mysql在发生切换时binlog的保存位置
repl_user=rep          //设置复制环境中的复制用户名
repl_password=2wsxzaq1    //设置复制用户的密码
report_script=/usr/local/bin/send_report    //设置发生切换后发送的报警的脚本
secondary_check_script= /usr/local/bin/masterha_secondary_check -s kp-bt-103 -s kp-bt-101            
shutdown_script=""      //设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机放在发生脑裂,这里没有使用）
ssh_user=root           //设置ssh的登录用户名

[server1]
hostname=kp-bt-101
ssh_port=16811
port=3306
candidate_master=1

[server2]
hostname=kp-bt-102
ssh_port=16812
port=3306
candidate_master=1   //设置为候选master，如果设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个主库不是集群中事件最新的slave
check_repl_delay=0   //默认情况下如果一个slave落后master 100M的relay logs的话，MHA将不会选择该slave作为一个新的master，因为对于这个slave的恢复需要花费很长时间，通过设置check_repl_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master

[server3]
hostname=kp-bt-103
ssh_port=16813
port=3306
no_master=1

设置relay log的清除方式（在每个slave节点上）

mysql> set global relay_log_purge=0;
注意：

MHA在发生切换的过程中，从库的恢复过程中依赖于relay log的相关信息，所以这里要将relay log的自动清除设置为OFF，采用手动清除relay log的方式。在默认情况下，从服务器上的中继日志会在SQL线程执行完毕后被自动删除。但是在MHA环境中，这些中继日志在恢复其他从服务器时可能会被用到，因此需要禁用中继日志的自动删除功能。定期清除中继日志需要考虑到复制延时的问题。在ext3的文件系统下，删除大的文件需要一定的时间，会导致严重的复制延时。为了避免复制延时，需要暂时为中继日志创建硬链接，因为在linux系统中通过硬链接删除大文件速度会很快。（在mysql数据库中，删除大表时，通常也采用建立硬链接的方式）

MHA节点中包含了pure_relay_logs命令工具，它可以为中继日志创建硬链接，执行SET GLOBAL relay_log_purge=1,等待几秒钟以便SQL线程切换到新的中继日志，再执行SET GLOBAL relay_log_purge=0。

pure_relay_logs脚本参数如下所示：

--user mysql                      用户名
--password mysql                  密码
--port                            端口号
--workdir                         指定创建relay log的硬链接的位置，默认是/var/tmp，由于系统不同分区创建硬链接文件会失败，故需要执行硬链接具体位置，成功执行脚本后，硬链接的中继日志文件被删除
--disable_relay_log_purge         默认情况下，如果relay_log_purge=1，脚本会什么都不清理，自动退出，通过设定这个参数，当relay_log_purge=1的情况下会将relay_log_purge设置为0。清理relay log之后，最后将参数设置为OFF。

设置定期清理relay脚本(slave)

# vim purge_relay_log.sh

#!/bin/bash
user=root
passwd=nhE93d0qjPhkEcp3D
port=3306
log_dir='/home/mha/log/'
work_dir='/home/mysql/data/'
purge='/usr/local/bin/purge_relay_logs'

if [ ! -d $log_dir ]
then
   mkdir $log_dir -p
fi

$purge --user=$user --password=$passwd --disable_relay_log_purge --port=$port --workdir=$work_dir >> $log_dir/purge_relay_logs.log 2>&1

# chmod +x purge_relay_log.sh
将此脚本加入计划任务
# crontab -l
0 4 * * * /bin/bash /home/scripts/purge_relay_log.sh

手动执行日志清除命令测试
# /usr/local/bin/purge_relay_logs --user=root --password=nhE93d0qjPhkEcp3D --port=3306 -disable_relay_log_purge --workdir=/home/mysql/data/
2017-01-12 04:05:58: purge_relay_logs script started.
 Found relay_log.info: /home/mysql/data/relay-log.info
 Opening /home/mysql/data/rep_relay_log.000001 ..
 Opening /home/mysql/data/rep_relay_log.000002 ..
 Executing SET GLOBAL relay_log_purge=1; FLUSH LOGS; sleeping a few seconds so that SQL thread can delete older relay log files (if it keeps up); SET GLOBAL relay_log_purge=0; .. ok.
2017-01-12 04:06:01: All relay log purging operations succeeded.

如果出现错误提示：
2017-01-12 03:47:16: purge_relay_logs script started.
DBI connect(';host=127.0.0.1;port=3306','root',...) failed: Host '127.0.0.1' is not allowed to connect to this MySQL server at /usr/local/bin/purge_relay_logs line 185
则是因为，在MySQL5.7中，默认没有创建root@127.0.0.1用户，此时我们需要手动创建用户
mysql> grant all privileges on *.* to 'root'@'127.0.0.1' identified by 'nhE93d0qjPhkEcp3D';

在MHA-master上检查ssh配置

检查MHA Manger到所有MHA Node的SSH连接状态：
# masterha_check_ssh --conf=/etc/masterha/app1.cnf 
Thu Jan 12 04:09:23 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Jan 12 04:09:23 2017 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
Thu Jan 12 04:09:23 2017 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Thu Jan 12 04:09:23 2017 - [info] Starting SSH connection tests..
Thu Jan 12 04:09:23 2017 - [debug] 
Thu Jan 12 04:09:23 2017 - [debug]  Connecting via SSH from root@kp-bt-101(192.168.1.101:16811) to root@kp-bt-102(192.168.1.102:16812)..
Thu Jan 12 04:09:23 2017 - [debug]   ok.
Thu Jan 12 04:09:23 2017 - [debug]  Connecting via SSH from root@kp-bt-101(192.168.1.101:16811) to root@kp-bt-103(192.168.1.103:16813)..
Thu Jan 12 04:09:23 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [debug] 
Thu Jan 12 04:09:23 2017 - [debug]  Connecting via SSH from root@kp-bt-102(192.168.1.102:16812) to root@kp-bt-101(192.168.1.101:16811)..
Thu Jan 12 04:09:24 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [debug]  Connecting via SSH from root@kp-bt-102(192.168.1.102:16812) to root@kp-bt-103(192.168.1.103:16813)..
Thu Jan 12 04:09:24 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [debug] 
Thu Jan 12 04:09:24 2017 - [debug]  Connecting via SSH from root@kp-bt-103(192.168.1.103:16813) to root@kp-bt-101(192.168.1.101:16811)..
Thu Jan 12 04:09:24 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [debug]  Connecting via SSH from root@kp-bt-103(192.168.1.103:16813) to root@kp-bt-102(192.168.1.102:16812)..
Thu Jan 12 04:09:24 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [info] All SSH connection tests passed successfully.
所有节点正常。

使用MHA-manager检查复制集群状态

# masterha_check_ssh --conf=/etc/masterha/app1.cnf 
Thu Jan 12 04:09:23 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Jan 12 04:09:23 2017 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
Thu Jan 12 04:09:23 2017 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Thu Jan 12 04:09:23 2017 - [info] Starting SSH connection tests..
Thu Jan 12 04:09:23 2017 - [debug] 
Thu Jan 12 04:09:23 2017 - [debug]  Connecting via SSH from root@kp-bt-101(192.168.1.101:16811) to root@kp-bt-102(192.168.1.102:16812)..
Thu Jan 12 04:09:23 2017 - [debug]   ok.
Thu Jan 12 04:09:23 2017 - [debug]  Connecting via SSH from root@kp-bt-101(192.168.1.101:16811) to root@kp-bt-103(192.168.1.103:16813)..
Thu Jan 12 04:09:23 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [debug] 
Thu Jan 12 04:09:23 2017 - [debug]  Connecting via SSH from root@kp-bt-102(192.168.1.102:16812) to root@kp-bt-101(192.168.1.101:16811)..
Thu Jan 12 04:09:24 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [debug]  Connecting via SSH from root@kp-bt-102(192.168.1.102:16812) to root@kp-bt-103(192.168.1.103:16813)..
Thu Jan 12 04:09:24 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [debug] 
Thu Jan 12 04:09:24 2017 - [debug]  Connecting via SSH from root@kp-bt-103(192.168.1.103:16813) to root@kp-bt-101(192.168.1.101:16811)..
Thu Jan 12 04:09:24 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [debug]  Connecting via SSH from root@kp-bt-103(192.168.1.103:16813) to root@kp-bt-102(192.168.1.102:16812)..
Thu Jan 12 04:09:24 2017 - [debug]   ok.
Thu Jan 12 04:09:24 2017 - [info] All SSH connection tests passed successfully.
[root@kp-bt-13 bin]# masterha_check_repl --conf=/etc/masterha/app1.cnf
Thu Jan 12 04:10:17 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Jan 12 04:10:17 2017 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
Thu Jan 12 04:10:17 2017 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Thu Jan 12 04:10:17 2017 - [info] MHA::MasterMonitor version 0.57.
Creating directory /var/log/masterha/app1.log.. done.
Thu Jan 12 04:10:17 2017 - [error][/usr/local/share/perl5/MHA/ServerManager.pm, ln193] There is no alive slave. We can't do failover
Thu Jan 12 04:10:17 2017 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln427] Error happened on checking configurations.  at /usr/local/share/perl5/MHA/MasterMonitor.pm line 329
Thu Jan 12 04:10:17 2017 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln525] Error happened on monitoring servers.
Thu Jan 12 04:10:17 2017 - [info] Got exit code 1 (Not master dead).

MySQL Replication Health is NOT OK!

检查复制状态is NOT OK的集中常见错误及解决办法

报错提示：
[error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln427] Error happened on checking configurations.  at /usr/local/share/perl5/MHA/MasterMonitor.pm line 329
解决办法：
在所有节点设置
# ln -s /home/mysql/bin/mysqlbinlog /usr/local/bin/mysqlbinlog
# ln -s /home/mysql/bin/mysql /usr/local/bin/mysql

报错提示：
mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8'
mysqlbinlog version command failed with rc 7:0, please verify PATH, LD_LIBRARY_PATH, and client options
 at /usr/local/bin/apply_diff_relay_logs line 493
产生这个问题的原因是因为我在my.cnf中的client选项组中添加了default-character-set=utf8
解决办法：
在所有MySQL节点上的my.cnf文件client配置段注释掉default-character-set =utf8
# default-character-set =utf8
无需重启MySQL服务，因为使用mysqlbinlog工具查看二进制日志时会重新读取的mysql的配置文件my.cnf，而不是服务器已经加载进内存的配置文件。

报错提示：
Execution of /usr/local/bin/master_ip_failover aborted due to compilation errors.
Thu Jan 12 13:26:30 2017 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln229]  Failed to get master_ip_failover_script status with return code 255:0.
这是因为我们还没有配置master_ip_failover文件，先在配置文件中注释掉master_ip_failover_script= /usr/local/bin/master_ip_failover就可以了。
# master_ip_failover_script= /usr/local/bin/master_ip_failover

再次运行masterha_check_repl脚本检查集群复制状态

# masterha_check_repl --conf=/etc/masterha/app1.cnf
Thu Jan 12 14:29:38 2017 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Jan 12 14:29:38 2017 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
Thu Jan 12 14:29:38 2017 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Thu Jan 12 14:29:38 2017 - [info] MHA::MasterMonitor version 0.57.
Thu Jan 12 14:29:38 2017 - [info] GTID failover mode = 0
Thu Jan 12 14:29:38 2017 - [info] Dead Servers:
Thu Jan 12 14:29:38 2017 - [info] Alive Servers:
Thu Jan 12 14:29:38 2017 - [info]   kp-bt-101(192.168.1.101:3306)
Thu Jan 12 14:29:38 2017 - [info]   kp-bt-102(192.168.1.102:3306)
Thu Jan 12 14:29:38 2017 - [info]   kp-bt-103(192.168.1.103:3306)
Thu Jan 12 14:29:38 2017 - [info] Alive Slaves:
Thu Jan 12 14:29:38 2017 - [info]   kp-bt-102(192.168.1.102:3306)  Version=5.7.17-log (oldest major version between slaves) log-bin:enabled
Thu Jan 12 14:29:38 2017 - [info]     Replicating from 192.168.1.101(192.168.1.101:3306)
Thu Jan 12 14:29:38 2017 - [info]     Primary candidate for the new Master (candidate_master is set)
Thu Jan 12 14:29:38 2017 - [info]   kp-bt-103(192.168.1.103:3306)  Version=5.7.17-log (oldest major version between slaves) log-bin:enabled
Thu Jan 12 14:29:38 2017 - [info]     Replicating from 192.168.1.101(192.168.1.101:3306)
Thu Jan 12 14:29:38 2017 - [info]     Not candidate for the new Master (no_master is set)
Thu Jan 12 14:29:38 2017 - [info] Current Alive Master: kp-bt-101(192.168.1.101:3306)
Thu Jan 12 14:29:38 2017 - [info] Checking slave configurations..
Thu Jan 12 14:29:38 2017 - [info] Checking replication filtering settings..
Thu Jan 12 14:29:38 2017 - [info]  binlog_do_db= , binlog_ignore_db= 
Thu Jan 12 14:29:38 2017 - [info]  Replication filtering check ok.
Thu Jan 12 14:29:38 2017 - [info] GTID (with auto-pos) is not supported
Thu Jan 12 14:29:38 2017 - [info] Starting SSH connection tests..
Thu Jan 12 14:29:40 2017 - [info] All SSH connection tests passed successfully.
Thu Jan 12 14:29:40 2017 - [info] Checking MHA Node version..
Thu Jan 12 14:29:40 2017 - [info]  Version check ok.
Thu Jan 12 14:29:40 2017 - [info] Checking SSH publickey authentication settings on the current master..
Thu Jan 12 14:29:40 2017 - [info] HealthCheck: SSH to kp-bt-101 is reachable.
Thu Jan 12 14:29:40 2017 - [info] Master MHA Node version is 0.57.
Thu Jan 12 14:29:40 2017 - [info] Checking recovery script configurations on kp-bt-101(192.168.1.101:3306)..
Thu Jan 12 14:29:40 2017 - [info]   Executing command: save_binary_logs --command=test --start_pos=4 --binlog_dir=/home/mysql/data --output_file=/tmp/save_binary_logs_test --manager_version=0.57 --start_file=mysql-bin.000002 
Thu Jan 12 14:29:40 2017 - [info]   Connecting to root@192.168.1.101(kp-bt-101:16811).. 
  Creating /tmp if not exists..    ok.
  Checking output directory is accessible or not..
   ok.
  Binlog found at /home/mysql/data, up to mysql-bin.000002
Thu Jan 12 14:29:41 2017 - [info] Binlog setting check done.
Thu Jan 12 14:29:41 2017 - [info] Checking SSH publickey authentication and checking recovery script configurations on all alive slave servers..
Thu Jan 12 14:29:41 2017 - [info]   Executing command : apply_diff_relay_logs --command=test --slave_user='mha' --slave_host=kp-bt-102 --slave_ip=192.168.1.102 --slave_port=3306 --workdir=/tmp --target_version=5.7.17-log --manager_version=0.57 --relay_log_info=/home/mysql/data/relay-log.info  --relay_dir=/home/mysql/data/  --slave_pass=xxx
Thu Jan 12 14:29:41 2017 - [info]   Connecting to root@192.168.1.102(kp-bt-102:16812).. 
  Checking slave recovery environment settings..
    Opening /home/mysql/data/relay-log.info ... ok.
    Relay log found at /home/mysql/data, up to rep_relay_log.000003
    Temporary relay log file is /home/mysql/data/rep_relay_log.000003
    Testing mysql connection and privileges..mysql: [Warning] Using a password on the command line interface can be insecure.
 done.
    Testing mysqlbinlog output.. done.
    Cleaning up test file(s).. done.
Thu Jan 12 14:29:41 2017 - [info]   Executing command : apply_diff_relay_logs --command=test --slave_user='mha' --slave_host=kp-bt-103 --slave_ip=192.168.1.103 --slave_port=3306 --workdir=/tmp --target_version=5.7.17-log --manager_version=0.57 --relay_log_info=/home/mysql/data/relay-log.info  --relay_dir=/home/mysql/data/  --slave_pass=xxx
Thu Jan 12 14:29:41 2017 - [info]   Connecting to root@192.168.1.103(kp-bt-103:16813).. 
  Checking slave recovery environment settings..
    Opening /home/mysql/data/relay-log.info ... ok.
    Relay log found at /home/mysql/data, up to rep_relay_log.000003
    Temporary relay log file is /home/mysql/data/rep_relay_log.000003
    Testing mysql connection and privileges..mysql: [Warning] Using a password on the command line interface can be insecure.
 done.
    Testing mysqlbinlog output.. done.
    Cleaning up test file(s).. done.
Thu Jan 12 14:29:41 2017 - [info] Slaves settings check done.
Thu Jan 12 14:29:41 2017 - [info] 
kp-bt-101(192.168.1.101:3306) (current master)
 +--kp-bt-102(192.168.1.102:3306)
 +--kp-bt-103(192.168.1.103:3306)

Thu Jan 12 14:29:41 2017 - [info] Checking replication health on kp-bt-102..
Thu Jan 12 14:29:41 2017 - [info]  ok.
Thu Jan 12 14:29:41 2017 - [info] Checking replication health on kp-bt-103..
Thu Jan 12 14:29:41 2017 - [info]  ok.
Thu Jan 12 14:29:41 2017 - [warning] master_ip_failover_script is not defined.
Thu Jan 12 14:29:41 2017 - [warning] shutdown_script is not defined.
Thu Jan 12 14:29:41 2017 - [info] Got exit code 0 (Not master dead).

MySQL Replication Health is OK.

配置自动故障vip切换脚本

#!/usr/bin/env perl
  
use strict;
use warnings FATAL => 'all';
  
use Getopt::Long;
  
my (
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port
);
  
my $vip = '192.168.1.110/16';  # Virtual IP
my $interface = 'em2';          #bind to interface
my $key = "1";
my $ssh_start_vip = "/sbin/ifconfig $interface:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig $interface:$key down";
$ssh_user = "root";
  
GetOptions(
    'command=s'          => \$command,
    'ssh_user=s'         => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s'   => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s'  => \$new_master_host,
    'new_master_ip=s'    => \$new_master_ip,
    'new_master_port=i'  => \$new_master_port,
);
  
exit &main();
  
sub main {
  
    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
  
    if ( $command eq "stop" || $command eq "stopssh" ) {
  
        # $orig_master_host, $orig_master_ip, $orig_master_port are passed.
        # If you manage master ip address at global catalog database,
        # invalidate orig_master_ip here.
        my $exit_code = 1;
  
        #eval {
        #    print "Disabling the VIP on old master: $orig_master_host \n";
        #    &stop_vip();
        #    $exit_code = 0;
        #};
  
  
        eval {
                print "Disabling the VIP on old master: $orig_master_host \n";
                #my $ping=`ping -c 1 10.0.0.13 | grep "packet loss" | awk -F',' '{print $3}' | awk '{print $1}'`;
                #if ( $ping le "90.0%" && $ping gt "0.0%" ){
                #$exit_code = 0;
                #}
                #else {
  
                &stop_vip();
  
                # updating global catalog, etc
                $exit_code = 0;
  
                #}
        };
  
  
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "start" ) {
  
        # all arguments are passed.
        # If you manage master ip address at global catalog database,
        # activate new_master_ip here.
        # You can also grant write access (create user, set read_only=0, etc) here.
        my $exit_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new_master_host \n";
            &start_vip();
            $exit_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit_code;
        }
        exit $exit_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        `ssh $ssh_user\@$orig_master_ip \" $ssh_start_vip \"`;
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}
  
# A simple system call that enable the VIP on the new master
sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
  
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
  
sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

配置手动故障vip切换脚本

#!/usr/bin/env perl
#  Copyright (C) 2011 DeNA Co.,Ltd.
#
#  This program is free software; you can redistribute it and/or modify
#  it under the terms of the GNU General Public License as published by
#  the Free Software Foundation; either version 2 of the License, or
#  (at your option) any later version.
#
#  This program is distributed in the hope that it will be useful,
#  but WITHOUT ANY WARRANTY; without even the implied warranty of
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
#  GNU General Public License for more details.
#
#  You should have received a copy of the GNU General Public License
#   along with this program; if not, write to the Free Software
#  Foundation, Inc.,
#  51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
## Note: This is a sample script and is not complete. Modify the script based on your environment.
use strict;
use warnings FATAL => 'all';
use Getopt::Long;
use MHA::DBHelper;
use MHA::NodeUtil;
use Time::HiRes qw( sleep gettimeofday tv_interval );
use Data::Dumper;
my $_tstart;
my $_running_interval = 0.1;
my (
  $command,          $orig_master_host, $orig_master_ip,
  $orig_master_port, $orig_master_user, $orig_master_ssh_user,
  $new_master_host,  $new_master_ip,    $new_master_port,
  $new_master_user,  $new_master_ssh_user, $orig_master_is_new_slave,
  $orig_master_password, $new_master_password,
);
my $vip = '192.168.1.110';      ###Virtual IP
my $interface = 'em2';         ###interface
my $key = "1";
my $ssh_start_vip = "/sbin/ifconfig $interface:$key $vip/16";
my $flush_arp = "/sbin/arping -I $interface -c 2 -s $vip";
my $ssh_stop_vip = "/sbin/ifconfig $interface:$key down";
my $ssh_user = "root";
GetOptions(
  'command=s'              => \$command,
  'ssh_user=s'             => \$ssh_user,
  'orig_master_host=s'     => \$orig_master_host,
  'orig_master_ip=s'       => \$orig_master_ip,
  'orig_master_port=i'     => \$orig_master_port,
  'orig_master_user=s'     => \$orig_master_user,
  'orig_master_password=s' => \$orig_master_password,
  'new_master_host=s'      => \$new_master_host,
  'new_master_ip=s'        => \$new_master_ip,
  'new_master_port=i'      => \$new_master_port,
  'new_master_user=s'      => \$new_master_user,
  'new_master_password=s'  => \$new_master_password,
  'orig_master_ssh_user=s'   => \$orig_master_ssh_user,
  'new_master_ssh_user=s'    => \$new_master_ssh_user,
  'orig_master_is_new_slave' => \$orig_master_is_new_slave,
);
exit &main();
sub current_time_us {
  my ( $sec, $microsec ) = gettimeofday();
  my $curdate = localtime($sec);
  return $curdate . " " . sprintf( "%06d", $microsec );
}
sub sleep_until {
  my $elapsed = tv_interval($_tstart);
  if ( $_running_interval > $elapsed ) {
    sleep( $_running_interval - $elapsed );
  }
}
sub get_threads_util {
  my $dbh                    = shift;
  my $my_connection_id       = shift;
  my $running_time_threshold = shift;
  my $type                   = shift;
  $running_time_threshold = 0 unless ($running_time_threshold);
  $type                   = 0 unless ($type);
  my @threads;
  my $sth = $dbh->prepare("SHOW PROCESSLIST");
  $sth->execute();
  while ( my $ref = $sth->fetchrow_hashref() ) {
    my $id         = $ref->{Id};
    my $user       = $ref->{User};
    my $host       = $ref->{Host};
    my $command    = $ref->{Command};
    my $state      = $ref->{State};
    my $query_time = $ref->{Time};
    my $info       = $ref->{Info};
    $info =~ s/^\s*(.*?)\s*$/$1/ if defined($info);
    next if ( $my_connection_id == $id );
    next if ( defined($query_time) && $query_time < $running_time_threshold );
    next if ( defined($command)    && $command eq "Binlog Dump" );
    next if ( defined($user)       && $user eq "system user" );
    next
      if ( defined($command)
      && $command eq "Sleep"
      && defined($query_time)
      && $query_time >= 1 );
    if ( $type >= 1 ) {
      next if ( defined($command) && $command eq "Sleep" );
      next if ( defined($command) && $command eq "Connect" );
    }
    if ( $type >= 2 ) {
      next if ( defined($info) && $info =~ m/^select/i );
      next if ( defined($info) && $info =~ m/^show/i );
    }
    push @threads, $ref;
  }
  return @threads;
}
sub main {
  if ( $command eq "stop" ) {
    ## Gracefully killing connections on the current master
    # 1. Set read_only= 1 on the new master
    # 2. DROP USER so that no app user can establish new connections
    # 3. Set read_only= 1 on the current master
    # 4. Kill current queries
    # * Any database access failure will result in script die.
    my $exit_code = 1;
    eval {
      ## Setting read_only=1 on the new master (to avoid accident)
      my $new_master_handler = new MHA::DBHelper();
      # args: hostname, port, user, password, raise_error(die_on_error)_or_not
      $new_master_handler->connect( $new_master_ip, $new_master_port,
        $new_master_user, $new_master_password, 1 );
      print current_time_us() . " Set read_only on the new master.. ";
      $new_master_handler->enable_read_only();
      if ( $new_master_handler->is_read_only() ) {
        print "ok.\n";
      }
      else {
        die "Failed!\n";
      }
      $new_master_handler->disconnect();
      # Connecting to the orig master, die if any database error happens
      my $orig_master_handler = new MHA::DBHelper();
      $orig_master_handler->connect( $orig_master_ip, $orig_master_port,
        $orig_master_user, $orig_master_password, 1 );
      ## Drop application user so that nobody can connect. Disabling per-session binlog beforehand
      #$orig_master_handler->disable_log_bin_local();
      #print current_time_us() . " Drpping app user on the orig master..\n";
      #FIXME_xxx_drop_app_user($orig_master_handler);
      ## Waiting for N * 100 milliseconds so that current connections can exit
      my $time_until_read_only = 15;
      $_tstart = [gettimeofday];
      my @threads = get_threads_util( $orig_master_handler->{dbh},
        $orig_master_handler->{connection_id} );
      while ( $time_until_read_only > 0 && $#threads >= 0 ) {
        if ( $time_until_read_only % 5 == 0 ) {
          printf
"%s Waiting all running %d threads are disconnected.. (max %d milliseconds)\n",
            current_time_us(), $#threads + 1, $time_until_read_only * 100;
          if ( $#threads < 5 ) {
            print Data::Dumper->new( [$_] )->Indent(0)->Terse(1)->Dump . "\n"
              foreach (@threads);
          }
        }
        sleep_until();
        $_tstart = [gettimeofday];
        $time_until_read_only--;
        @threads = get_threads_util( $orig_master_handler->{dbh},
          $orig_master_handler->{connection_id} );
      }
      ## Setting read_only=1 on the current master so that nobody(except SUPER) can write
      print current_time_us() . " Set read_only=1 on the orig master.. ";
      $orig_master_handler->enable_read_only();
      if ( $orig_master_handler->is_read_only() ) {
        print "ok.\n";
      }
      else {
        die "Failed!\n";
      }
      ## Waiting for M * 100 milliseconds so that current update queries can complete
      my $time_until_kill_threads = 5;
      @threads = get_threads_util( $orig_master_handler->{dbh},
        $orig_master_handler->{connection_id} );
      while ( $time_until_kill_threads > 0 && $#threads >= 0 ) {
        if ( $time_until_kill_threads % 5 == 0 ) {
          printf
"%s Waiting all running %d queries are disconnected.. (max %d milliseconds)\n",
            current_time_us(), $#threads + 1, $time_until_kill_threads * 100;
          if ( $#threads < 5 ) {
            print Data::Dumper->new( [$_] )->Indent(0)->Terse(1)->Dump . "\n"
              foreach (@threads);
          }
        }
        sleep_until();
        $_tstart = [gettimeofday];
        $time_until_kill_threads--;
        @threads = get_threads_util( $orig_master_handler->{dbh},
          $orig_master_handler->{connection_id} );
                &stop_vip();
      ## Terminating all threads
      print current_time_us() . " Killing all application threads..\n";
      $orig_master_handler->kill_threads(@threads) if ( $#threads >= 0 );
      print current_time_us() . " done.\n";
      #$orig_master_handler->enable_log_bin_local();
      $orig_master_handler->disconnect();
      ## After finishing the script, MHA executes FLUSH TABLES WITH READ LOCK
      $exit_code = 0;
    };
    if ($@) {
      warn "Got Error: $@\n";
      exit $exit_code;
    }
    exit $exit_code;
  }
  elsif ( $command eq "start" ) {
    ## Activating master ip on the new master
    # 1. Create app user with write privileges
    # 2. Moving backup script if needed
    # 3. Register new master's ip to the catalog database
# If exit code is 0 or 10, MHA does not abort
    my $exit_code = 10;
    eval {
      my $new_master_handler = new MHA::DBHelper();
      # args: hostname, port, user, password, raise_error_or_not
      $new_master_handler->connect( $new_master_ip, $new_master_port,
        $new_master_user, $new_master_password, 1 );
      ## Set read_only=0 on the new master
      #$new_master_handler->disable_log_bin_local();
      print current_time_us() . " Set read_only=0 on the new master.\n";
      $new_master_handler->disable_read_only();
      ## Creating an app user on the new master
      #print current_time_us() . " Creating app user on the new master..\n";
      #FIXME_xxx_create_app_user($new_master_handler);
      #$new_master_handler->enable_log_bin_local();
      $new_master_handler->disconnect();
      ## Update master ip on the catalog database, etc
                print "Enabling the VIP - $vip on the new master - $new_master_host \n";
                &start_vip();
                &flush_arp();
                $exit_code = 0;
    };
    if ($@) {
      warn "Got Error: $@\n";
      exit $exit_code;
    }
    exit $exit_code;
  }
    exit 0;
  }
  else {
    &usage();
    exit 1;
  }
}
# A simple system call that enable the VIP on the new master
sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
#flush arp
sub flush_arp() {
    `ssh $ssh_user\@$new_master_host \" $flush_arp \"`;
}
sub usage {
  print
"Usage: master_ip_online_change --command=start|stop|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
  die;
}

检查集群状态

1 2	# masterha_check_repl --conf=/etc/masterha/app1.cnf # masterha_check_ssh --conf=/etc/masterha/app1.cnf

启动和关闭MHA-manager

启动
# nohup masterha_manager --conf=/etc/masterha/app1.cnf > /etc/masterha//mha_manager.log < /dev/null 2>&1 &

关闭
masterha_stop --conf=/etc/masterha/app1.cnf

检查MHA-manager状态

1 2	# masterha_check_status --conf=/etc/masterha/app1.cnf app1 (pid:50523) is running(0:PING_OK), master:kp-bt-101

Tomcat安装配置

2017-01-09T16:00:00.000Z

安装JDK

1	# rpm -ivh jdk-8u111-linux-x64.rpm

配置JAVA环境变量

1
2
3

# vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/latest
export PATH=$JAVA_HOME/bin:$PATH

导出环境变量

1	# source /etc/profile.d/java.sh

查看JAVA版本

1	# java -version

解压tomcat到指定目录

1 2	# tar zxf apache-tomcat-8.0.39.tar.gz -C /usr/local/ # ln -s /usr/local/apache-tomcat-8.0.39/ /usr/local/tomcat

配置tomcat环境变量

1
2
3

# vim /etc/profile.d/tomcat.sh
export CATALINA_HOME=/usr/local/tomcat
export PATH=$CATALINA_HOME/bin:$PATH

导出tomcat环境变量

1	# source /etc/profile.d/tomcat.sh

查看tomcat版本

1	# catalina.sh version

启动tomcat

1	# catalina.sh start

隐藏tomcat版本信息

在线上生产环境中，为了防止tomcat版本信息暴露导致的恶意攻击，我们需要将tomcat版本隐藏
# cd $CATALINA_HOME/lib/
# unzip catalina.jar
# vim org/apache/catalina/util/ServerInfo.properties
server.info=Apache Tomcat/X
server.number=X

# jar uvf catalina.jar org/apache/catalina/util/ServerInfo.properties
# catalina.sh stop
# catalina.sh start

编译安装配置zabbix 3.0监控平台

2016-12-19T16:00:00.000Z

1. 前言

zabbix是一个基于WEB页面提供分布式系统监视以及网络监视功能的企业级开源解决方案。基于C/S架构，支持多种采集方式和采集客户端，有专用的Agent，也支持SNMP、IPMI、JMX、Telnet、SSH等多种协议，它可以运行在Linux，Solaris，HP-UX，AIX，Free BSD，Open BSD，OS X等平台上，它将采集到的数据存放到数据库，然后对其进行分析整理，达到条件触发告警。
对于运维工作来说，zabbix是一个不可或缺的企业监控工具，在日常业务环境中可以选择直接通过yum方式安装或者编译源码安装，因为本人喜欢将zabbix安装到自定义位置，故选择编译安装。

2. 部署前准备工作

2.1 部署规划

zabbix目前提供了三个版本的源码包供下载安装，分别是：Zabbix 2.2 LTS、Zabbix 3.0 LTS、Zabbix 3.2。
Zabbix2.2与3.0均为LTS即Long Term Support（长期支持）版本，Zabbix LTS版本可以为客户提供5年的技术支持，包括3年的全服务支持（一般，严重和安全的问题的解决）和后2年的限制性支持（只包括严重和安全问题的解决）。LTS版本发布会改变版本号第一个数字，比如X版本，X+1版本。
而3.2属于标准版本，标准版本会为客户提供6个月的全支持（一般，严重和安全的问题的解决）直到下一个稳定版本发布，还会提供附加一个月的限制性支持（只包括严重和安全问题的解决）。标准版本会改变版本号的第二个数字，比如：X.4、X.6版本。
基于业务稳定性考虑，采用LTS版本更为稳妥，同时3.0 LTS相对于2.2 LTS在WEB界面与中文支持以及其他一些重要功能上做了很大的提升，因此我们选择3.0 LTS版本。
zabbix的web管理界面需要php+MySQL环境支持，在此我们选择LNMP环境。
zabbix的web页面安装路径：/home/zabbix
zabbix服务安装路径：/usr/local/zabbix
MySQL安装路径：/home/mysql

2.2 下载软件包

1
2
3

# wget http://sourceforge.net/projects/zabbix/files/ZABBIX%20Latest%20Stable/3.0.8/zabbix-3.0.8.tar.gz
# ls
zabbix-3.0.8.tar.gz

2.3 创建相关安装目录

# mkdir -pv /home/{zabbix,mysql}
mkdir: created directory `/home/zabbix'
mkdir: created directory `/home/mysql'
# tree /home/
/home/
├── mysql
│   └── data
├── soft
│   └── zabbix-3.0.8.tar.gz
└── zabbix

# mkdir /usr/local/zabbix/log

3. 安装配置LNMP环境

因为zabbix的web管理需要php环境支持，所以先配置LNMP环境，配置过程参考前文，此处不再赘述。

php编译参数
# ./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --with-fpm-user=www --with-fpm-group=www --enable-mysqlnd --with-mysqli=mysqlnd --with-pdo-mysql=mysqlnd --enable-ftp --enable-zip --with-bz2 --with-jpeg-dir --with-png-dir --with-freetype-dir --with-libxml-dir --with-xmlrpc --with-zlib-dir --with-gd --enable-gd-native-ttf --with-curl --enable-mbstring --enable-bcmath --enable-sockets --enable-exif --enable-fpm --with-mcrypt --with-mhash --with-gmp --enable-inline-optimization --with-openssl --with-pcre-dir --enable-soap --with-gettext

如果不加--with-gettext参数，zabbix将无法切换语言。

1
2

MySQL编译参数
# cmake -DCMAKE_INSTALL_PREFIX=/home/mysql  -DMYSQL_UNIX_ADDR=/tmp/mysql.sock  -DDEFAULT_CHARSET=utf8  -DDEFAULT_COLLATION=utf8_general_ci  -DWITH_MYISAM_STORAGE_ENGINE=1  -DWITH_INNOBASE_STORAGE_ENGINE=1  -DWITH_MEMORY_STORAGE_ENGINE=1  -DWITH_READLINE=1  -DENABLED_LOCAL_INFILE=1  -DMYSQL_DATADIR=/home/mysql/data  -DMYSQL_USER=mysql  -DMYSQL_TCP_PORT=3406 -DWITH_BOOST=/usr/local/boost

程序包如下：

# tree
.
├── mysql-5.7.15.tar.gz
├── openresty
│   ├── drizzle7-2011.07.21.tar.gz
│   ├── openresty-1.11.2.1.tar.gz
│   ├── openssl-1.0.2j.tar.gz
│   ├── pcre-8.38.tar.gz
│   └── zlib-1.2.8.tar.gz
└── zabbix-3.0.8.tar.gz

4. 编译安装zabbix

4.1 创建zabbix服务用户

1 2	# groupadd zabbix # useradd zabbix -g zabbix -s /sbin/nologin

4.2 安装依赖包

1	# yum install -y net-snmp-devel curl-devel unixODBC-devel OpenIPMI-devel java-devel libssh2-devel openldap-devel

4.3 编译前配置

1
2
3

# pwd
/home/soft/zabbix-3.0.8
# ./configure --prefix=/usr/local/zabbix --enable-server --enable-agent --enable-ipv6 --with-mysql --with-net-snmp --with-libcurl -with-openipmi --with-unixodbc --with-ldap --with-ssh2 --with-iconv --enable-java

4.4 编译安装zabbix

1 2	# make && make install # chown -R zabbix.zabbix /usr/local/zabbix/

4.5 为zabbix提供启动脚本

# cp misc/init.d/fedora/core/zabbix_* /etc/init.d/
# chmod +x /etc/init.d/zabbix_*
# sed -i 's@BASEDIR=/usr/local@BASEDIR=/usr/local/zabbix@g' /etc/init.d/zabbix_agentd
# sed -i 's@BASEDIR=/usr/local@BASEDIR=/usr/local/zabbix@g' /etc/init.d/zabbix_server
# chkconfig zabbix_server on
# chkconfig zabbix_agentd on

4.6 创建zabbix数据库并导入数据

mysql> create database zabbix character set utf8;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbix';
Query OK, 0 rows affected, 2 warnings (0.01 sec)

mysql> flush privileges;

# mysql -uzabbix -pzabbix zabbix
测试新建数据库访问正常。

# mysql -uzabbix -pzabbix zabbix < ./database/mysql/schema.sql
# mysql -uzabbix -pzabbix zabbix < ./database/mysql/images.sql 
# mysql -uzabbix -pzabbix zabbix < ./database/mysql/data.sql

4.7 修改zabbix配置文件

# 
# vim /usr/local/zabbix/etc/zabbix_server.conf
ListenPort=10051
LogFile=/usr/local/zabbix/log/zabbix_server.log
LogFileSize=1
DebugLevel=3
PidFile=/usr/local/zabbix/log/zabbix_server.pid
DBHost=localhost
DBName=zabbix
DBUser=zabbix
DBPassword=zabbix
DBSocket=/home/mysql/tmp/mysql.sock
DBPort=3406
ListenIP=0.0.0.0
Timeout=4
LogSlowQueries=3000

# vim /usr/local/zabbix/etc/zabbix_agentd.conf
PidFile=/usr/local/zabbix/log/zabbix_agentd.pid
LogType=file
LogFile=/usr/local/zabbix/log/zabbix_agentd.log
LogFileSize=1
DebugLevel=3
Server=127.0.0.1
ListenPort=10050
ListenIP=0.0.0.0
ServerActive=127.0.0.1
Hostname=Zabbix server

4.8 启动zabbix-server、zabbix-agentd服务

启动服务

1	# service zabbix_server start

如启动报错

1 2	Starting zabbix_server: /usr/local/zabbix/sbin/zabbix_server: error while loading shared libraries: libmysqlclient.so.20: cannot open shared object file: No such file or directory [FAILED]

检查是否库文件不存在

1	# ldd $(which /usr/local/zabbix/sbin/zabbix_server)

确有一条

1	libmysqlclient.so.20 => not found

解决办法

1
2
3

# vim /etc/ld.so.conf.d/mysql.conf
/home/mysql/lib
# ldconfig

再次启动服务

1 2	# service zabbix_server start # service zabbix_agentd start

5. 安装配置zabbix WEB前端

5.1 安装前相关配置

# vim /etc/php.ini     （此处的php.ini以服务器上实际位置为准）
memory_limit = 128M
post_max_size = 16M
upload_max_filesize = 2M
max_execution_time = 300
max_input_time = 300
session.auto_start = 0
mbstring.func_overload = 0
always_populate_raw_post_data = -1
date.timezone = Asia/Shanghai

5.2 准备WEB前端文件

# pwd 
/home/soft/zabbix-3.0.8
# cp -r frontends/php/* /home/zabbix-web/
# chown -R www.www /home/zabbix-web/

5.3 配置nginx相关zabbix网站配置

# vim /usr/local/openresty/nginx/conf/nginx.conf
    server {
        listen       80;
        server_name  localhost;
        charset utf-8;
        location / {
            root   /home/zabbix;
            index  index.php index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        location ~ \.php$ {
            root           /home/zabbix;
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index  index.php;
            fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
            #include        fastcgi_params;
            include        fastcgi.conf;
        }

    }

5.4 访问WEB页面配置zabbix web

http://IP

5.5 解决zabbix web界面部分中文乱码的问题

zabbix web安装完成后，默认的中文支持并不完善，在部分页面仍会出现中文支持不完全的问题，原因在于zabbix程序保重默认的字体文件DejaVuSans.ttf对中文支持不完善，所以需要我们自行上传中文字体并修改配置文件。
具体操作如下：

在这里我采用的是微软雅黑字体，首先将微软字体库中的雅黑字体文件上传至zabbix服务器/home/zabbix-web/fonts/目录

# ls /home/zabbix-web/fonts/
DejaVuSans.ttf  msyh.ttf

然后修改相应配置文件：
# pwd
/home/zabbix-web/include
# vim +45 defines.inc.php
define('ZBX_GRAPH_FONT_NAME',           'msyh'); // font file name
第45行，将字体文件名更改为你上传的字体文件名，我这里用的是"msyh"

# vim +93 defines.inc.php
define('ZBX_FONT_NAME', 'msyh');
第93行，同45行一致，修改字体文件名。

修改完成后，重新刷新页面，中文显示就正常了。

keepalived部署

2016-12-09T16:00:00.000Z

1. Director Server配置
安装软件依赖环境

1 2	# yum install -y gcc* # yum install -y openssl*

安装ipvsadm

1	# yum install -y ipvsadm

下载软件安装包并解压

1 2	# wget http://www.keepalived.org/software/keepalived-1.3.2.tar.gz # tar zxf keepalived-1.3.2.tar.gz

为程序准备安装目录

1 2	# mkdir /usr/local/keepalived # mkdir /etc/keepalived

编译前配置

1 2	# cd keepalived-1.3.2 # ./configure --prefix=/usr/local/keepalived/

编译安装

1	# make && make install

为keepalived准备启动脚本和配置文件

# cd /usr/local/keepalived/
# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
# cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
# cp /root/soft/keepalived-1.3.2/keepalived/etc/init.d/keepalived /etc/init.d/

将keepalived加入开机启动项

1
2
3

# chmod +x /etc/init.d/keepalived
# chkconfig --add keepalived
# chkconfig keepalived on

在MASTER服务器上按需修改keepalived.conf配置文件

# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
    notification_email {
        wanglei@kuparts.com
    }
    notification_email_from admin@test.com
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id LVS_MASTER
    vrrp_skip_check_adv_addr
    vrrp_strict
    vrrp_garp_interval 0
    vrrp_gna_interval 0
}

## for Nginx vrrp 实例配置
vrrp_instance VI_nginx {
    state MASTER
    interface em1     # 此处interface名称一定要跟服务器上实际的网卡名称一致，否则keepalived服务会启动失败。
    virtual_router_id 61
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        121.201.40.140
    }
}

## for Nginx real_server相关配置
virtual_server 121.201.40.140 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.1.9 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
    real_server 192.168.1.10 80 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

将MASTER上的配置同步到BACKUP服务器并相应修改

1	# scp -P 16804 /etc/keepalived/keepalived.conf root@kp-bt-04:/etc/keepalived/

配置iptables规则

# iptables -I INPUT -d 224.0.0.0/8 -j ACCEPT
# iptables -I INPUT -p vrrp -j ACCEPT
# iptables -I INPUT -p tcp --dport 80 -j ACCEPT
# service iptables save

启动keepalived服务

1	# service keepalived start

2. Realserver配置
创建一个脚本配置arp抑制及绑定vip

# vim /home/vip-add.sh

#!/bin/bash  
#   
# Script to start LVS DR real server.   
# description: LVS DR real server   
#   
.  /etc/rc.d/init.d/functions
VIP=x.x.x.x   #这里根据需要改成自己的VIP地址
host=`/bin/hostname`
case "$1" in  
start)   
       # Start LVS-DR real server on this machine.   
        /sbin/ifconfig lo down   
        /sbin/ifconfig lo up   
        echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore   
        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce   
        echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore   
        echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
        /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up  
        /sbin/route add -host $VIP dev lo:0
;;  
stop)
        # Stop LVS-DR real server loopback device(s).  
        /sbin/ifconfig lo:0 down   
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore   
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce   
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore   
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
;;  
status)
        # Status of LVS-DR real server.  
        islothere=`/sbin/ifconfig lo:0 | grep $VIP`   
        isrothere=`netstat -rn | grep "lo:0" | grep $VIP`   
        if [ ! "$islothere" -o ! "isrothere" ];then   
            # Either the route or the lo:0 device   
            # not found.   
            echo "LVS-DR real server Stopped."   
        else   
            echo "LVS-DR real server Running."   
        fi   
;;   
*)   
            # Invalid entry.   
            echo "$0: Usage: $0 {start|status|stop}"   
            exit 1   
;;   
esac

该脚本来源：http://lovelace.blog.51cto.com/1028430/1550188

启动该脚本

1 2	# chmod +x vip-add.sh # ./vip-add.sh start

测试访问正常。

openresty编译参数详解

2016-11-30T16:00:00.000Z

表格太长，请直接点击查看全文。

参数选项	说明
–help	this message 帮助选项

–prefix=PATH	set the installation prefix (default to /usr/local/openresty) 设置安装路径

–with-debug	enable debug logging 启用调试日志
–with-dtrace-probes	enable dtrace USDT probes 启用DTrace USDT探针（DTrace 提供丰富的用于监视系统各方面（从内核直到应用程序）运行情况的探测。我们可以在不修改应用程序的情况下执行很多检查，但是要想获得详细的统计数据，就需要在应用程序中添加探测。USDT 让开发人员可以在代码中重要的位置添加特定的探测。还可以使用 USDT 从正在运行的应用程序获取数据，这些数据可作为跟踪应用程序的探测的参数而被访问。）
–with-dtrace=PATH	set dtrace utility pathname 设置DTrace路径

–with-no-pool-patch	enable the no-pool patch for debugging memory issues 启用无池补丁调试内存问题（nginx的内存池可能会干扰nginx发现内存问题的第一现场，所以可以考虑在构造openresty时禁用nginx 的内存池，即使用 –with-no-pool-patch 选项）

-jN	pass -jN option to make while building the bundled Lua 5.1 interpreter or LuaJIT 2.1
	pass -jN选项，在构建捆绑的Lua 5.1解释器或LuaJIT 2.1时
–without-http_echo_module	disable ngx_http_echo_module 禁用ngx_http_echo_module （nginx的echo模块可以在nginx的url访问中通过echo命令输出字符到用户的浏览器，一般用来调试输出信息，检测nginx的可访问性、配置正确性。）
–without-http_xss_module	disable ngx_http_xss_module 禁用ngx_http_xss_module 跨站点脚本支持
–without-http_coolkit_module	disable ngx_http_coolkit_module 禁用ngx_http_coolkit_module （ngx_http_coolkit_module是一个小而有用的nginx插件模块集合）
–without-http_set_misc_module	disable ngx_http_set_misc_module 禁用ngx_http_set_misc_module （ngx_http_set_misc_module模块是标准的HttpRewriteModule指令的扩展，提供更多的功能，如URI转义与非转义、JSON引述、Hexadecimal/MD5/SHA1/Base32/Base64编码与解码、随机数等等。）
–without-http_form_input_module	disable ngx_http_form_input_module 禁用ngx_http_form_input_module （ngx_http_form_input_module是 Openresty 中一个用于处理 HTTP 请求的 POST 以及 PUT 方法，在协议头 Content-Type 是 application/x-www-form-urlencoded 的情况下，解析请求实体内容并按 nginx 变量存储的模块。）
–without-http_encrypted_session_module	disable ngx_http_encrypted_session_module 禁用ngx_http_encrypted_session_module （ngx_http_encrypted_session_module是一个加密解密nginx变量值的模块，此模块提供了基于AES-256与Mac的变量加密和解密支持，此模块通常与ngx_set_misc模块和标准rewrite模块的指令一起使用，此模块可用于实现简单的用户登录和ACL。）
–without-http_srcache_module	disable ngx_http_srcache_module 禁用ngx_http_srcache_module （此模块为任意nginx位置提供了一个透明缓存层，为location增加了透明的基于subrequest的缓存层（类似于使用upstream或者甚至提供静态磁盘文件的缓存层）。）
–without-http_lua_module	disable ngx_http_lua_module 禁用ngx_http_lua_module
–without-http_lua_upstream_module	disable ngx_http_lua_upstream_module 禁用ngx_http_lua_upstream_module （ngx_http_lua_upstream_module是openresty的负载均衡模块）
–without-http_headers_more_module	disable ngx_http_headers_more_module 禁用ngx_http_headers_more_module （ngx_http_headers_more_module是nginx定制header返回信息模块，用于添加、设置和清除输入和输出的头信息。nginx源码没有包含该模块，需要另行添加。该模块是ngx_http_headers_module模块的增强版，提供了更多的实用工具，比如复位或清除内置头信息，如Content-Type, Content-Length, 和Server。可以允许你使用-s选项指定HTTP状态码，使用-t选项指定内容类型，通过more_set_headers 和 more_clear_headers 指令来修改输出头信息。）
–without-http_array_var_module	disable ngx_http_array_var_module 禁用ngx_http_array_var_module （此模块为nginx.conf提供了数组类型的nginx变量。）
–without-http_memc_module	disable ngx_http_memc_module 禁用ngx_http_memc_module （memc模块扩展了Nginx标准的memcache模块，增加了set、add、delete等memcache命令）
–without-http_redis2_module	disable ngx_http_redis2_module 禁用ngx_http_redis2_module （redis2-nginx-module 是一个支持 Redis 2.0 协议的 Nginx upstream 模块，它可以让 Nginx 以非阻塞方式直接防问远方的 Redis 服务，同时支持 TCP 协议和 Unix Domain Socket 模式，并且可以启用强大的 Redis 连接池功能。）
–without-http_redis_module	disable ngx_http_redis_module 禁用ngx_http_redis_module （此模块是一个简单的提供redis缓存的模块，目前仅提供select和get方法。）
–without-http_rds_json_module	disable ngx_http_rds_json_module 禁用ngx_http_rds_json_module （此模块用来做数据格式转换）
–without-http_rds_csv_module	disable ngx_http_rds_csv_module 禁用ngx_http_rds_csv_module （此模块用来做数据格式转换）
–without-ngx_devel_kit_module	disable ngx_devel_kit_module 禁用ngx_devel_kit_module （Nginx的开发套件）
–without-http_ssl_module	disable ngx_http_ssl_module 禁用ngx_http_ssl_module （该模块使Nginx支持SSL协议，提供HTTPS服务。该模块的安装依赖于OpenSSL。）

–with-http_iconv_module	enable ngx_http_iconv_module 启用ngx_http_iconv_module （此模块使用libiconv来转换不同编码字符，依赖于libiconv。）
–with-http_drizzle_module	enable ngx_http_drizzle_module 启用ngx_http_drizzle_module （此模块使NGINX直接与MySQL或Drizzle（一个精简版的MySQL分支）数据库服务器通信）
–with-http_postgres_module	enable ngx_http_postgres_module 启用ngx_http_postgres_module （此模块允许NGINX直接与PostgreSQL数据库通信）

–without-lua_cjson	disable the lua-cjson library 禁用lua-cjson library （Lua CJSON是一个Lua c模块，提供快速的JSON解析和Lua的编码支持）
–without-lua_redis_parser	disable the lua-redis-parser library 禁用lua-redis-parser library （lua-redis解析器库实现了一个简单且快速的redis原始响应解析器，它构造相应的lua数据结构，以及一个构造redis raw请求的函数。）
–without-lua_rds_parser	disable the lua-rds-parser library 禁用lua-rds-parser library （这个Lua库可以用于将Drizzle Nginx模块和Postgres Nginx模块生成的Resty-DBD-Stream格式的数据解析为Lua数据结构。在过去，我们必须使用JSON作为中间数据格式，这在内存和CPU时间方面是相当低效的。为了最大化速度和最小化内存占用，这个库以纯C语言实现。默认情况下启用此库。）
–without-lua_resty_dns	disable the lua-resty-dns library 禁用lua-resty-dns library （非阻塞DNS（域名系统）解析器的Lua Nginx模块，基于cosocket API。）
–without-lua_resty_memcached	disable the lua-resty-memcached library 禁用lua-resty-memcached library （Memcached客户端驱动程序模块，基于cosocket API的Lua Nginx模块。）
–without-lua_resty_redis	disable the lua-resty-redis library 禁用lua-resty-redis library （Lua Redis客户端驱动程序，基于cosocket API的Lua Nginx模块。）
–without-lua_resty_mysql	disable the lua-resty-mysql library 禁用lua-resty-mysql library （Lua MySQL客户端驱动程序，基于cosocket API的Lua Nginx模块。）
–without-lua_resty_upload	disable the lua-resty-upload library 禁用lua-resty-upload library （基于Lua Nginx模块的cosocket API用于HTTP文件上传流阅读器和分析器。）
–without-lua_resty_upstream_healthcheck	disable the lua-resty-upstream-healthcheck library 禁用lua-resty-upstream-healthcheck library （此模块是纯Lua的Nginx上游服务器健康检查器。）
–without-lua_resty_string	disable the lua-resty-string library 禁用lua-resty-string library （一个Lua库，为Lua Nginx模块提供字符串实用程序和通用哈希函数。）
–without-lua_resty_websocket	disable the lua-resty-websocket library 禁用lua-resty-websocket library （这个Lua库实现了一个非阻塞WebSocket服务器和基于Lua Nginx模块的cosocket API的非阻塞WebSocket客户端。）
–without-lua_resty_lock	disable the lua-resty-lock library 禁用lua-resty-lock library （这个Lua库实现了一个基于Lua Nginx模块的共享内存字典的简单非阻塞互斥锁API。主要用于消除“dog-pile effects”。dog-pile effect 指当网页缓存失效同时遇到大量请求，后端应用服务请求建立缓存，导致服务器卡顿甚至系统宕机的现象。）
–without-lua_resty_lrucache	disable the lua-resty-lrucache library 禁用lua-resty-lrucache library （实现OpenResty的Lua-land LRU缓存。）
–without-lua_resty_core	disable the lua-resty-core library 禁用lua-resty-core library （使用LuaJIT FFI实现Lua Nginx模块提供的Lua API。）

–with-lua51	enable and build the bundled standard Lua 5.1 interpreter 启用并构建捆绑的标准Lua 5.1解释器
–without-lua51	disable the bundled standard Lua 5.1 interpreter 禁用捆绑的标准Lua 5.1解释器
–with-lua51=DIR	specify the external installation of Lua 5.1 by DIR 指定由外部DIR安装Lua 5.1
–with-luajit	enable and build the bundled LuaJIT 2.1 (the default) 启用并构建捆绑的LuaJIT 2.1（默认）
–with-luajit=DIR	use the external LuaJIT 2.1 installation specified by DIR 使用指定的DIR安装LuaJIT 2.1
–with-luajit-xcflags=FLAGS	Specify extra C compiler flags for LuaJIT 2.1 为LuaJIT 2.1指定额外的C编译器标志
–with-libdrizzle=DIR	specify the libdrizzle 1.0 (or drizzle) installation prefix 指定libdrizzle 1.0（或drizzle）安装路径
–with-libpq=DIR	specify the libpq (or postgresql) installation prefix 指定libpq（或postgresql）安装路径
–with-pg_config=PATH	specify the path of the pg_config utility 指定pg_config实用程序的路径

Options directly inherited from nginx 直接继承自nginx的选项

–sbin-path=PATH	set nginx binary pathname 设置可执行文件放置路径
–conf-path=PATH	set nginx.conf pathname 设置配置文件的放置路径
–error-log-path=PATH	set error log pathname 设置error日志文件的放置路径
–pid-path=PATH	set nginx.pid pathname 设置pid文件的放置路径
–lock-path=PATH	set nginx.lock pathname 设置lock文件的放置路径
–tapset-prefix=PATH	set systemtap tapset directory prefix 设置systemtap tapset目录路径
–stap-nginx-path=PATH	set stap-nginx pathname 设置stap-nginx路径名

–user=USER	set non-privileged user for worker processes 为工作进程设置非特权用户
–group=GROUP	set non-privileged group for worker processes 为工作进程设置非特权组

–builddir=DIR	set the build directory 设置构建目录

–with-select_module	enable select module 使用select module处理事件驱动
–without-select_module	disable select module 禁用select module
–with-poll_module	enable poll module 使用poll module处理事件驱动
–without-poll_module	disable poll module 禁用poll module

–with-threads	enable thread pool support 启用线程池支持

–with-file-aio	enable file aio support 启用文件异步IO支持
–with-ipv6	enable ipv6 support 启用ipv6支持

–with-http_realip_module	enable ngx_http_realip_module 启用ngx_http_realip_module （该模块可以从客户端请求里的header信息（如X-Real-IP或者X-Forwared-For）中获取真正的客户端IP地址）
–with-http_addition_module	enable ngx_http_addition_module 启用http addition module。该模块可以再返回客户端的HTTP包体头部或者尾部增加内容
–with-http_xslt_module	enable ngx_http_xslt_module 启用http xslt module。这个模块可以使XML格式的数据在发给客户端前加入XSL渲染，此模块依赖于libxml2和libxslt库。
–with-http_image_filter_module	enable ngx_http_image_filter_module 启用http image filter module。此模块将符合配置的图片实时压缩为指定大小（width*height）的缩略图再发送给用户，目前支持JPEG、PNG、GIF格式。此模块依赖于开源的libgd库。
–with-http_geoip_module	enable ngx_http_geoip_module 启用http geoip module。该模块可以依据MaxMind GeoIP的IP地址数据库对客户端的IP地址得到实际的地理位置信息。
–with-http_sub_module	enable ngx_http_sub_module 启用http sub module。该模块可以在Nginx返回客户端的HTTP响应包中将指定的字符串替换为自己需要的字符串。例如，在HTML的返回中，`将替换为`
–with-http_dav_module	enable ngx_http_dav_module 启用http dav module。这个模块可以让Nginx支持Webdav标准，如支持Webdav协议中的PUT、DELETE、COPY、MOVE、MKCOL等请求
–with-http_flv_module	enable ngx_http_flv_module 启用http flv module。这个模块可以在向客户端返回响应时，对FLV格式的视频文件在header头做一些处理，使得客户端可以观看、拖动FLV视频
–with-http_gzip_static_module	enable ngx_http_gzip_static_module 启用http gzip static module。如果采用gzip模块把一些文档进行gzip格式压缩后再返回给客户端，那么对同一个文件每次都会重新压缩，这是比较消耗服务器CPU资源的。gzip static模块可以在做gzip压缩前，先查看相同位置是否有已经做过gzip压缩的.gz文件，如果有就直接返回。这样就可以预先在服务器上做好文档的压缩，给CPU减负。
–with-http_auth_request_module	enable ngx_http_auth_request_module 启用http auth request module。这个是nginx的一个验证模块，这个模块允许您的nginx通过发送请求到后端服务器（一般是应用服务器，例如tomcat，或者php等）进行请求，并且根据请求决定是验证通过或者不通过。
–with-http_random_index_module	enable ngx_http_random_index_module 启用http random index module。该模块在客户端访问某个目录时，随机返回该目录下的任意文件。
–with-http_secure_link_module	enable ngx_http_secure_link_module 启用http secure link module。该模块提供一种验证请求是否有效的机制。例如，它会验证URL中需要加入的token参数是否属于特定客户端发来的，以及检查时间戳是否过期。
–with-http_degradation_module	enable ngx_http_degradation_module 启用http degradation module。该模块针对一些特殊的系统调用（如sbrk）做一些优化，如直接返回HTTP响应码为204或444，目前不支持Linux系统。
–with-http_stub_status_module	enable ngx_http_stub_status_module 启用http stub status module。该模块可以让运行中的Nginx提供性能统计页面，获取相关的并发连接、请求的信息。

–without-http_charset_module	disable ngx_http_charset_module 禁用http charset module。这个模块可以将服务器发出的HTTP响应重编码。
–without-http_gzip_module	disable ngx_http_gzip_module 禁用http gzip module。在服务器发出的HTTP响应包中，这个模块可以按照配置文件指定的content-type对特定大小的HTTP响应包体执行gzip压缩。
–without-http_ssi_module	disable ngx_http_ssi_module 禁用http ssi module。该模块可以在向用户返回的HTTP响应包体中加入特定的内容，如HTML文件中固定的页头和页尾。
–without-http_userid_module	disable ngx_http_userid_module 禁用http userid module。该模块可以通过HTTP请求头部信息里的一些字段认证用户信息，以确定请求是否合法。
–without-http_access_module	disable ngx_http_access_module 禁用http access module。该模块可以根据IP地址限制能够访问服务器的客户端。
–without-http_auth_basic_module	disable ngx_http_auth_basic_module 禁用http auth basic module。该模块可以提供最简单的用户名/密码认证。
–without-http_autoindex_module	disable ngx_http_autoindex_module 禁用http autoindex module。该模块提供简单的目录浏览功能。
–without-http_geo_module	disable ngx_http_geo_module 禁用http geo module。该模块可以定义一些变量，这些变量的值将与客户端IP地址关联，这样Nginx针对不同的地区的客户端（根据IP地址判断）返回不一样的结果，例如不同地区显示不同语言的网页。
–without-http_map_module	disable ngx_http_map_module 禁用http map module。该模块可以建立一个key/value映射表，不同的key得到相应的value，这样可以针对不同的URL做特殊处理。例如，返回302重定向响应时，可以期望URL不同时返回的Location字段也不一样。
–without-http_split_clients_module	disable ngx_http_split_clients_module 禁用http split clients module。该模块会根据客户端的信息，例如IP地址、header头、cookie等，来区分处理。
–without-http_referer_module	disable ngx_http_referer_module 禁用http referer module。该模块可以根据请求中的refer字段来拒绝请求。
–without-http_rewrite_module	disable ngx_http_rewrite_module 禁用http rewrite module。该模块提供HTTP请求在Nginx服务内部的重定向功能，依赖PCRE库。
–without-http_proxy_module	disable ngx_http_proxy_module 禁用http proxy module。该模块提供基本的HTTP反向代理功能。
–without-http_fastcgi_module	disable ngx_http_fastcgi_module 禁用http fastcgi module。该模块提供FastCGI功能。
–without-http_uwsgi_module	disable ngx_http_uwsgi_module 禁用http uwsgi module 该模块提供uWSGI功能。uWSGI是一个Web服务器，它实现了WSGI协议、uwsgi、http等协议。
–without-http_scgi_module	disable ngx_http_scgi_module 禁用http scgi module 该模块提供SCGI功能。SCGI(Simple Common Gateway Interface),简单通用网关接口。是CGI的替代协议，与FastCGI相似，但更简单。
–without-http_memcached_module	disable ngx_http_memcached_module 禁用http memcached module。该模块可以使得Nginx直接由上游的memcached服务读取数据，并简单地适配成HTTP响应返回给客户端。
–without-http_limit_conn_module	disable ngx_http_limit_conn_module 禁用http limit conn module。该模块针对某个IP地址限制并发连接数。
–without-http_limit_req_module	disable ngx_http_limit_req_module 禁用http limit req module。该模块针对某个IP地址限制并发请求数。
–without-http_empty_gif_module	disable ngx_http_empty_gif_module 禁用http empty gif module。该模块可以使得Nginx在收到无效请求时，立刻返回内存中的1×1像素的GIF图片。这种好处在于，对于明显的无效请求不会去试图浪费服务器资源。
–without-http_browser_module	disable ngx_http_browser_module 禁用http browser module。该模块会根据HTTP请求中的user-agent字段（该字段通常由浏览器填写）来识别浏览器。
–without-http_upstream_ip_hash_module	disable ngx_http_upstream_ip_hash_module 禁用http upstream ip hash module。该模块提供当Nginx与后端server建立连接时，会根据IP做散列运算来决定与后端哪台server通信，这样可以实现负载均衡。
–without-http_upstream_least_conn_module	disable ngx_http_upstream_least_conn_module 禁用http upstream least conn module。该模块提供当Nginx与后端server建立连接时，会通过最少连接负载均衡算法来决定与后端哪台server通信，简单来说就是每次选择的都是当前最少连接的一个server(这个最少连接不是全局的，是每个进程都有自己的一个统计列表)。
–without-http_upstream_keepalive_module	disable ngx_http_upstream_keepalive_module 禁用http upstream keepalive module。这是一个用于nginx的实现缓存的后端连接的keepalive平衡器模块。

–with-http_perl_module	enable ngx_http_perl_module
–with-perl_modules_path=PATH	set path to the perl modules 设置perl module的路径，只有使用了第三方的perl module，才需要配置这个路径。
–with-perl=PATH	set path to the perl binary 设置perl binary的路径。如果配置的Nginx会执行Perl脚本，那么就必须设置此路径。

–http-log-path=PATH	set path to the http access log 设置access日志存放路径。
–http-client-body-temp-path=PATH	set path to the http client request body temporary files 处理HTTP请求时如果请求的包体需要暂时存放到临时磁盘文件中，则把这样的临时文件存放到该路径下。
–http-proxy-temp-path=PATH	set path to the http proxy temporary files Nginx作为HTTP反向代理服务器时，上游服务器产生的HTTP包体在需要临时存放到磁盘文件时，这样的临时文件将存放到该路径下。
–http-fastcgi-temp-path=PATH	set path to the http fastcgi temporary files 设置Fastcgi所使用临时文件的存放路径。
–http-uwsgi-temp-path=PATH	set path to the http uwsgi temporary files 设置uWSGI所使用临时文件的存放路径。
–http-scgi-temp-path=PATH	set path to the http scgi temporary files 设置SCGI所使用临时文件的存放路径。

–without-http	disable HTTP server 禁用HTTP服务器。
–without-http-cache	disable HTTP cache 禁用HTTP服务器里的缓存Cache特性。

–with-mail	enable POP3/IMAP4/SMTP proxy module 安装邮件服务器反向代理模块，使Nginx可以反向代理IMAP、POP3、SMTP等协议，该模块默认不安装。
–with-mail_ssl_module	enable ngx_mail_ssl_module 安装mail ssl module。该模块可以使IMAP、POP3、SMTP等协议基于SSL/TLS协议之上使用。该模块默认不安装并依赖于OpenSSL库。
–without-mail_pop3_module	disable ngx_mail_pop3_module 不安装mail pop3 module。在使用–with-mail参数后，pop3 module是默认安装的，以使Nginx支持POP3协议。
–without-mail_imap_module	disable ngx_mail_imap_module 不安装mail imap module。在使用–with-mail参数后，imap module是默认安装的，以使Nginx支持IMAP协议。
–without-mail_smtp_module	disable ngx_mail_smtp_module 不安装smtp pop3 module。在使用–with-mail参数后，smtp module是默认安装的，以使Nginx支持SMTP协议。

–with-google_perftools_module	enable ngx_google_perftools_module 启用google perftools module。该模块提供Google的性能测试工具。
–with-cpp_test_module	enable ngx_cpp_test_module 启用cpp测试模块

–add-module=PATH	enable an external module 当在Nginx里加入第三方模块时，通过这个参数指定第三方模块的路径。

–with-cc=PATH	set path to C compiler 设置C编译器的路径
–with-cpp=PATH	set path to C preprocessor 设置C预编译器的路径
–with-cc-opt=OPTIONS	set additional options for C compiler 如果希望在Nginx编译期间指定加入一些编译选项，如指定宏或者使用-I加入某些需要包含的目录，这时可以使用该参数达成目的
–with-ld-opt=OPTIONS	set additional options for linker 最终的二进制可执行文件是由编译后生成的目标文件与一些第三方库链接生成的，在执行链接操作时可能会需要指定链接参数，–with-ld-opt就是用于加入链接时的参数。例如，如果我们希望将某个库链接到Nginx程序中，需要在这里加入–with-ld-opt=libraryName -LibraryPath，其中libraryName是目标库的名称，LibraryPath则是目标库所在的路径
–with-cpu-opt=CPU	build for specified CPU, the valid values: pentium, pentiumpro, pentium3, pentium4, athlon, opteron, sparc32, sparc64, ppc64 指定CPU处理器架构，只能从以下取值中选择：pentium, pentiumpro, pentium3, pentium4, athlon, opteron, sparc32, sparc64, ppc64

–with-make=PATH	specify the default make utility to be used 指定要使用的默认make实用程序

–without-pcre	disable PCRE library usage 如果确认Nginx不用解析正则表达式，也就是说，nginx.conf配置文件中不会出现正则表达式，那么可以使用这个参数
–with-pcre	force PCRE library usage 强制使用PCRE库
–with-pcre=DIR	set path to PCRE library sources 指定PCRE库的源码位置，在编译时会进入该目录编译PCRE源码
–with-pcre-opt=OPTIONS	set additional make options for PCRE 编译PCRE源码时希望加入的编译选项
–with-pcre-conf-opt=OPTIONS	set additional configure options for PCRE 设置PCRE的其他配置选项
–with-pcre-jit	build PCRE with JIT compilation support 使用JIT编译支持构建PCRE

–with-md5=DIR	set path to md5 library sources 指定MD5库的源码位置，在编译Nginx时会进入该目录编译MD5源码。注意：Nginx源码中已经有了MD5算法的实现，如果没有特殊需求，那么完全可以使用Nginx自身实现的MD5算法
–with-md5-opt=OPTIONS	set additional options for md5 building 编译MD5源码时希望加入的编译选项
–with-md5-asm	use md5 assembler sources 使用MD5的汇编源码

–with-sha1=DIR	set path to sha1 library sources 指定SHA1库的源码位置，在编译Nginx时会进入该目录编译SHA1源码。注意：OpenSSL中已经有了SHA1算法的实现，如果已经安装了OpenSSL，那么完全可以使用OpenSSL实现的SHA1算法
–with-sha1-opt=OPTIONS	set additional options for sha1 building 编译SHA1源码时希望加入的编译选项
–with-sha1-asm	use sha1 assembler sources 使用SHA1的汇编源码

–with-zlib=DIR	set path to zlib library sources 指定zlib库的源码位置，在编译Nginx时会进入该目录编译zlib源码。如果使用了gzip压缩功能，就需要zlib库的支持
–with-zlib-opt=OPTIONS	set additional options for zlib building 编译zlib源码时希望加入的编译选项
–with-zlib-asm=CPU	use zlib assembler sources optimized for specified CPU, the valid values:pentium, pentiumpro 指定对特定的CPU使用zlib库的汇编优化功能，目前仅支持两种架构：pentium和pentiumpro

–with-libatomic	force libatomic_ops library usage 强制使用atomic库。atomic库是CPU架构独立的一种原子操作的实现。它支持以下体系架构：x86（包括i386和x86_64）、PPC64、Sparc64（v9或更高版本）或者安装了GCC4.1.0及更高版本的架构。
–with-libatomic=DIR	set path to libatomic_ops library sources atomic库所在的位置

–with-openssl=DIR	set path to OpenSSL library sources 指定OpenSSL库的源码位置，在编译Nginx时会进入该目录编译OpenSSL源码。注意：如果Web服务器支持HTTPS，也就是SSL协议，Nginx要求必须使用OpenSSL。可以访问http://www.openssl.org/免费下载
–with-openssl-opt=OPTIONS	set additional options for OpenSSL building 编译OpenSSL源码时希望加入的编译选项

–dry-run	dry running the configure, for testing only 仅测试配置
–platform=PLATFORM	forcibly specify a platform name, for testing only 强制指定平台名称，仅用于测试

Centos环境搭建shadowsocks科学上网

2016-10-11T16:00:00.000Z

前言：作为一名IT技术狗，在日常工作学习中，难免会经常使用搜索引擎来搜索技术问题，而众所周知的是百度在技术搜索上就是个笑话，想要快速找到答案还是得靠Google，但是因为某些不可描述的原因，在国内想通过正规途径来访问Google完全是不可能的。
那么问题来了，如何通过一些技术小手段来正常访问Google呢？一般来说，常见的方法是通过国外线路的VPN来访问，然而这种情况下有一些使用上的不便。比如说：很多时候在解决问题的时候我们会有这样的需求，一边使用VPN线路通过Google来搜索技术问题同时还需要通过QQ等即时通信软件与同事朋友交流沟通，此时因为我们通过VPN线路来上网，那么就会出现QQ异地登录警告，严重时腾讯会直接将QQ冻结。所以，对于日常工作来说，我认为VPN太重，我们需要一个轻量级的工具仅需能够代理浏览器的请求即可，那么这时shadowsocks就是最好的选择了。

1.安装python-pip

Pip是安装Python包的工具，提供了安装、列举已安装包、升级以及卸载包的功能。Pip 是对easy_install的取代，提供了和easy_install相同的查找包的功能，因此可以使用easy_install安装的包也同样可以使用pip进行安装。
目前有很多Python程序都是可以直接通过Pip来一键安装了，比如众所周知的Django、Markdown、Shadowsocks等。

1	# yum install -y python-pip

2.通过pip安装shadowsocks

# pip install shadowsocks
/usr/lib/python2.6/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:90: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
  InsecurePlatformWarning
You are using pip version 7.1.0, however version 8.1.2 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
Collecting shadowsocks
/usr/lib/python2.6/site-packages/pip/_vendor/requests/packages/urllib3/util/ssl_.py:90: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
  InsecurePlatformWarning
  Downloading shadowsocks-2.8.2.tar.gz
Installing collected packages: shadowsocks
  Running setup.py install for shadowsocks
Successfully installed shadowsocks-2.8.2

3.创建shadowsocks配置文件

shadowsocks安装完成后默认是没有配置文件的，这时候就需要我们自己来创建配置文件，配置文件为json格式，很简单。

# vim /etc/shadowsocks.json

{
    "server":"your_server_ip",
    "server_port":8989,
    "local_address": "127.0.0.1",   #这一行可不写
    "local_port":1080,
    "password":"yourpassword",
    "timeout":600,
    "method":"aes-256-cfb",
    "fast_open": false,     #这一行可不写
    "workers": 1    #这一行可不写
}

配置文件各字段含义：
各字段的含义：
server：服务器 IP (IPv4/IPv6)，注意这也将是服务端监听的 IP 地址
server_port：监听的服务器端口
local_address：本地监听的 IP 地址
local_port：本地端端口
password：用来加密的密码
timeout：超时时间（秒）
method：加密方法，可选择 “bf-cfb”, “aes-256-cfb”, “des-cfb”, “rc4”, 等等。默认是一种不安全的加密，推荐用 “aes-256-cfb”
fast_open : true 或 false。如果你的服务器 Linux 内核在3.7+，可以开启 fast_open 以降低延迟。开启方法：

1	# echo 3 > /proc/sys/net/ipv4/tcp_fastopen

开启之后，将 fast_open 的配置设置为 true 即可。
works : works数量，默认为 1
这一段参考：https://teddysun.com/339.html

4.服务器端启动shadowsocks

在服务器端启动shadowsocks有很多方法，此处我们使用的是指定配置文件启动。

1	# ssserver -c /etc/shadowsocks.json

但这种启动方式将一直启动在当前会话，所以，我们要将其放入后台启动，同时还可以指定记录日志。

1	# nohup ssserver -c /etc/shadowsocks.json 2> /var/log/shaowsocks.log &

将启动命令写入/etc/rc.local设置为开机启动

1	echo "nohup ssserver -c /etc/shadowsocks.json 2> /var/log/shaowsocks.log &" >> /etc/rc.local

查看端口是否监听，判断服务是否正常启动

# netstat -nultp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 0.0.0.0:8989                0.0.0.0:*                   LISTEN      31593/python

如果端口没有监听，那么一定是启动过程中出错了，直接根据报错提示排错，我在配置过程中也出了一次错误。

# ssserver -c /etc/shadowsocks.json
INFO: loading config from /etc/shadowsocks.json
/usr/lib/python2.6/site-packages/shadowsocks/shell.py:154: DeprecationWarning: BaseException.message has been deprecated as of Python 2.6
  e.message)
ERROR: found an error in config.json: Expecting property name: line 9 column 1 (char 189)

其实这个错误提示很明显，配置文件第9行出错，检查了下shadowsocks.json发现，第9行多写了一个”,”

5.添加防火墙规则

1	# iptables -I INPUT -p tcp --dport 8489 -j ACCEPT

至此，服务器端的 Shadowsocks 安装和配置完毕。

6.shadowsocks客户端配置

shadowsocks客户端配置非常简单，自行百度即可。

MySQL 5.6单机多实例配置

2016-09-27T16:00:00.000Z

前言：因为所在公司是小公司，经费有限，所以线下测试服务器数量不足。一直以来，开发与测试都是公用一套MySQL环境，然而由于开发与数据对于MySQL数据的需求不完全一致，导致日常工作中经常出现数据干扰，影响工作。因此，为了提高工作效率，决定将开发与测试的MySQL环境分离，然而当前手上只有一台服务器，条件有限，所以只能部署MySQL单机多实例。
MySQL服务器环境：Centos 7.1 + MySQL 5.6.24

1	# mkdir -p /data/mysql /data/mysql2

初始化数据库

1 2	# scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/data/mysql --user=mysql # scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/data/mysql2 --user=mysql

生成MySQL多实例配置文件

1 2	# mysqld_multi --example > /data/multi.cnf # chown mysql.mysql multi.cnf

此处，我们采用的MySQL的官方解决方案mysqld_multi来实现。

配置MySQL多实例配置文件

# vim multi.cnf

[mysqld_multi]
mysqld     = /usr/local/mysql/bin/mysqld_safe
mysqladmin = /usr/local/mysql/bin/mysqladmin
user       = multi_admin
password   = password
#这个用户应该有关机权限，然后没有其他的权限。建议创建一个通用的multi_admin用户控制其它的MySQL用户，例如
#GRANT SHUTDOWN ON *.* TO multi_admin@localhost IDENTIFIED BY 'password'

[mysqld1]
character_set_server =utf8
socket     = /tmp/mysql.sock1
port       = 3306
pid-file   = /data/mysql/hostname.pid1
datadir    = /data/mysql
log-error = /data/mysql/log/mysql_run.err
#language   = /usr/local/mysql/share/mysql/english
#user       = mysql

slow_query_log=1
long_query_time=2
max_connections = 3000
log_bin_trust_function_creators=1


[mysqld2]
character_set_server =utf8
socket     = /tmp/mysql.sock2
port       = 3307
pid-file   = /data/mysql2/hostname.pid2
datadir    = /data/mysql2
log-error = /data/mysql2/log/mysql_run.err
#language   = /usr/local/mysql/share/mysql/english
#user       = mysql

slow_query_log=1
long_query_time=2
max_connections = 3000
#log_bin_trust_function_creators=1

启动、关闭MySQL数据库多实例

# mysqld_multi --defaults-file=/data/multi.cnf start 1,2
启动时需指定multi.cnf配置文件。

如果只需要启动实例mysqld1，仅需
# mysqld_multi --defaults-file=/data/multi.cnf start 1

关闭多个实例
# /usr/local/mysql/bin/mysqld_multi --defaults-extra-file=/data/multi.cnf --user=mysql_admin --password=password stop 1,2

关闭单个实例
# /usr/local/mysql/bin/mysqld_multi --defaults-extra-file=/data/multi.cnf --user=mysql_admin --password=password stop 1

配置管理脚本

为了管理方便，写一个简单的管理脚本。

# vim /etc/init.d/mysql_multi

#!/bin/bash
#
basedir=/usr/local/mysql
bindir=/usr/local/mysql/bin
conf=/data/multi.cnf
user=multi_admin
password=password

export PATH=$bindir:/$PATH
if test -x $bindir/mysqld_multi
then
  mysqld_multi="$bindir/mysqld_multi";
else
  echo "Can't execute $bindir/mysqld_multi from dir $basedir";
  exit;
fi
case "$1" in
    'start' )
        "$mysqld_multi" --defaults-extra-file=$conf --user=$user --password=$password start $2
        ;;
    'stop' )
        "$mysqld_multi" --defaults-extra-file=$conf --user=$user --password=$password stop $2
        ;;
    'report' )
        "$mysqld_multi" --defaults-extra-file=$conf --user=$user --password=$password report $2
        ;;
    'restart' )
        "$mysqld_multi" --defaults-extra-file=$conf --user=$user --password=$password stop $2
        "$mysqld_multi" --defaults-extra-file=$conf --user=$user --password=$password start $2
        ;;
    *)
        echo "Usage: $0 {start|stop|report|restart}" >&2
        ;;
esac

多实例MySQL登录

因为我们配置了多实例，在配置文件中指定了不同的sock文件，因此在服务器本地登录MySQL时需要指定sock文件。

1 2	# mysql -uroot -p -S /tmp/mysql.sock1 # mysql -uroot -p -S /tmp/mysql.sock2

MySQL 5.7源码编译安装几处变化

2016-09-26T16:00:00.000Z

前言：因为之前blog一直放在朋友的vps上，一来管理不便，二来也麻烦人。于是，花了点小钱在XX主机买了一个香港VPS，然后就准备开始部署blog环境。部署MySQL的时候，想尝尝鲜，就下载了最新的MySQL5.7.15源码编译安装，在编译安装的过程中踩了不少坑。究其主要原因，还是因为MySQL5.7相对于前面的版本做了一些小改动，在编译安装的过程中有一些变化，在此就将我遇到的坑整理出来与大家分享分享。

CMAKE版本
在MySQL的源码编译安装过程中需要使用cmake来安装，而在MySQL5.7的编译安装过程中要求cmake版本最低为2.8，如果版本低于2.8则需要升级cmake版本。

查询版本命令：

1
2
3

# cmake --version
cmake version 3.6.2
CMake suite maintained and supported by Kitware (kitware.com/cmake)

升级cmake有两种方法，可以直接使用yum工具来升级，也可以直接去cmake官网下载源码包然后编译安装。目前常见yum源中的cmake版本都在2.8.X，这里就不细说了，简单说下如何编译安装cmake。

# wget https://cmake.org/files/v3.6/cmake-3.6.2.tar.gz
# tar zxvf cmake-3.6.2.tar.gz
# cd cmake-3.6.2
# ./bootstrap
# make && make install
# cmake --version
cmake version 3.6.2

如果上述编译安装过程中报错，先检查是否安装gcc库。

Boost库支持
MySQL5.7的编译安装过程需要boost类库支持，可以直接在CMAKE编译参数中指定下载，也可以下载到指定目录，然后在CMAKE编译参数中指定boost位置。

CMAKE编译参数中指定下载

1
2
3

# cmake ............
    -DDOWNLOAD_BOOST=1\    #指定是否下载boost
    -DWITH_BOOST=/usr/local/boost  #指定boost位置

不过依据我多次编译MySQL5.7的经验，在CMAKE编译参数中指定下载boost会因为网络原因出现错误，最好还是直接下载到服务器，然后编译安装时指定目录。

直接下载boost到服务器并在编译安装时指定目录

1
2
3

# wget -o /usr/local/boost/boost_1_59_0.tar.gz http://ncu.dl.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz
# cmake ............
    -DWITH_BOOST=/usr/local/boost  #指定boost位置

此处下载完成后无需解压，MySQL在CMAKE编译配置时会自动解压。

MySQL初始化数据库
MySQL5.7跟以前版本的MySQL在编译安装过程中最大的变化还是初始化数据库不再使用scripts/mysql_install_db脚本来实现，而是直接使用bin/mysqld指定–initialize参数来实现。

1	# bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/

MySQL5.7数据库初始密码
在MySQL5.7版本以前，编译安装完成MySQL后，首次登录无需密码，而在MySQL5.7中，在编译安装完成，初始化MySQL数据库时会生成一个随机密码，首次登录需使用随机密码。

# bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/
2016-09-27T08:45:57.023651Z 1 [Note] A temporary password is generated for root@localhost: dh9>qmyaBIZe

修改root密码
# mysqladmin -uroot password 'password' -p'dh9>qmyaBIZe'

大体上，MySQL5.7与以前版本的在编译安装过程中就这几处变化，其他的与之前版本的编译安装过程无异，仅供参考，如有不同意见，欢迎补充。

Lucissfer's

大数据平台CDH安装部署

1. 服务器规划

2. 安装前预配置

2.1 关闭防火墙、SELINUX

2.2 配置CM源

2.3 安装JDK

2.4 修改hosts文件

2.5 配置集群时钟同步

2.6 安装配置MariaDB服务

2.7 安装jdbc驱动

3. 安装Cloudera Manager服务

4. 安装配置CDH

5. 踩过的坑

6. CM服务重启顺序

ESXI虚拟机磁盘在线扩容

1. 创建新分区

2. 添加新LVM分区到已有的LVM组，实现扩容

3. 文件系统扩容

配置rsync+inotify实现文件实时同步

1. 项目背景

2. 安装配置rsync

2.1 安装rsync服务

2.2 编辑rsync配置文件

2.3 编辑rsync用户认证配置文件

2.4 修改配置文件权限

2.5 启动rsync服务

2.6 双向同步配置

3. 安装配置inotify-tools

4. 配置inotify_rsync同步脚本

5. 将同步脚本放到后台启动

6. 将同步脚本加到开机启动

7. rsync+inotifywait部分参数说明

7.1 rsync参数说明

7.2 inotifywait参数说明

7.3 inotifywait events事件说明

pyenv安装配置

1. 安装pyenv

1.1 git拉取pyenv代码

1.2 修改配置文件

1.3 重新载入变量配置

1.4 验证安装

2. 使用pyenv安装多版本Python

2.1 安装依赖包

2.2 pyenv常用命令

2.3 安装过程中遇到的相关问题解决

2.3.1 安装Python过程慢

2.3.2 pip安装库timeout

Centos7安装配置RabbitMQ

1. RabbitMQ介绍

2. 准备所需软件包

3. 编译安装Erlang

3.1 安装依赖环境

3.2 编译安装wxWidgets

3.3 编译安装Erlang

4. 安装配置RabbitMQ

4.1 解压RabbitMQ二进制包并移动到指定目录

4.2 启动RabbitMQ服务

4.3 开启web管理接口

4.4 配置RabbitMQ用户

4.5 RabbitMQ常用命令

4.6 RabbitMQ用户角色

5. 一些踩到的坑

5.1 关于编译环境

5.2 重启服务器后，RabbitMQ用户丢失问题

配置docker使用国内镜像源及镜像加速器

1. 修改docker-ce.repo文件，配置国内镜像站地址

2. 修改/etc/docker/daemon.json文件，配置docker镜像加速器

使用Nginx来配置服务端兼容APP接口多版本

1. APP接口多版本共存的几种实现方式

1.1 URL请求中加入版本信息

1.2 使用不同子域名来区分不同版本的api接口

1.3 URL中加入不同版本路径来区分不同版本的api接口

1.4 在URL提交header中加入版本信息

2. 我们选择的方案

3. Nginx的具体配置

MongoDB副本集分片集群配置

1. 配置前准备工作

准备MongoDB程序文件

为MongoDB配置环境变量