一、Amoeba的简述：[来自百度百科]
Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比，作者强调的是amoeba配置的方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）。
Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符合KISS原则的思想。目前 Amoeba 已在很多 企业的生产线上面使用。
二、Amoeba解决的问题及目前存在的劣势：
1.主要解决的问题：
(1). 数据切分后复杂数据源整合
(2). 提供数据切分规则并降低数据切分规则给数据库带来的影响
(3). 降低数据库与客户端连接
(4). 读写分离路由
2.劣势：
(1).目前还不支持事务
(2).暂时不支持存储过程（近期会支持）
(3).不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（比如一次请求返回10w以上甚至更多数据的场合）
(4).暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致
三、基于 Amoeba 实现mysql数据库读写分离的配置
1.测试环境，amoeba的要求，软件提供，简要原理图：
(1).测试环境：
红帽6.3系统
amoeba服务器地址：192.168.1.104
mysql数据库：192.168.1.102:3306(master -- rw)/192.168.1.100:3306(slave -- r)
注：为了方便测试读写分离，我这里是不配置主从。
(2).amoeba的要求：
Amoeba 是基于 java 开发，所以如果要运行 Amoeba，必须先安装 jdk 以便可以运行
(3).软件下载:[大家可以到 (开源中国)下载]
当前测试环境使用的amoeba软件下载地址：
amoeba参考手册：
amoeba项目代码：
(4).简要原理图：
2.我们这里将amoeba相关软件放在/tmp目录下，这里我们先配置JDK
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | # 解压JDK软件到/usr/local目录下 [root @centos tmp] # tar -xf jdk-7u15-linux-x64.tar.gz -C /usr/local/ # 进入相应目录，并建立java目录 [root @centos tmp] # cd /usr/local/ [root @centos local ] # mkdir java # 将解压出来的内容移到java目录 [root @centos local ] # mv jdk1.7.0_15/* java # 设置java环境变量 [root @centos local ] # echo 'export JAVA_HOME=/usr/local/java' >> ~/.bashrc [root @centos local ] # . ~/.bashrc # 测试jdk是否正确安装 [root @centos local ] # java -version # ******************************* # 以下这个方法设置JDK[在下面设置amoeba时，会覆盖，所以这里的配置文件，以最下面amoeba的配置为准] [root @centos java] # echo $JAVA_HOME [root @centos java] # vim /etc/profile # 在末尾添加 export JAVA_HOME=/usr/locla/java export PATH= $JAVA_HOME /bin: $JAVA_HOME /jre/bin: $PATH [root @centos java] # source /etc/profile # ******************************* |
3.配置amoeba中的dbServer.xml(后端mysql 服务器连接配置)
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 | [root@centos java] # cd /tmp/ # 建立相应amoeba目录 [root@centos tmp] # mkdir /usr/local/amoeba # 将压缩包解压到指定目录 [root@centos tmp] # tar -xf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba [root@centos tmp] # cd /usr/local/amoeba/ [root@centos amoeba] # cd conf/ # 准备修改配置文件 #/* 以下部分为注解 #/* Amoeba总共有7个配置文件，分别如下： #/* Amoeba主配置文件($AMOEBA_HOME/conf/amoeba.xml)，用来配置Amoeba服务的基本参数，如Amoeba主机地址、端口、认证方式、用于连接的用户名、密码、线程数、超时时间、其他配置文件的位置等。 #/* 数据库服务器配置文件($AMOEBA_HOME/conf/dbServers.xml)，用来存储和配置Amoeba所代理的数据库服务器的信息，如:主机IP、端口、用户名、密码等。 #/* 切分规则配置文件($AMOEBA_HOME/conf/rule.xml)，用来配置切分规则。 #/* 数据库函数配置文件($AMOEBA_HOME/conf/functionMap.xml)，用来配置数据库函数的处理方法，Amoeba将使用该配置文件中的方法解析数据库函数。 #/* 切分规则函数配置文件($AMOEBA_HOME/conf/ruleFunctionMap.xml)，用来配置切分规则中使用的用户自定义函数的处理方法。 #/* 访问规则配置文件($AMOEBA_HOME/conf/access_list.conf)，用来授权或禁止某些服务器IP访问Amoeba。 #/* 日志规格配置文件($AMOEBA_HOME/conf/log4j.xml)，用来配置Amoeba输出日志的级别和方式。 # 配置后端mysql 服务器连接[dbServer.xml] [root@centos conf] # vim dbServers.xml .........................(省略) <dbServer name= "abstractServer" abstractive= "true" > <factoryConfig class= "com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory" > <property name= "manager" >${defaultManager}< /property > <property name= "sendBufferSize" >64< /property > <property name= "receiveBufferSize" >128< /property > # 设置 mysql 数据库的端口 <!-- mysql port --> <property name= "port" >3306< /property > # 设置缺省的数据库，当连接amoeba时，操作表必须显式的指定数据库名，即采用dbname.tablename的方式， # 不支持 use dbname指定缺省库，因为操作会调度到各个后端dbserver <!-- mysql schema --> <property name= "schema" >kongzhong< /property > # 设置amoeba连接后端数据库服务器的账号和密码，需在后端数据库器上创建该用户，并授权amoeba连接 <!-- mysql user --> <property name= "user" >kongzhong123< /property > <!-- mysql password --> <property name= "password" >kongzhong123< /property > < /factoryConfig > <poolConfig class= "com.meidusa.amoeba.net.poolable.PoolableObjectPool" > # 最大连接数[默认] <property name= "maxActive" >500< /property > # 最大空闲连接数[默认] <property name= "maxIdle" >500< /property > <property name= "minIdle" >10< /property > <property name= "minEvictableIdleTimeMillis" >600000< /property > <property name= "timeBetweenEvictionRunsMillis" >600000< /property > <property name= "testOnBorrow" > true < /property > <property name= "testOnReturn" > true < /property > <property name= "testWhileIdle" > true < /property > < /poolConfig > < /dbServer > # 设置一个后端的dbServer,名为master ，这个可以随便取，但是为了明确其含义，最好给予特殊含义的单词，这里是主DB SERVER <dbServer name= "master" parent= "abstractServer" > <factoryConfig> # 设置这台DB server 的ip地址 <!-- mysql ip --> <property name= "ipAddress" >192.168.1.102< /property > < /factoryConfig > < /dbServer > # 再设置一台后端mysql数据库，这里叫slave，名字需要唯一[这里可以创建N个后端数据库，只要复制下面<dbServer>...</dbServer>] <dbServer name= "slave" parent= "abstractServer" > <factoryConfig> # 设置这台DB server 的ip地址 <!-- mysql ip --> <property name= "ipAddress" >192.168.1.100< /property > < /factoryConfig > < /dbServer > # 指定一个虚拟的dbServer,将上面定义的dbserver加入这个虚拟的dbserver，相当于组成一个组[这里我们将读的数据库组成一个组] # 这里 需要将 name="mul..." 改成自己想要取的名字，这个名字也需要有含义，后面会用到 <dbServer name= "ReadPool" virtual= "true" > <poolConfig class= "com.meidusa.amoeba.server.MultipleServerPool" > <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA--> # 选择调度算法 1 是轮询 2 是权重 3 是HA 这里选择1 轮询 <property name= "loadbalance" >1< /property > <!-- Separated by commas,such as: server1,server2,server1 --> # 负载均衡,slave1，slave2当成2个服务器进行调度，这模拟量加权的调度算法。 # 注意这里使用的dbserver必须是已经定义了的，可以写多个，如slave1，slave2 <property name= "poolNames" >slave< /property > < /poolConfig > < /dbServer > < /amoeba :dbServers> |
4. 配置 Amoeba 监听端口[amoeba.xml]
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 | [root @centos conf] # vim amoeba.xml .........................(省略) <proxy> <!-- service class must implements com.meidusa.amoeba.service.Service --> <service name= "Amoeba for Mysql" class= "com.meidusa.amoeba.net.ServerableConnectionManager" > <!-- port --> # 设置amoeba监听的端口(这里如果默认，后面测试需要指定端口，就是这里的端口) <property name= "port" >3306</property> <!-- bind ipAddress --> <!-- # 设置监听的接口，如果不设置，则监听所有的IP[选择默认] <property name= "ipAddress" >127.0.0.1</property> --> .........................(省略) <property name= "authenticator" > <bean class= "com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator" > # 提供客户端连接amoeba时需要使用这里设定的账号 (这里的账号密码和amoeba连接后端数据库服务器的密码无关) <property name= "user" >kongzhong</property> # 提供客户端连接amoeba时需要使用这里设定的密码 <property name= "password" >kongzhong</property> <property name= "filter" > <bean class= "com.meidusa.amoeba.server.IPAccessController" > <property name= "ipFile" >${amoeba.home}/conf/access_list.conf</property> </bean> </property> </bean> </property> </service> .........................(省略) <queryRouter class= "com.meidusa.amoeba.mysql.parser.MysqlQueryRouter" > <property name= "ruleLoader" > <bean class= "com.meidusa.amoeba.route.TableRuleFileLoader" > <property name= "ruleFile" >${amoeba.home}/conf/rule.xml</property> <property name= "functionFile" >${amoeba.home}/conf/ruleFunctionMap.xml</property> </bean> </property> <property name= "sqlFunctionFile" >${amoeba.home}/conf/functionMap.xml</property> <property name= "LRUMapSize" >1500</property> <property name= "defaultPool" >master</property> <!-- --> # 把默认注释掉的读写分离选项，把注释去掉并readpool修改成ReadPool(这个名字，我们前面在dbServer.xml里设置一个读数据库组，这里是作为只读池) <property name= "writePool" >master</property> <property name= "readPool" >ReadPool</property> <property name= "needParse" >true</property> </queryRouter> |
5. 配置amoeba及JAVA的环境变量
| 1 2 3 4 5 | [root @centos conf] # vim /etc/profile JAVA_HOME=/usr/locla/java AMOEBA_HOME=/usr/ local /amoeba export PATH= $PATH : $AMOEBA_HOME /bin: $JAVA_HOME /bin: $JAVA_HOME /jre/bin [root @centos conf] # source /etc/profile |
6.启动amoeba测试
| 1 2 3 4 5 6 | # 如果确认能够正常启动，就加>>/dev/null 否则还是看一下提示信息 [root @centos conf] # amoeba start & >>/dev/null # 检测启动情况 [root @centos conf] # netstat -tulnp |grep java # 停止amoeba测试指令是否可用 [root @centos conf] # amoeba stop |
7.在两台数据库做刚才设置中的相应操作
(1).在主DB server上操作
| 1 2 3 4 5 6 7 8 9 10 | # 建立配置文件指定的数据库 mysql> create database kongzhong; mysql> use kongzhong # 创建用于测试的表 mysql> create table t1(name varchar(10)); # 插入测试数据 mysql> insert into t1 values ( '102' ); # 授予amoeba用户连接数据库的权限 mysql> grant all privileges on kongzhong.* to 'kongzhong123' @ '192.168.1.104' identified by 'kongzhong123' ; mysql> flush privileges; |
(2).在从DB server上操作
| 1 2 3 4 5 6 7 8 9 10 | # 建立配置文件指定的数据库 mysql> create database kongzhong; mysql> use kongzhong # 创建用于测试的表 mysql> create table t1(name varchar(10)); # 插入测试数据 mysql> insert into t1 values ( '100' ); # 授予amoeba用户连接数据库的权限 mysql> grant all privileges on kongzhong.* to 'kongzhong123' @ '192.168.1.104' identified by 'kongzhong123' ; mysql> flush privileges; |
8.在任何一台机器上登陆测试，这里的ip地址指向amoeba所在服务器的ip地址
| 1 2 3 4 | # 登陆相应数据库，查询当前所在数据库(相应大家都应该懂的，就不详细演示了) [root @client102 ~] # mysql -ukongzhong -p -h192.168.1.104 [root @client100 ~] # mysql -ukongzhong -p -h192.168.1.104 [root @client104 ~] # mysql -ukongzhong -p -h192.168.1.104 |
9.遇到的问题
(1).报错1：
| 1 2 3 4 5 6 7 8 9 10 11 | The stack size specified is too small, Specify at least 160k Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program will exit . 解决方法： [root @centos bin] # cd /usr/local/amoeba/ # 修改配置文件 [root @centos amoeba] # vim bin/amoeba 将下面这行 DEFAULT_OPTS= "-server -Xms1024m -Xmx1024m -Xss128k" 修改为： DEFAULT_OPTS= "-server -Xms256m -Xmx256m -Xss256k" |
(2).报错2：
| 1 2 3 4 | Error: JAVA_HOME environment variable is not set. 解决方法： [root @centos local ] # echo 'export JAVA_HOME=/usr/local/java' >> ~/.bashrc [root @centos local ] # . ~/.bashrc |
10.需要注意的问题，思路延伸
(1).取消日志生成，不然磁盘容易爆满
| 1 2 3 4 5 | [root @centos conf] # vim log4j.xml [此文件在amoeba目录下的conf目录下] 修改log4j.xml 取消日志文件生成（太大了，磁盘很容易满） <param name= "file" value= "${amoeba.home}/logs/project.log" /> 改成 <param name= "file" value= "<![CDATA[${amoeba.home}/logs/project.log>/dev/null]]>" /> |
(2).性能优化
| 1 2 3 4 | [root @centos amoeba] # vim bin/amoeba DEFAULT_OPTS= "-server -Xms256m -Xmx256m -Xss128k" 改成 DEFAULT_OPTS= "-server -Xms512m -Xmx512m -Xmn100m -Xss1204k" |