tomcat一步步实现反向代理、负载均衡、内存复制-白红宇

tomcat一步步实现反向代理、负载均衡、内存复制

阅读量：5824 次

发布时间：2019-06-18

本文共 12924 字，大约阅读时间需要 43 分钟。

基本的功能吧。

实验环境：rhel 5.8,SElinux已经关闭

一.构建一个基本的Tomcat服务器

不需要额外服务器配合，自己可以直接响应请求。

规划:

172.16.1.22 .cat.laoguang.me

1.1 下载安装jdk

下载地址: 选择适合你的平台

rpm -ivh jdk-7u9-linux-i586.rpm ##默认安装在/usr/java中

1.2 声明JAVA_HOME变量，并为了使用方便将生成的命令加入PATH中

vi /etc/profile.d/java.sh

JAVA_HOME=/usr/java/latest

PATH=$PATH:/usr/java/lastest/bin

export JAVA_HOME PATH

source /etc/profile.d/java.sh ##加载刚才的配置

java -version ##显示版本号代表成功

1.3 下载安装tomcat

下载地址:

tar xvf apache-tomcat-7.0.33.tar.gz -C /usr/local/

cd /usr/local/

ln -sv apache-tomcat-7.0.33/ tomcat ##创建软链接

1.4 声明CATALINA_HOME环境变量，为方便使用生成的命令加入到PATH中

vi /etc/profile.d/tomcat.sh

CATALINA_HOME=/usr/local/tomcat/

PATH=$PATH:/usr/local/tomcat/bin

export CATALINA_HOME PATH

source /etc/profile.d/tomcat.sh ##加载刚才配置

测试是否生效

catalina.sh version ##如果显示版本号则成功

1.5 查看tomcat的下的文件与目录

lib ##类库

logs ##日志

配置文件最需要注意的有:

server.xml ##tomcat 主配置文件

tomcat-users.xml ##认证文件,过会会讲到

web.xml ##每个站点部署都需用到web.xml，如果站点有用站点的，没有则用这个默认的

1.6 查看示例站点下的文件与目录

cd /usr/local/tomcat

ls webapps/examples/

index.html jsp servlets WEB-INF websocket

其它是自定义的，唯有WEB-INF是私有资源的目录，部署时用到的目录，通常是不允许他人访问的，查看下面的目录文件

ls webapps/examples/WEB-INF/

classes jsp jsp2 lib tags web.xml

需要请注意的有:

classes ##包含所有服务器端类及当前应用程序相关的其它第三方类等

lib ##包含JSP所用到的JAR文件；

web.xml ##包含当前webapp的deploy描述符，定义时部署时用到的私有资源

1.7 启动comcat，查看默认站点

catalina.sh configtest ##配置文件检测有没有语法错误

catalina.sh start ##启动

1.8 访问测试,默认监听的是8080，这个是在server.xml中定义的

http://172.16.1.22:8080/

如果能看到那只公猫，就成功了

1.9 添加认证用户，使用页面中的Server Status ,Manager Apps与Host Manager这些管理工具

vi /usr/local/tomcat/conf/tomcat-users.xml 添加如下

<rolerolename="manager-gui"/> ##这个组是tomcat规定可以访问manager的组

<rolerolename="admin-gui"/> ##这个是访问Host Manager的组

<userusername="tomcat"password="tomcat"roles="manager-gui,admin-gui"/> ##你懂得

点击Server Status ,Manager Apps与Host Manager 输入账号tomcat密码tomcat查看后台的管理信息，具体表示找google吧，其中Manager中有个session,这个里面存的是个个站点的session id,一会儿讲session复制内容会用到。

二.自定义一个主机,如www.laoguang.me

2.1 建立一目录，用来存放文档

mkdir -pv /web/apps/WEB-INF

2.2 建立一个测试页面

vi /web/apps/index.jsp

<%@ page language="java" %>

<%@ page import="java.util.*" %>

<html>

<head>

<title>JSP test page.</title>

</head>

<body>

<% out.println("Hello,world!"); %>

</body>

</html>

2.3 编辑tomcat的配置文件 /usr/local/tomcat/conf/server.xml 定义虚拟主机，在默认Host上添加如下(不要添加到另外的host中哦)

<Hostname="www.laoguang.me"appBase="/web/apps"

unpackWARs="true"autoDeploy="true">

<Contextpath=""docBase="/web/apps"reloadable="true"/>

</Host>

2.4 下面简单说说server.xml中一些标签的意思，注意:server.xml区分大小写的

<Serverport="8005"shutdown="SHUTDOWN"> ##最大的容器server,端口号8005可用来管理Server

<Servicename="Catalina"> ##service开始定义，名字Catalina

<Connectorport="8080"protocol="HTTP/1.1"/> ##http连接器，看到了吧端口号8080

<Connectorport="8009"protocol="AJP/1.3"redirectPort="8443"/> ##ajp连接器，端口号8009

<Enginename="Catalina"defaultHost="localhost"> ##定义引擎，与默认主机

<RealmclassName="org.apache.catalina.realm.LockOutRealm"> ##关于认证的类

<Hostname=""appBase=""unpackWARs=""autoDeploy=""></Host>

##定义一个主机appBase主机的目录，相当于apache的DocumentRoot，upackWARs自动解压WAR包，autoDeploy自动部署

<Contextpath=""docBase=""/>

##Context 上下文，相当于apache的Aliase,path=""后面跟的是URI，docBase访问path的URI即访问的目录

<ValveclassName="org.apache.catalina.valves.AccessLogValve"/> ##过滤器

2.5 测试

catalina.sh stop ##先关闭catalina

catalina.sh configtest ##查看有没有语法错误

catalina.sh start ##启动tomcat会自动部署

更改window的hosts文件,添加解析

172.16.1.22 www.laoguang.me

访问www.laoguang.me:8080测试，如果显示hello world！就成功了

三.部署JspRun测试

或许一个简单的测试页面不能满足你的胃口，那我们部署个论坛吧

3.1 下载安装 JspRun

下载地址：

unzip JspRun\!_6.0.0_GBK.zip

mv upload/ /web/jsprun

3.2 编辑/usr/local/tomcat/conf/tomcat-users.xml 再添加一虚拟主机

<Hostname="jsprun.laoguang.me"appBase="/web/jsprun"

unpackWARs="true"autoDeploy="true">

<Contextpath=""docBase="/web/jsprun"/>

</Host>

3.3 编辑windows的hosts，添加解析

172.16.1.22 jsprun.laoguang.me

3.4 安装Mysql，因为该jsprun需要，为了简单yum 安装吧

yum -y install mysql-server

service mysqld start

3.5 为jsprun建立账号

mysql

mysql> create database jsprun;

mysql> grant all on jsprun.* to 'jsprun'@'localhost' identified by 'redhat';

mysql> flush privileges;

3.6 编缉jsprun的配置文件，修改mysql以下信息

dbhost = localhost

dbport=3306

dbuser = jsprun

dbpw = redhat

dbname = jsprun

3.7 访问http://jsprun.laoguang.me:8080/install.jsp 安装

根据提示安装即可

四.apache做前端代理，基于mod_proxy模块与Tomcat连接

4.1 编译安装apache

过程见http://laoguang.blog.51cto.com/6013350/1039208

唯一的区别是在编译时额外加上

--enable-proxy --enable-proxy-http --enable-proxy-ajp

--enable-proxy ##启用代理

--enable-proxy-http ##启用http代理模块

--enable-proxy-ajp ##启用ajp代理模块

4.2 编缉/etc/httpd/httpd.conf

vi /etc/httpd/httpd.conf

LoadModule slotmem_shm_module modules/mod_slotmem_shm.so ##启用该模块

#DocumentRoot "/usr/local/apache/htdocs" ##注释掉，我们启用虚拟主机

Include /etc/httpd/extra/httpd-vhosts.conf ##我们用虚拟主机

4.3 编缉/etc/httpd/extra/httpd-vhosts.conf

<VirtualHost *:80>

ServerName jsprun.laoguang.me

ProxyVia Off ##不让代理在http首部中显示

ProxyRequests Off ##关闭正向代理

ProxyPass / http://jsprun.laoguang.me:8080/ ##访问/则代理到jsprun中

ProxyPa***everse / http://jsprun.laoguang.me:8080/ ##不让tomcat直接响应客端

<Proxy *>

Require all granted

</Proxy>

<Location/>

Require all granted

</Location>

ErrorLog "logs/laoguang-error_log"

CustomLog "logs/laoguang-access_log" common

</VirtualHost>

4.4 修改linux的/etc/hosts为jsprun.laoguang.me解析

vi /etc/hosts

172.16.1.22 jsprun.laoguang.me jsprun

4.5 访问http://jsprun.laoguang.me测试

4.6 基于ajp协议与tomcat连接，与http的基本相同，只修改协议与端口即可，其它的一样

ProxyPass / ajp://jsprun.laoguang.me:8009/

ProxyPa***everse / ajp://jsprun.laoguang.me:8009/

五.apache做前端代理，基于mod_jk模块与Tomcat连接

4.1 编译安装mod_jk模块，下载地址:

tar xvf tomcat-connectors-1.2.37-src.tar.gz

cd tomcat-connectors-1.2.37-src

cd native/

./configure --with-apxs=/usr/local/apache/bin/apxs

make && make install

4.2 apache要使用mod_jk连接器，需要在启动时加载此连接器模块。为了便于管理与mod_jk模块相关的配置，这里使用一个专门的配置文件/etc/httpd/extra/httpd-jk.conf来保存相关指令及其设置。其内容如下：

vi /etc/httpd/extra/httpd-jk.conf

# Load the mod_jk

LoadModule jk_module modules/mod_jk.so

JkWorkersFile /etc/httpd/extra/workers.properties

JkLogFile logs/mod_jk.log

#JkLogLevel debug

JkMount /* laoguang

JkMount /status/ status

4.3 建立mod_jk需要的配置文件

vi /etc/httpd/extra/workers.properties

worker.list=laoguang,status

worker.laoguang.port=8009

worker.laoguang.host=172.16.1.22

worker.laoguang.type=ajp13

worker.laoguang.lbfactor=1

worker.status.type = status

4.4 在/etc/httpd/httpd.conf中把/etc/httpd/extra/httpd-jk.conf 包含进来,并注释掉虚拟主机，与其中的代理会冲突的哦

vi /etc/httpd/httpd.conf

#Include /etc/httpd/extra/httpd-vhosts.conf

Include /etc/httpd/extra/httpd-jk.conf

##重启httpd

service httpd restart

4.5 访问http://jsprun.laoguang.me/测试,能否能看到jsprun

五.基于mod_proxy构建负载均衡

为了实现负载均衡，我们增加一台服务器

172.16.1.21 tom.laoguang.me

5.1 安装jdk与上相同

5.2 安装tomcat与上相同

5.3.1 增加一虚拟主机，并添加engine的jvmRoute

mkdir -pv /web/balance/WEB-INF

vi /usr/local/tomcat/conf/server.xml

<Enginename="Catalina"defaultHost="localhost"jvmRoute="TomcatA"> ##找到Engine添加

<Hostname="balance.laoguang.me"appBase="/web/balance"

unpackWARs="true"autoDeploy="true">

<Contextpath=""docBase="/web/balance"/>

</Host>

5.3.2 添加一测试页面

vi /web/balance/index.jsp

<%@ page language="java" %>

<html>

<head><title>TomcatA</title></head>

<body>

<h1><fontcolor="red">TomcatA </font></h1>

<tablealign="centre"border="1">

<tr>

<td>Session ID</td>

<% session.setAttribute("abc","abc"); %>

<td><%= session.getId() %></td>

</tr>

<tr>

<td>Created on</td>

<td><%= session.getCreationTime() %></td>

</tr>

</table>

</body>

</html>

5.3.2 重启catalina 声明：修改tomcat配置文件后需重启以后不再说明了

catalina stop

catalina start

5.3.2 添加windows的hosts解析

172.16.1.21 balance.laoguang.me

5.3.3 访问http://balance.laoguang.me:8080/ 查看是否成功

5.4.1 同样在原来cat服务器上也增加同样的虚拟主机,方法同上，engine的jvmroute改为TomcatB，为了方便查看修改index.jsp显示的颜色

vi /usr/local/tomcat/conf/server.xml

<Enginename="Catalina"defaultHost="localhost"jvmRoute="TomcatB"> ##找到Engine添加

vi /web/balance/index.jsp

<%@ page language="java" %>

<html>

<head><title>TomcatB</title></head>

<body>

<h1><fontcolor="green">TomcatB </font></h1>

<tablealign="centre"border="1">

<tr>

<td>Session ID</td>

<% session.setAttribute("abc","abc"); %>

<td><%= session.getId() %></td>

</tr>

<tr>

<td>Created on</td>

<td><%= session.getCreationTime() %></td>

</tr>

</table>

</body>

</html>

5.4.2 重启catalina

5.4.3 修改刚添加的windows的hosts测试这个主机

172.16.1.22 balance.laoguang.me

5.4.4 访问http://balance.laoguang.me:8080/测试

5.5.下面来配置前端apache来实现后端负载均衡

apache是在cat上安装的，注意的是基于mod_proxy的负载均衡必须在中心主机中配置

5.5.1 编缉apache配置文件/etc/httpd/httpd.conf

vi /etc/httpd/httpd.conf

#Include /etc/httpd/extra/httpd-jk.conf ##注释掉原来的jk

ServerName balance.laoguang.com:80

#DocumentRoot "/usr/local/apache/htdocs" ##不注释也可以，在下面添加

ProxyRequests Off

<Proxy balancer://lbcluster>

BalancerMember ajp://172.16.1.21:8009 loadfactor=10route=TomcatA

BalancerMember ajp://172.16.1.22:8009 loadfactor=10route=TomcatB

</Proxy>

ProxyPass / balancer://lbcluster/

ProxyPa***everse / balancer://lbcluster/

5.5.2 重启httpd访问http://balance.laoguang.me/测试，如果页面能切换代表ok

5.6 当然也可以用http协议与tomcat连接，更改协议与端口即可

BalancerMember http://172.16.1.21:8080 loadfactor=10route=TomcatA

BalancerMember httpp://172.16.1.22:8080 loadfactor=10route=TomcatB

六.基于mod_jk实现负载均衡

6.1 注释刚才添加的基于proxy_mod的配置,启用已添加的mod_jk配置

#ProxyRequests Off

#<Proxy balancer://lbcluster>

# BalancerMember ajp://172.16.1.21:8009 loadfactor=10route=TomcatA

# BalancerMember ajp://172.16.1.22:8009 loadfactor=10route=TomcatB

#</Proxy>

#ProxyPass / balancer://lbcluster/

#ProxyPa***everse / balancer://lbcluster/

Include /etc/httpd/extra/httpd-jk.conf

6.2 修改 /etc/httpd/extra/httpd-jk.conf

vi /etc/httpd/extra/httpd-jk.conf

# Load the mod_jk

LoadModule jk_module modules/mod_jk.so

JkWorkersFile /etc/httpd/extra/workers.properties

JkLogFile logs/mod_jk.log

#JkLogLevel debug

JkMount /* cluster1

JkMount /status/ status

6.3 修改/etc/httpd/workers.properties

worker.list = cluster1,status

worker.TomcatA.type = ajp13

worker.TomcatA.host = 172.16.1.21

worker.TomcatA.port = 8009

worker.TomcatA.lbfactor = 5

worker.TomcatB.type = ajp13

worker.TomcatB.host = 172.16.1.22

worker.TomcatB.port = 8009

worker.TomcatB.lbfactor = 5

worker.cluster1.type = lb

worker.cluster1.sticky_session = 0 ##如果为1会绑定session

worker.cluster1.balance_workers = TomcatA, TomcatB

worker.status.type = status

6.4 测试访问 http://balance.laoguang.me/

七.构建基于内存session复制的tomcat集群

为了防止由于节点故障导致的session丢失，我们来构建基于内存session复制的集群，在刚才的的负载均衡中你或许已经发现网页显示的session id一直是变动的，这个session id 就是通过jsp获得的此次会话的id，我们发现会话id一直是变动的，TomcatA中一直是TomcatA的session id，下面我们来构建吧。

7.1 修改172.16.1.21的server.xml,在engine下添加如下

vi /usr/local/tomcat/conf/server.xml

<ClusterclassName="org.apache.catalina.ha.tcp.SimpleTcpCluster"

channelSendOptions="8">

<ManagerclassName="org.apache.catalina.ha.session.DeltaManager"

expireSessionsOnShutdown="false"

notifyListenersOnReplication="true"/>

<ChannelclassName="org.apache.catalina.tribes.group.GroupChannel">

<MembershipclassName="org.apache.catalina.tribes.membership.McastService"

address="227.50.10.1"bind="172.16.1.21"port="45564"

frequency="500"dropTime="3000"/>

<ReceiverclassName="org.apache.catalina.tribes.transport.nio.NioReceiver"

address="172.16.1.21"port="4000"autoBind="100"

selectorTimeout="5000"maxThreads="6"/>

<SenderclassName="org.apache.catalina.tribes.transport.ReplicationTransmitter">

<TransportclassName="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>

</Sender>

<InterceptorclassName="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>

<InterceptorclassName="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>

</Channel>

<ValveclassName="org.apache.catalina.ha.tcp.ReplicationValve"

filter=".*\.gif;.*\.js;.*\.jpg;.*\.htm;.*\.html;.*\.txt;"/>

<ValveclassName="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

<DeployerclassName="org.apache.catalina.ha.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"watchEnabled="false"/>

<ClusterListenerclassName="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>

<ClusterListenerclassName="org.apache.catalina.ha.session.ClusterSessionListener"/>

</Cluster>

7.2 修改balance虚拟主机的部署文件web.xml

我们建立的balance时没有建立web.xml，我们继承的是/usr/local/tomcat/conf/web.xml的，我们现在需要修改部署文件，所以拷贝到/web/balance/WEB-INF中修改，在<web-app> </web-app>中添加 <distributable/>，部份如下