使用ATS中的regex_remap插件实现正则匹配的url重定向

要点总结如下:
1.正向和反向代理可以同时并存,并且remap可以兼容这两种模式。
2.在使用regex_map时,是借助remap的配置来设置,而且remap.so和regex_remap.so已经事先安装进系统了,启用remap或是regex_remap功能只需要搞好配置就可以了。
3.使用浏览器时,反向代理在地址栏中输入ATS的ip地址,正向代理时需要事先设置浏览器使用代理上网,但是地址栏的地址不变

一、反向代理模式

remap是ATS做URL rewrite的方式,也是ATS在配置文件设计方面的特殊部分。从功能上来讲,ATS的remap更像一个精简版本的Apache Httpd的rewrite模块。remap之所以重要,是因为它定义了一个很方便的API入口,我们可以通过remap系统,编写remap插件。

remap.config定义映射规则,用于请求的重写(rewrite),反向代理即在此配置。
在remap.config中做如下配置
map http://d1.sina.com.cn http://192.168.90.26 @plugin=regex_remap.so @pparam=maps.reg @pparam=profile @pparam=method

@profile是将打印信息输入/usr/local/var/log/trafficserver/traffic.out
@method是匹配http方法

动态库的默认存放路径/usr/local/libexec/trafficserver/regex_remap.so
注意在默认安装ATS时,它已经被安装到指定的路径下面了,你可以使用下面的命令验证
locate regex_remap.so
是否可以找到该so文件

config file的默认存放路径是/usr/local/etc/regex_remap/maps.reg(需要事先手动创建),它里面存放着我们设置的匹配规则,内容如下
^/pfpghc/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302

下面是搭建反向代理的方法
在默认的ATS配置的基础上,关闭host header透传,修改如下配置项为
CONFIG proxy.config.url_remap.pristine_host_hdr INT 1 改成0

然后在remap.config中做如下配置:
map http://10.10.110.31:8080/ http://news.sina.com.cn/
reverse_map http://news.sina.com.cn/ http://10.10.110.31:8080/

这里map的第一个http表示是User-Agent去访问网页的请求url,第二个http表示ATS去获取源的url,整行的意思是,将dns的ip解析为新浪新闻主页;

这里reverse_map的这一行表示将新浪新闻源站返回的域名转成ip再响应给代理用户


对一个正常的如下网址:
http://news.sina.com.cn/s/2014-01-26/150729350128.shtml
使用下面的方式之一访问反向代理服务器
http://10.10.110.39:8080/s/2014-01-26/150729350128.shtml(公司)
http://192.168.0.106:8080/s/2014-01-26/150729350128.shtml(家里)

使用下面的方法来使重定向生效。
使用下面的方法使remap.config中的配置值生效,避免重启机器
$ sudo touch /usr/local/etc/trafficserver/remap.config(如果没有变动,再更新一下文件创建时间,如果刚修改文件,不用命令)

$ sudo traffic_line -x(这个命令使所有的配置文件重新加载,当修改了集群中的某一个节点的配置的时候,Traffic server会自动将更改应用到集群的其他节点。


通常的请求
http://d9.sina.com.cn/pfpghc/3106401f1783439d90720d6a2ead52bc.swf
变为如下请求
http://192.168.0.106:8080/pfpghc/3106401f1783439d90720d6a2ead52bc.swf
最终重定向到指定的图片地址
http://www.baidu.com/image/in_011.png

打开任意一个浏览器,在地址栏中输入上面的请求,可以看到swf变为一个图片的请求了

二、正向和反向代理同时共存
最终我得到的结论是,对广告必须使用正向代理加上remap方法。因为你必须确保一个网站所有的链接都经过ATS代理,如果这样的设置
map http://10.10.110.31:8080/ http://news.sina.com.cn/
只能定向news.sina.com.cn这个域名,对d9.sina.com.cn这样的域名没有办法。所以,这里我只希望对极个别链接做重定向。
如何在正向代理的同时做remap替换?
下面是我的实现方法:使用正向代理+remap正则匹配重定向,主要是配置。
在默认安装ATS的records.config中修改如下选项
CONFIG proxy.config.url_remap.pristine_host_hdr INT 1 改成0
CONFIG proxy.config.url_remap.remap_required INT 1 改成0,代表同时开启正向代理和反向代理

下面配置remap.conf,我的主要目的是借助remap实现regex_remap的功能,来实现对特定url的重定向或是改写
在remap.conf加入如下内容
map http://d1.sina.com.cn/ http://d1.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d2.sina.com.cn/ http://d2.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d3.sina.com.cn/ http://d3.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d4.sina.com.cn/ http://d4.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d5.sina.com.cn/ http://d5.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d6.sina.com.cn/ http://d6.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d7.sina.com.cn/ http://d7.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d8.sina.com.cn/ http://d8.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d9.sina.com.cn/ http://d9.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

接着在regs.map中加入如下匹配规则
^/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302
这里status表示使用302重定向
重启服务器

选择一个浏览器,比如firefox,设置正向代理为该ATS的ip和端口,这里是192.168.0.106:8080
然后输入目的网站,比如我要测试的news.sina.com.cn,就可以看到我要的重定向的结果了。

三、对remap和regex_remap规则的说明
map http://d9.sina.com.cn/ http://d9.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
表示将客户端User-Agent发送的host域以同样的方式发送给源站Original Sever(简作OS),但是对path和query部分做正则匹配,匹配的规则是
^/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302
也就是将以http://d9.sina.com.cn/开头,以.swf尾结尾的url映射到你指定的后一个地址,这里是http://www.baidu.com/image/in_011.png,并以302的http status显示。当然,你可以映射到其它的地址,结合这个匹配规则。


下面摘自赵永明在CU上的帖子(链接见参考网址1):

regex_remap是从master上port过来的,用来解决去问号,以及其他变态的rewrite规则等,简单说明如下:
如我们希望忽略cdn.zymlinux.net上的?后面的query,我们只要配置remap.config
配置如下:
map http://cdn.zymlinux.net/ http://zymlinux.net/ @plugin=regex_remap.so @pparam=/tmp/regex_remap.config

并把regex_remap.config配置为:
.* http://source.zymlinux.net/$P

其中$P是URL中的path,后面不跟query
当然,这里前面的".*"是可以再进一步细化的,以达成精细控制的目的. 而这个配置是可以给每个remap规则配置一个不同的配置文件,极大的了增强了大家掌控的便利性.

这里面 cdn.zymlinux.net和zymlinux.net分别是什么?regex_remap.config里的source.zymlinux.net又是什么呢?
我们需要搞清楚这个关系,就是
cdn.zymlinux.net 是用户在浏览器地址栏中输入的host部分,也称域名
zymlinux.net 是ATS对上url重写后的url的host部分,比如重写的url是http://zymlinux.net/img/a.png?size=230*450
source.zymlinux.net 是上面重写url重定向后的url的host部分,比如重定向url是http://source.zymlinux.net/$P,这里做了正则匹配,那么就是http://source.zymlinux.net/img/a.png

更详细的说明,请参照:
https://git-wip-us.apache.org/re ... emap/README;hb=HEAD

四、remap.config配置文件的说明(部分翻译)

使用remap.config允许你完成两件事情:

1)在发送给源服务器(Origin Server)之前,重写客户端发送的URL,

2)保护你的代理服务器,只允许某些请求通过

使用ATS默认的配置文件,至少要求配置一个remap规则,但是,这可以通过修改records.config中的下面的配置选项放松条件:

CONFIG proxy.config.url_remap.remap_required INT 0

支持的6种mapping规则如下:

map

map_with_referer

map_with_recv_port

reverse_map

redirect

redirect_temporary

这几种map类型都支持正则表达式匹配,同时使用regex_的前缀,但是有一些限制:

1)只有host域支持正则表达式,scheme,port和其它的field不支持

2)子模式的匹配个数只能最大到9,这意味着$0-$9能用于替换占位符,$0表示整个输入字符串

3)扩展字符串中的替换个数限制到10

下面是map支持正则表达式的一个例子:

上面的9条规则可以用下面的一条正则匹配表示:

regex_map http://d([1-9]).sina.com.cn/ http://d$1.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

这里http://d([1-9]).sina.com.cn/可以表示上面的9个域名,$1表示匹配到的1-9中的某个数字

参考网址 http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=3758890 http://bbs.chinaunix.net/thread-3768941-1-1.html

相关文章

jquery.validate使用攻略(表单校验) 目录 jquery.validate...
/\s+/g和/\s/g的区别 正则表达式/\s+/g...
自整理几个jquery.Validate验证正则: 1. 只能输入数字和字母...
this.optional(element)的用法 this.optional(element)是jqu...
jQuery.validate 表单动态验证 实际上jQuery.validate提供了...
自定义验证之这能输入数字(包括小数 负数 ) <script ...