使用python测试网页中超链接的连通性

在web测试，对网页中的超链接进行测试是最基本的工作，最简便的方法当然是使用像xenu之类的工具。但它具体是怎么实现的呢?我想也无外乎是通过http协议，根据超链接地址，向服务端发送请求，然后根据返回的信息进行判断连接的状态。下面是根据这种思路，用python编写的检测网页链接连通性的程序。

首先，建立一个示例网页，其中link1,lin3是不连通的，link2,link4是有效链接

使用python进行链接检测，要使用到4个重要模块，过程就是通过urllib抓取目标网页的html代码，然后通过sgmllib模块解析html，获取超链接的列表。然后使用urlparse解析超链接的url，供httplib使用。然后由httplib模块进行最后的请求及验证回复的过程。

sgmllib:用于HTML解析，解析出网页中包含的超链接

httplib:用于Http协议的操作

urllib:用于获取网页的html代码

urlparse：解析url地址，把url地址解析成几个部分。

具体实现代码如下：

#-×-coding:gb2312-*-

importhttplib,urllib,urlparse

fromsgmllibimportSGMLParser

#解析指定的网页的html，得到该页面的超链接列表

classURLLister(SGMLParser):

defreset(self):

SGMLParser.reset(self)

self.urls=[]

defstart_a(self,attrs):

href=[vfork,vinattrsifk=='href']

ifhref:

self.urls.extend(href)

#遍历超链接列表，并逐个的发送请求，判断接收后的代码，200为正常，其他为不正常

deffetch(host):

usock=urllib.urlopen(host)

parser=URLLister()

parser.feed(usock.read())

uhost=urlparse.urlparse(host)

forurlinparser.urls:

up=urlparse.urlparse(url)

#因为超链接有两种方式：一种是直接的http://......一种是相对路径，/.../sample.html

#所以要分别处理

ifup.netloc=="":

http=httplib.HTTP(uhost.netloc)

http.putrequest("GET","/"+up.path+"?"+up.params+up.query+up.fragment)

http.putheader("Accept","*/*")

http.endheaders()

else:

http=httplib.HTTP(up.netloc)

http.putrequest("GET",up.path+"?"+up.params+up.query+up.fragment)

http.putheader("Accept","*/*")

http.endheaders()

errcode,errmsg,headers=http.getreply()

iferrcode==200:

printurl,":ok"

else:

printurl,":",errcode

#测试

fetch("http://www.baikegou.com/")

代码运行的结果：

http://www.baikegou.com/erwerwe.html:404

/sample/lik.html:ok

/sample/lik2.html:404

http://www.baikegou.com/:ok

以上内容为大家介绍了使用python测试网页中超链接的连通性，希望对大家有所帮助，如果想要了解更多Python相关知识，请关注IT培训机构:开发教育。http://www.baikegou.com/

鹏仔微信 15129739599 鹏仔QQ344225443 鹏仔前端 pjxi.com 共享博客 sharedbk.com