首页 » Python » python学习循序渐进三:python爬虫抓取时判断是否出错,让程序继续运转

python学习循序渐进三:python爬虫抓取时判断是否出错,让程序继续运转

 

python学习循序渐进:判断是否出错,让程序继续运转
因为批量抓取的网址有时候就会出现访问不通或者网址错误,经常会导致程序出错,这个时候使用try except就可以让程序跳过错误并继续执行下去啦。非常有用的功能呢。

# -- coding: utf-8 --
import sys,urllib2,re
reload(sys)
sys.setdefaultencoding("utf-8")
html3 = open('C:/Users/panda/Desktop/1.txt','w')
for urllist in open("C:/Users/panda/Desktop/url.txt"):
    urllist = urllist.strip()
    #print urllist
    try:
        html = urllib2.urlopen(urllist).read()
    except:
        html3.write(urllist+"此网址有误"+"\n")
    else:
        html2 = re.search(r'(.*?)',html).group(1).decode('utf-8')
        #print html2
        html3.write(html2+"\n")

原文链接:python学习循序渐进三:python爬虫抓取时判断是否出错,让程序继续运转,转载请注明来源!

5