首页 » Python » python定向爬虫:scrapy从数据库中获取数据并生成文件

python定向爬虫:scrapy从数据库中获取数据并生成文件

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import scrapy,re,requests,urllib,sys,time
from pcseo.items import PcseoItem
import MySQLdb as mdb


reload(sys)
sys.setdefaultencoding('utf8')


current_time = time.strftime("%Y-%m-%d",time.localtime(time.time()))

class_dict = {
    "公司简介":"",
    "公司工资":"工资",
    "公司面试":"面试",
    "公司待遇":"待遇",
    "公司怎么样":"怎么样",
    "公司招聘":"招聘",
}


con = mdb.connect(host='  ',user='  ',passwd='  ',db='  ',charset='utf8')

query_file = open('/root/seojiankong/pcseo/query_file','w')

for k,v in class_dict.items():
    with con:
        cur = con.cursor(mdb.cursors.DictCursor)
        cur.execute("select query from baidu_pc_rank order by rand() limit 10")
        rows = cur.fetchall()
       
        for row in rows:
            query = "%s%s,%s" %(row['query'],v,k)
            query_file.write(query + '\n')
           
query_file.close()

class Dmozspider(scrapy.Spider):
    name = "pcseo"
    start_urls = ['http://www.baidu.com/s?wd=%s' % query]

    def parse(self, response):
        pass

原文链接:python定向爬虫:scrapy从数据库中获取数据并生成文件,转载请注明来源!

0