UseStudio.Crawler/ApiCrawler/ApiCrawler/spiders/apispider.py

#-*-coding:utf-8-*-
#支持中文必须加上上面一句话
__author__ = 'Administrator'
import scrapy
#正则表达式模块
import re

#包含scrapy中的Request请求,在yield request中用到
from scrapy.http import Request
#引入将要保存到数据库的类名称
from ApiCrawler.items import ApiItem


class ApiSpider(scrapy.spiders.Spider):
    name = "api"
    #只爬api.1473.cn网址
    allowed_domains=["api.1473.cn"]
    #开始爬的网址
    start_urls=[
        "http://api.1473.cn"
    ]
    #目的是去除重复的url。
    URLS=[]
    #计数，一共爬了多少次
    count=0
    def parse(self, response):
        #allUrl=response.url
        #print allUrl


        #从response中获取内容，保存到数据库，为什么能保存到数据库呢？应该是架构写好的。
        #extract方法返回unicode字符串
        apiItem=ApiItem()
        apiItem['url'] = response.url
        # normalize-space  解决xpath取出的title值有很多回车空格的问题
        #text()函数获取标签下面的文本
        _titles=response.xpath(' normalize-space(/html/head/title/text())')
        if _titles:
            apiItem['title'] =_titles[0].extract()
        else:
            apiItem['title'] =""
        #获取meta中的content比较麻烦,国内居然没有资料。
        _keywords=response.xpath("//meta[@name='keywords']/@content")
        if _keywords:
            apiItem['keywords'] = _keywords[0].extract()
        else:
            apiItem['keywords'] = ""
        _description=response.xpath("//meta[@name='description']/@content")
        if _description:
            apiItem['description'] = _description[0].extract()
        else:
            apiItem['description']=""
        #首先获取body标签，然后再获取body标签中的所有字符串，为节约代码，下面使用三元操作符号，不熟悉的学生去学习一下三元
        #python的三元比较奇葩，估计是不入流程序员写的，h = "变量1" if a>b else "变量2"
        #_content=response.xpath('/html/body').xpath('string(.)').extract()[0];
        #_content=response.xpath('/html/body').xpath('string(.)')
        #获取类名为book的div中的内容
        _content=response.xpath("//div[@class='book']").xpath('string(.)')
        apiItem['content']=_content[0].extract() if _content else ""
        #作者信息
        _author=response.xpath("//pre[@class='authors']").xpath('string(.)')
        apiItem['author']=_author[0].extract() if _author else ""

        yield apiItem


        '''
        # 下面的正则会提取页面中所有的后缀名为.aspx,.html .htm的超级链接，然后循环递归,但此方法会忽略掉没有"http://"前缀的网页
        pattern=re.compile(r'((((https|http):\/\/)|\/)[0-9a-zA-Z\/\.@-_%]*?\.(aspx|html|htm))')
        urls=pattern.findall(response.text)
        for url in urls:
            #去除重复
            findUrl=url[0]
            if findUrl in self.URLS:
                continue
            else:
                self.URLS.append(findUrl)
            #Request对象需要包含from scrapy.http import Request
            #递归获取
            yield Request(findUrl,callback=self.parse)
        '''

        #域名中不能带下划线，否则爬虫不爬取，html标准中域名不能带下划线
        #下面的会把a标签中的所有超级链接截取出来。得到的结果为一个selectorlist类型,结果更加准确。
        _hrefs=response.xpath('//a/@href')
        for href in _hrefs:
            #获取a标签中的超级链接
            _findurl=href.extract()

            #http://api.1473.cn/DevelopInterfaces/1473/common/index.aspx/common/606UploadFiles.aspx/common/600CommonIntroduces.aspx
            #结果会出现上面的重复累加的情况，再加一个判断试一试。这样有几率会误报
            #if response.url.find(_findurl) != -1:
            #    continue

            #判断超级链接是否包含"http"字符串,如果没有包含，则添加浏览器路径拼凑成完整的url
            #if _findurl.find('http') == -1:
            #    _findurl=response.url+'/'+_findurl
            #去除重复数据
            if _findurl in self.URLS:
                continue
            else:
                self.URLS.append(_findurl)
            #print _findurl;
            #Request对象需要包含from scrapy.http import Request
            #递归获取,response.urljoin(_findurl)会对没有http的网址进行拼凑。并且response.urljoin(_findurl)这个方法不会出现php_ref_misc.aspx带下划线的网址出错的问题，
            #具体报错情况为：ValueError('Missing scheme in request url: %s' % self._url)
            yield  Request(response.urljoin(_findurl),callback=self.parse)
            #yield Request(_findurl,callback=self.parse)


        #filename=response.url.split("/")[2]
        #with open(filename,'wb') as f:
        #    f.writable(response.body)