Explorar o código

first crawler

chuwanghui %!s(int64=6) %!d(string=hai) anos
pai
achega
262c921942
Modificáronse 1 ficheiros con 3 adicións e 0 borrados
  1. 3 0
      ApiCrawler/ApiCrawler/spiders/apispider.py

+ 3 - 0
ApiCrawler/ApiCrawler/spiders/apispider.py

@@ -57,6 +57,9 @@ class ApiSpider(scrapy.spiders.Spider):
         #获取类名为book的div中的内容
         _content=response.xpath("//div[@class='book']").xpath('string(.)')
         apiItem['content']=_content[0].extract() if _content else ""
+        #作者信息
+        _author=response.xpath("//pre[@class='authors']").xpath('string(.)')
+        apiItem['author']=_author[0].extract() if _author else ""
 
         yield apiItem