Python爬虫Scrapy入门篇

前言

因为Python简单灵活的特点,一直是写爬虫的热门语言,我之前也在公众号上分享过几篇简单的爬虫例子和教程。

Scrapy是一款简单高效的Python网络爬虫框架,使用框架,我们就可以只关注数据的提取而不用去自己造轮子了。其实,对于这个框架,我也是个新手…这里,就用我们学校的图书馆系统做个简单的入门项目了。

安装

先说一下我的Python是3.6版本的,电脑是win10。

Scrapy也可以直接用使用pip命令安装:

1
pip install scrapy


因为Scrapy依赖了其他一些包,所以会额外安装一些库,如lxmlTwistedpyOpenSSL等,这在文档也有提到。我在安装这些库时有遇到一个问题,报了下面这个错误:

1
Command ""d:\program files\python3.6.1\python.exe" -u -c "import setuptools, tokenize;__file__='C:\\Users\\ASUS\\AppData\\Local\\Temp\\pip-build-qkm97m8f\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\ASUS\AppData\Local\Temp\pip-e4cf8gml-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\ASUS\AppData\Local\Temp\pip-build-qkm97m8f\Twisted\

可以看到是安装Twisted出的问题,解决方法是在 这里 下载对应版本的whl包,我的是Twisted-17.9.0-cp36-cp36m-win32.whlcp后面是Python版本,win32表示位数,我的Python是32位的。

然后切换到下载目录运行以下命令:

1
pip install Twisted-17.9.0-cp36-cp36m-win32.whl

然后再安装Scrapy就可以了。你会看到:

1
Successfully installed PyDispatcher-2.0.5 asn1crypto-0.24.0 cffi-1.11.4 cryptography-2.1.4 cssselect-1.0.3 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0

创建项目

切换到你想放这个项目的目录,执行scrapy startproject projectname创建一个项目,如:

1
scrapy startproject scrapy_test

生成的项目结构是这样的:

1
2
3
4
5
6
7
8
9
10
scrapy_test/
scrapy.cfg # deploy configuration file
scrapy_test/ # project's Python module, you'll import your code from here
__init__.py
items.py # project items definition file
middlewares.py # project middlewares file
pipelines.py # project pipelines file
settings.py # project settings file
spiders/ # a directory where you'll later put your spiders
__init__.py

spiders目录用于放置我们的爬虫,items.py用于定义我们要获取的数据,pipelines.py定义存储,settings.py顾名思义就是配置文件了。

编写代码

图书馆网页


第一步我们先定义要存储什么字段,这里就定义书名、作者和索引号吧,编写items.py

1
2
3
4
5
6
7
8
9
10
11
import scrapy


class BooksItem(scrapy.Item):
'''定义要存储的字段'''
# 书名
name = scrapy.Field()
# 作者
author = scrapy.Field()
# 索引号
call_number = scrapy.Field()

接下来我们在spiders目录下编写爬虫文件,我这里新建一个books_spider.py文件,代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import scrapy
from scrapy_test.items import BooksItem

class BooksSpider(scrapy.Spider):
'''图书爬虫类'''
# 这个name不能重复
name = 'books'
# allowed_domains = ['202.116.174.108:8080']
start_urls = ["http://202.116.174.108:8080/top/top_lend.php?cls_no=ALL"]

def parse(self, response):
'''处理下载的response的默认方法'''
books = []
for item in response.xpath('//tr')[1:]:
book = BooksItem()
book_name = item.xpath('td[2]/a/text()').extract()
book_author = item.xpath('td[3]/text()').extract()
book_call_number = item.xpath('td[5]/text()').extract()
book['name'] = book_name[0]
book['author'] = book_author[0]
book['call_number'] = book_call_number[0]
books.append(book)
return books

这个类继承scrapy.Spider,需要指定name,它是运行爬虫用的,start_urls是要爬取的url列表,parse函数接收获取到的response解析用的是scrapy自带的xpath,这个网页的结构很简单,所以就不多解释了。总之,就是遍历每一本书的信息,然后存在books中。这些信息在之前的item中已经定义了。
代码的编写到这里就结束了,接下来就可以运行了。

运行代码

要运行代码,切换到项目的目录里,执行下面的命令,其中books就是上面的namebooks.json就是生成的json文件:

1
scrapy crawl books -o books.json -t json

开始运行时,出现了一个问题,就是没报错,但没有结果,输出一片空白,然后发现下面的提示:

1
DEBUG: Forbidden by robots.txt

这是因为要获取的页面在robots中被禁止了,所以Scrapy自动忽略了,只需修改settings.py将:ROBOTSTXT_OBEY改为False就行了。

后来又遇到了乱码的问题,输出全是\uxxx这种字符,只要在settings.py加上FEED_EXPORT_ENCODING = 'utf-8'就可以。

没报错执行完上面的命令之后就会在根目录生成一个books.json文件,打开,就会看到保存下来的json格式图书信息:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[
{
"name": "暗恋·橘生淮南",
"author": "八月长安[著]",
"call_number": "I247.57/5494"
},
{
"name": "Time series and panel data econometrics / First edition.",
"author": "M. Hashem Pesaran.",
"call_number": "F224.0/EN4"
},
{
"name": "杀死一只知更鸟.第2版",
"author": "(美国) 哈珀·李著",
"call_number": "I712.45/1231=2"
},
...
...
{
"name": "众筹:互联网金融的下一个风口",
"author": "陈晓暾, 白帆, 陈英编著",
"call_number": "F830.45/77"
}
]

结果


我们的Scrapy入门项目就完成了!