Tag: scrapy

Scrapy安装方法！

最近学习使用scrapy进行数据采集，这个框架还是不错的，下面简单记录下安装方法：

1、首先安装pip， Python 2 >=2.7.9 or Python 3 >=3.4下需要用这种方法安装pip

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

python get-pip.py

2、安装依赖环境,编译时容易出现gcc错误，首先需要安装gcc，最主要安装libffi

debian下安装libffi：
apt-get install libffi-dev
centos下安装libffi:
yum install libffi-devel

3、安装scrapy

pip install scrapy

4、测试scrapy是否安装成功！

python中测试能否导入scrapy模块： 
import scrapy
scrapy.version_info

shell中测试是否执行scrapy命令：
scrapy