最近学习使用scrapy进行数据采集,这个框架还是不错的,下面简单记录下安装方法:
1、首先安装pip, Python 2 >=2.7.9 or Python 3 >=3.4下需要用这种方法安装pip
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python get-pip.py 2、安装依赖环境,编译时容易出现gcc错误,首先需要安装gcc,最主要安装libffi debian下安装libffi: apt-get install libffi-dev centos下安装libffi: yum install libffi-devel 3、安装scrapy pip install scrapy 4、测试scrapy是否安装成功! python中测试能否导入scrapy模块: import scrapy scrapy.version_info shell中测试是否执行scrapy命令: scrapy