在CentOS7中安装Scrapy框架

Python

在CentOS7中安装Scrapy框架

安装setuptools

# wget --no-check-certificate https://bootstrap.pypa.io/ez_setup.py
# python ez_setup.py --insecure

下载安装pip

pip类似RedHat里面的yum，安装Python包非常方便。本节详细介绍pip的安装、以及使用方法。

  1. 下载pip：
    # wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate

  2. pip安装
    # tar -xzvf pip-1.5.4.tar.gz
    # cd pip-1.5.4
    # python setup.py install

  3. 安装安装其他包时，提示：【fatal error: Python.h: No such file or directory】
    解决办法：安装python-dev包，在CentOS中叫python-devel，可以使用下面的命令即可安装python-dev:
    # yum install python-devel

安装Scrapy

  1. 安装Scrapy依赖包：Twisted
    # pip install Twisted

  2. 安装Scrapy
    # pip install scrapy

  3. 测试安装
    # scrapy version
    Scrapy 1.0.5