上海Python培训
达内上海Python培训中心

15026646813

热门课程

Python爬虫教程教你如何安装Scrapy框架

  • 时间:2018-04-03 10:22
  • 发布:上海python培训
  • 来源:Python新闻

喜欢python更喜欢python爬虫的朋友,大多都知道点爬虫框架的知识,今天上海python培训小编就教你如何安装scrapy爬虫框架吧。

Python爬虫:你是否知道Scrapy的存在?

说到python爬虫中的scrapy框架,也有好一部分人初次听到,如果上海Python培训小编一上来就直接将如何安装,想必这些人会一头雾水,不知道安装scrapy爬虫框架有何作用,这会上海python培训小编先来讲讲python爬虫中scrapy扮演的什么角色,有何重要性。

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。初是为了页面抓取(更确切来说,网络抓取)所设计的, 也可以应用在获取API所返回的数据或者通用的网络爬虫。上海Python培训小编再本文介绍如何安装scrapy爬虫框架。

Python爬虫:Scrapy安装步骤

接下来上海Python培训小编就来说说python爬虫Scrapy框架运行平台及相关辅助工具

Python2.7(Python新版3.5,这里选择了2.7版本)

Python Package:pipandsetuptools. 现在pip依赖setuptools,如果未安装,则会自动安装setuptools。lxml. 大多数Linux发行版自带了lxml。

OpenSSL. 除了Windows(请查看平台安装指南)之外的系统都已经提供。

您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

pip install Scrapy。

Windows下安装流程:

1、安装Python 2.7之后,上海Python培训提醒您需要修改PATH环境变量,将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到PATH中:C:\Python27\;C:\Python27\Scripts\;除此之外,还可以用cmd命令来设置Path:c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

安装配置完成之后,可以执行命令python --version查看安装的python版本。如果不知道的,可以参考上海Python培训小编给的下图。图112

2、从sourceforge.net/projects/pywin32/安装pywin32

请确认下载符合您系统的版本(win32或者amd64)

从pip.pypa.io/en/latest/installing.html安装pip

3、打开命令行窗口,确认pip被正确安装: pip--version

4、到目前为止Python 2.7 及pip已经可以正确运行了。接下来安装Scrapy:

pip install Scrapy

至此上海Python培训讲的python爬虫之windows下Scrapy安装已经结束,动手试试吧。

上一篇:Python安装:随时随地解决python问题
下一篇:Python教程:python通过实例方法名字调用方法的操作

什么是Python设计模式

上海Python培训机构排行榜?怎么选择Python培训机构?

Python编程培训费用多少?2018上海学Python更划算

你了解这个从襁褓中成长到今天的Python吗

选择城市和中心
贵州省

广西省

海南省

免费学习5天VIP课程