当前位置: > python爬虫 >

使用scrapy创建项目
栏目分类:python爬虫   发布日期:2019年03月24日 00:12:38   浏览次数:

大家好,我是爱吃苹果的宇文拓。今天我们将使用scrapy来创建一个爬虫项目

     前面的文章,提到了scrapy框架的各个组件的介绍,以及如何在Windows下安装scrapy。今天我们将使用scrapy来创建一个爬虫项目。
1.创建一个工作目录scrapy_work



2.切换到该目录下,创建scrapy项目test1,创建成功后,scrapy会在当前目录下创建一哥名为test1文件,这个文件就是项目文件。

#scrapy startproject test1



3.查看项目结构,.cfg文件是项目配置文件,test1文件为存放item.py,spider.py等文件的目录。





这是py文件,一一对应我前面所介绍的scrapy框架的各个组件。我们写爬虫逻辑主要是在spider文件中编辑。但是具体的爬虫文件需要我们自己添加。



4.创建spider文件

#scrapy genspider  spider1  www.baidu.com 









我们使用genspider命令创建了一个蜘蛛,scrapy genspider 爬虫名称  网站域名 。 以这样的形式创建一个蜘蛛。运行这个命令后,我们在spiders文件中看见了我们刚刚定义的spider1蜘蛛。我们后续只用编辑spider1.py文件即可。


总结:我们今天使用scrapy创建了一个爬虫项目,并创建了一个蜘蛛。我们从中了解了一些scrapy中的命令,以及创建一个蜘蛛的具体流程。后续我们将使用这个蜘蛛来完成一个网页的抓取。

相关热词:

相关内容
热门关键词
python字符串
     
python教程 python爬虫 python人工智能 Python+大数据 python问答