星点互联教育课程学习演示站

标题: scrapy分布式爬虫之ES搜索引擎网站 [打印本页]

作者: 方鹏云 时间: 2018-1-28 19:29
标题: scrapy分布式爬虫之ES搜索引擎网站

大数据时代到来，信息更新非常快速，各行各业如果不与时俱进，都将面临优胜劣汰，知识是不断更新的，只有拥有一技之长，才能立于不败之地。网络爬虫，即Web Spider，是一个很形象的名字。目前爬虫开发语言的主要是python，本课程结合几个小的爬虫案例，帮助学员更好的学习爬虫。

最新发布的全球数据库管理系统排名，Redis、Elasticsearch稳步上升，从近四年的增长趋势来看，MongoDB，PostgreSQL、Elasticsearch、Spkunk增速最快，本项目就是就是以Elasticsearch为搜索主题，进行一系列Scrapy数据获取、MongoDB数据存储、Django搭建网站等...

1.课程研发环境
开发工具：Pycharm
浏览器：Firefox、Chrome
运行环境：python.exe、ElasticSearch

2.内容简介
scrapy分布式爬虫打造搜索引擎
Data数据能完成的事情（都可以使用爬虫获取数据）：
1）数据分析服务
2）互联网金融
3）数据建模
4）信息聚类
5）自然语言处理
6）医疗病例分析
然后通过Elasticsearch和Django搭建搜索引擎网站
通过本课程的学习可以让你学会获取想要的数据，以及深入认识网络知识和编程知识

欢迎光临星点互联教育课程学习演示站 (http://47.100.112.22/demo/nuke/)