aiduyunSpider，是基于轻量级的PHP框架Codeigniter+Python开发的一套百度百度云盘搜索引擎爬虫程序。包含百度云网盘爬虫、网站前后端、搜索，整套服务。可以采集小说，电影，音乐，种子，或者各大类教程资源，还是挺不错的。网站： PHP Codeigniter爬虫：Python搜索引擎：Xunsearch数据库：MySql主要功能介绍：分布式爬虫爬虫IP代理Web 控制面板死链检测重构爬虫 => 采用Node.js使用 elasticsearch 搜索引擎安装部署教程## 运行环境开始之前你需要安装* PHP 5.3.7 +* MySQL* Python 2.7 ~* [xunsearch](https://xunsearch.com/) 搜索引擎## 获取源码```git clone git@github.com:k1995/BaiduyunSpider.git```或手动下载```httpss://github.com/k1995/BaiduyunSpider/archive/master.zip```下载完毕后，___项目的目录结构___大致是这样的```--- indexer/  #索引--- spider/   #爬虫--- sql/      --- web/  #网站--- application/--- config/ # 配置相关--- config.php--- database.php # 数据库配置......--- static/ # 存放静态资源，css|js|font--- system/--- index.php...```## 开始部署### 创建数据库创建名为`pan`的数据库，编码设为`utf-8`。然后导入`sql`，完成表的创建。### 网站部署支持`nginx`，`apache` 服务器。__apache__ 需要开启 *mod_rewrite* 。__nginx__  配置如下```location /{   index index.php;try_files $uri $uri/ /index.php/$uri;}location ~ [^/].php(/|$){fastcgi_pass  127.0.0.1:9000;fastcgi_index index.php;include fastcgi.conf;include pathinfo.conf;}```####  配置文件修改`config.php` 文件修改网站标题，描述等信息`database.php` 修改数据库账号，密码等信息> 网站是基于CodeIgniter 框架开发的，如安装，部署，或二次开发有问题，请参考[官网文档]( https://codeigniter.org.cn/user_guide/general/welcome.html)### 启动爬虫进入 `spider/`目录，修改`spider.py` 中数据库信息。__如果你是第一次部署，需运行下面命令，完成做种__```python spider.py --seed-user```上面其实就是抓取百度云热门分享用户的相关信息，然后从他们开始入手爬取数据然后运行```python spider.py```此时爬虫已经开始工作了### 安装xunsearch目前使用__xunsearch__作为搜索引擎，后面会更换为`elasticsearch`。安装过程请参考（不需要安装，PHP SDK，我已经整合到web里了）https://xunsearch.com/doc/php/guide/start.installation### 索引数据上面我们完成了爬虫的数据抓取，网站的搭建，但还不能搜索，下面开始最后一步，索引的建立。进入 `indexer/`目录，在`indexer.php`中将$prefix，替换为你web的根路径```require '$prefix/application/helpers/xs/lib/XS.php';```并修改数据库账号密码然后运行```python ./index.php ```到此为止程序已全部安装完毕