爬虫管理平台以及wordpress本地搭建

IntelliJ IDEA 2020.2正式发布,诸多亮点总有几款能助你提效

爬虫管理平台以及wordpress本地搭建

学习目标:

  1. 各爬虫管理平台了解
    • scrapydweb
    • gerapy
    • crawlab
  2. 各爬虫管理平台的本地搭建
  3. Windows下的wordpress搭建

爬虫管理平台了解:

  1. scrapydweb:

    用于Scrapyd实施管理的web应用程序,支持Scrapy日志分析和可视化
    
    github地址:https://github.com/my8100/scrapydweb.git
    
  2. gerapy:

    基于Scrapy,Scrapyd,Scrapyd-Client,Scrapyd-API,Django和Vue.js的分布式爬虫管理框架
    
    相关的配置在我之前博客地址:https://www.cnblogs.com/xbhog/p/13336651.html
    
    该项目github地址:https://github.com/Gerapy/Gerapy.git
    
  3. crawlab:

    基于Golang的分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架.
    
    文档地址:https://docs.crawlab.cn/zh/
    
    GitHub地址:https://github.com/crawlab-team/crawlab.git
    

注意:前两个框架的搭建基于Scrapyd,如果不知道怎么配置可以看我之前写的博客:https://www.cnblogs.com/xbhog/p/13336651.html

爬虫管理平台的本地搭建:

  1. scrapydweb搭建:

    • 安装:pip install scrapydweb -i https://pypi.doubanio.com/simple

    • 先打开scrapyd(命令行输入)

    • 再输入scrapydweb

    • 界面效果:

    • 部署安装网上教程很多,不多赘述

  2. gerapy

  3. crawlab:(配置安装官方给的很详细,这里简单说下)

    • 首先把代码从远程仓库clone下来:git clone 地址/复制地址到pycharm中

    • #官方推荐几种安装方式:
      Docker(入门简单,推荐)
      Kubernetes(多机器部署,推荐)
      直接部署(理解原理)
      开发模式(开发调试)
      多节点部署
      #个人选择docker,该项目配置环境过多,怕给本地造成冲突
      
    • docker的安装:

Windows下的wordpress搭建:

环境准备:

  1. wampserver软件
  2. wordpress源码
  3. 百度网盘地址:链接:https://pan.baidu.com/s/1mAFu8XrNSfpyL_VgSvb8VA 提取码:1234

搭建步骤:

  1. 打开wampserver.exe,默认安装(注意在安装路径的时候不能有中文文件夹)

  2. 最后会有四个弹窗:

    • 是否更改浏览器,该软件默认浏览器是explorer,我们点击是,选择谷歌浏览器;

      记一次针对静态页面的DDOS基本防护

    • 选择nodpad++,选择否。

  3. 安装完成后,点击桌面图标运行,程序颜色表示状态

    • 红色:配置没启动
    • 橙色:配置启动一部分
    • 绿色:配置完全启动
  4. 绿色后,单机程序图标,点击localhost进入网页

  5. 将预先准备的wordpress安装包放到wampserver/www文件夹下

  6. 进入网页地址输入:localhost/wordpress

    点击开始进入配置页面:

  7. 上面配置先放置,我们先进行数据库设置

    输入用户名root,密码空,点击执行。

  8. 进入账户下的root,修改权限,修改密码

  9. 我们需要对应之前的数据库名称(wordpress),所以新建数据库

  10. 设置成功后返回之前的数据库登录页面,填写相关信息:

  11. 提交进入登陆界面配置:

  12. 填写完成进入登陆界面

  13. 登陆:前后台界面

爬虫管理平台以及wordpress本地搭建
免责声明:非本网注明原创的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明(版权证明、身份证正反面、侵权链接),站长将在收到邮件12小时内删除。

[C#.NET 拾遗补漏]06:单例模式最佳实践