Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Appearance settings

Latest commit

 

History

History
History
90 lines (62 loc) · 4.14 KB

File metadata and controls

90 lines (62 loc) · 4.14 KB
Copy raw file
Download raw file
Outline
Edit and raw actions

FEAPLAT使用说明

首次运行须知

  1. 管理系统默认账号密码:admin / admin

添加项目

  1. 使用git方式上传项目时,需要使用SSH协议,若拉取私有项目,可在feaplat的设置页面添加 SSH 密钥。使用git方式,每次运行前会拉取默认分支最新的代码

  2. 项目会被放到爬虫worker容器的根目录下 即 /项目文件

  3. 工作路径:是指你的项目路径,比如下面的项目结构:

    工作路径为 /spider-project,feaplat会进入到这个目录,后续的代码执行命令都是在这个路径下运行的

  4. requirements.txt:用于安装依赖包,填写依赖包的绝对路径

运行

  1. 启动命令:启动命令是在您添加项目时配置的工作路径下执行的
  2. 定时类型:
    1. cron:crontab表达式,参考:https://tool.lu/crontab/
    2. interval:时间间隔
    3. date:指定日期
    4. once:立即运行,且只运行一次

示例

  1. 准备项目,项目结构如下:

  2. 压缩后上传:(推荐使用 feapder zip 命令压缩)

    • 工作路径:上传的项目会被放到docker里的根目录下(跟你本机项目路径没关系),然后解压运行。因feapder_demo.zip解压后为feapder_demo,所以工作路径配置/feapder_demo
    • 本项目没依赖,可以不配置requirements.txt
    • 若需要第三放库,则在项目下创建requirements.txt文件,把依赖库写进去,然后路径指向这个文件即可,如/feaplat_demo/requirements.txt
  3. 点击项目进入任务列表,添加任务 启动命令的执行位置是在上面配置的工作路径下执行的,定时类型为once时点击确认添加会自动执行

  4. 查看任务实例:

    可以看到已经运行完毕

git方式拉取私有项目

拉取私有项目需在git仓库里添加如下公钥

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCd/k/tjbcMislEunjtYQNXxz5tgEDc/fSvuLHBNUX4PtfmMQ07TuUX2XJIIzLRPaqv3nsMn3+QZrV0xQd545FG1Cq83JJB98ATTW7k5Q0eaWXkvThdFeG5+n85KeVV2W4BpdHHNZ5h9RxBUmVZPpAZacdC6OUSBYTyCblPfX9DvjOk+KfwAZVwpJSkv4YduwoR3DNfXrmK5P+wrYW9z/VHUf0hcfWEnsrrHktCKgohZn9Fe8uS3B5wTNd9GgVrLGRk85ag+CChoqg80DjgFt/IhzMCArqwLyMn7rGG4Iu2Ie0TcdMc0TlRxoBhqrfKkN83cfQ3gDf41tZwp67uM9ZN feapder@qq.com

或在系统设置页面配置您的SSH私钥,然后在git仓库里添加您的公钥,例如:

注意,公私钥加密方式为RSA,其他的可能会有问题

生成RSA公私钥方式如下:

ssh-keygen -t rsa -C "备注" -f 生成路径/文件名

如: ssh-keygen -t rsa -C "feaplat" -f id_rsa 然后一路回车,不要输密码 最终生成 id_rsaid_rsa.pub 文件,复制id_rsa.pub文件内容到git仓库,复制id_rsa文件内容到feaplat爬虫管理系统

爬虫监控

若您使用的是feapder爬虫或者使用了自定义打点,监控才会有对应的数据

  1. 表名:以 task_id 命名
  2. 保留策略:这是influxdb的概念,监控数据默认保留180天,滚动更新,这个保留策略为feapder_180d,同时也被设置成了默认策略default。所以直接用default就可以。

系统设置

  1. GIT_SSH_PRIVATE_KEY:可以在自己的笔记本上使用cat .ssh/id_rsa查看,然后把内容复制到进来。不了解git ssh协议的,自行查资料

更新版本

git pull
docker-compose up -d

依次执行以上命令即可

Morty Proxy This is a proxified and sanitized view of the page, visit original site.