4.1 KiB

Raw Permalink Blame History

FEAPLAT使用说明

首次运行须知

管理系统默认账号密码：admin / admin

添加项目

使用git方式上传项目时，需要使用SSH协议，若拉取私有项目，可在feaplat的设置页面添加 SSH 密钥。使用git方式，每次运行前会拉取默认分支最新的代码
项目会被放到爬虫worker容器的根目录下即 /项目文件
工作路径：是指你的项目路径，比如下面的项目结构：

工作路径为 /spider-project，feaplat会进入到这个目录，后续的代码执行命令都是在这个路径下运行的
requirements.txt：用于安装依赖包，填写依赖包的绝对路径

运行

启动命令：启动命令是在您添加项目时配置的工作路径下执行的
定时类型：
1. cron：crontab表达式，参考：https://tool.lu/crontab/
2. interval：时间间隔
3. date：指定日期
4. once：立即运行，且只运行一次

示例

准备项目，项目结构如下：
压缩后上传：（推荐使用 feapder zip 命令压缩）
- 工作路径：上传的项目会被放到docker里的根目录下（跟你本机项目路径没关系），然后解压运行。因feapder_demo.zip解压后为feapder_demo，所以工作路径配置/feapder_demo
- 本项目没依赖，可以不配置requirements.txt
- 若需要第三放库，则在项目下创建requirements.txt文件，把依赖库写进去，然后路径指向这个文件即可，如/feaplat_demo/requirements.txt
点击项目进入任务列表，添加任务启动命令的执行位置是在上面配置的工作路径下执行的，定时类型为once时点击确认添加会自动执行
查看任务实例：

可以看到已经运行完毕

git方式拉取私有项目

拉取私有项目需在git仓库里添加如下公钥

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCd/k/tjbcMislEunjtYQNXxz5tgEDc/fSvuLHBNUX4PtfmMQ07TuUX2XJIIzLRPaqv3nsMn3+QZrV0xQd545FG1Cq83JJB98ATTW7k5Q0eaWXkvThdFeG5+n85KeVV2W4BpdHHNZ5h9RxBUmVZPpAZacdC6OUSBYTyCblPfX9DvjOk+KfwAZVwpJSkv4YduwoR3DNfXrmK5P+wrYW9z/VHUf0hcfWEnsrrHktCKgohZn9Fe8uS3B5wTNd9GgVrLGRk85ag+CChoqg80DjgFt/IhzMCArqwLyMn7rGG4Iu2Ie0TcdMc0TlRxoBhqrfKkN83cfQ3gDf41tZwp67uM9ZN feapder@qq.com

或在系统设置页面配置您的SSH私钥，然后在git仓库里添加您的公钥，例如：

注意，公私钥加密方式为RSA，其他的可能会有问题

生成RSA公私钥方式如下：

ssh-keygen -t rsa -C "备注" -f 生成路径/文件名

如： ssh-keygen -t rsa -C "feaplat" -f id_rsa 然后一路回车，不要输密码最终生成 id_rsa、id_rsa.pub 文件，复制id_rsa.pub文件内容到git仓库，复制id_rsa文件内容到feaplat爬虫管理系统

爬虫监控

若您使用的是feapder爬虫或者使用了自定义打点，监控才会有对应的数据

表名：以 task_id 命名
保留策略：这是influxdb的概念，监控数据默认保留180天，滚动更新，这个保留策略为feapder_180d，同时也被设置成了默认策略default。所以直接用default就可以。

系统设置

GIT_SSH_PRIVATE_KEY：可以在自己的笔记本上使用cat .ssh/id_rsa查看，然后把内容复制到进来。不了解git ssh协议的，自行查资料

更新版本

git pull
docker-compose up -d

依次执行以上命令即可

4.1 KiB Raw Permalink Blame History Unescape Escape