ScrapydWeb 用于 Scrapyd 集群管理的 web 应用

程序名称:ScrapydWeb

授权协议: GPL-3.0

操作系统: 跨平台

开发语言: Python

ScrapydWeb 介绍

ScrapydWeb 是一个用于 Scrapyd 集群管理的 web 应用,支持 Scrapy 日志分析和可视化。

特性:

  • Scrapyd 集群管理

    • 支持所有 Scrapyd JSON API
    • 支持通过分组和过滤来选择若干个节点
    • 一次操作, 批量执行
    • Scrapy 日志分析

    • 数据统计

    • 进度可视化
    • 日志分类
    • 增强功能

    • 自动打包项目

    • 集成 LogParser
    • 定时器任务
    • 监控和警报
    • 移动端 UI
    • web UI 支持基本身份认证

框架依赖:

  • 前端
    • Element
    • ECharts
  • 后端
    • Flask

ScrapydWeb 官网

http://scrapydweb.herokuapp.com/1/servers/

相关编程语言

RedHadoop 是一个持续优化的企业级Hadoop基础软件平...
来自 Mozilla 的 Heka 是一个用来收集和整理来自多个...
HBase – Hadoop Database,是一个高可靠性、高性能...
Mincemeat-node 是使用Node.js实现的极简MapReduce框...
REEF 是微软开发的一个大数据框架。 REEF运行在YARN...
Scribe旨在帮助Facebook处理服务器上的大量数据,正...