目前项目的目录结构
简要说明
因为项目是要分两块部署在不同的服务器上的
task_producer是作为任务发布者部署
task_customer是作为任务消费者
两块之前的消息通信的话,目前选用的是redis的队列来进行的
消费者目前的代码还没有开始就暂时不展示了,下面仅说明发布者的目录结构
classes
目录是准备作为所有基础的类的存放目录
conf
目录作为存放配置文件的目录
log
仅存放生成的日志文件
module
存放所有自定的模块和包
static
目前还没用到,作为预留,后面主要想用来存放一些静态的基本不需要做更改的文件的目录,例如sql文件等
main.py
所在的目录就相当于是项目的根目录了,(虽然在这里不是根目录,是因为部署的时候,task_producer
这个目录就是要单独部署的)
main.py
也准备作为项目的启动入口
关于代码结构暂且先记录这么多,代码还在开发中,完成之后再更新进来,预计还要两个星期
对了,这次写的是一个爬虫系统,任务发布者发布任务到redis列表中,再由多台任务消费者分别读取执行