用 C# 来守护 Python 进程

分享图片

背景

目前我主要负责的一个项目是一个 C/S 架构的客户端开发,前端主要是通过 WPF 相关技术来实现,后端是通过 Python 来实现,前后端的数据通信则是通过 MQ 的方式来进行处理。由于 Python 进程是需要依赖客户端进程来运行,为了保证后端业务进程的稳定性,就需要通过一个 守护进程 来守护 Python 进程,防止其由于未知原因而出现进程退出的情况。这里简单记录一下我的一种实现方式。

实现

对于我们的系统而言,我们的 Python 进程只允许存在一个,因此,对应的服务类型要采用单例模式,这一部分代码相对简单,就直接贴出来了,示例代码如下所示:

public partial class PythonService
{
    private static readonly object _locker = new object();

    private static PythonService _instance;
    public static PythonService Current
    {
        get
        {
            if (_instance == null)
            {
                lock (_locker)
                {
                    if (_instance == null)
                    {
                        _instance = new PythonService();
                    }
                }
            }
            return _instance;
        }
    }

    private PythonService()
    {

    }
}

创建独立进程

由于后端的 Python 代码运行需要安装一些第三方的扩展库,所以为了方便,我们采用的方式是总结将 python 安装文件及扩展包和他们的代码一并打包到我们的项目目录中,然后创建一个 Python 进程,在该进程中通过设置环境变量的方式来为 Python 进程进行一些环境配置。示例代码如下所示:

public partial class PythonService
{
    private string _workPath => Path.Combine(AppDomain.CurrentDomain.BaseDirectory,"scripts");
    private string _pythonPath => Path.Combine(_workPath,"python27");

    private bool isRunning = false;
    private int taskPID = -1;

    public void Start()
    {
        taskPID = CreateProcess();
        isRunning = taskPID != -1;

        var msg = isRunning ? "服务启动成功..." : "服务启动失败...";
        Trace.WriteLine(msg);
    }

    public void Stop()
    {
        KillProcessAndChildren(taskPID);

        isRunning = false;
        taskPID = -1;
    }

    private int CreateProcess()
    {
        KillProcessAndChildren(taskPID);

        int pid = -1;
        var psi = new ProcessStartInfo(Path.Combine(_pythonPath,"python.exe"))
        {
            UseShellExecute = false,WorkingDirectory = _workPath,ErrorDialog = false
        };

        psi.CreateNoWindow = true;

        var path = psi.EnvironmentVariables["PATH"];
        if (path != null)
        {
            var array = path.Split(new[] { ';' }).Where(p => !p.ToLower().Contains("python")).ToList();
            array.AddRange(new[] { _pythonPath,Path.Combine(_pythonPath,"Scripts"),_workPath });
            psi.EnvironmentVariables["PATH"] = string.Join(";",array);
        }
        var ps = new Process { StartInfo = psi };
        if (ps.Start())
        {
            pid = ps.Id;
        }
        return pid;
    }

    private static void KillProcessAndChildren(int pid)
    {
        // Cannot close 'system idle process'.
        if (pid <= 0)
        {
            return;
        }

        ManagementObjectSearcher searcher = new ManagementObjectSearcher("Select * From Win32_Process Where ParentProcessID=" + pid);
        ManagementObjectCollection moc = searcher.Get();
        foreach (ManagementObject mo in moc)
        {
            KillProcessAndChildren(Convert.ToInt32(mo["ProcessID"]));
        }
        try
        {
            Process proc = Process.GetProcessById(pid);
            proc.Kill();
        }
        catch (ArgumentException)
        {
            // Process already exited.
        }
        catch (Win32Exception)
        {
            // Access denied
        }
    }
}

这里有一点需要注意一下,建议使用 PID 来标识我们的 Python 进程,因为如果你使用进程实例或其它方式来对当前运行的进程设置一个引用,当该进程出现一些未知退出,这个时候你通过哪个引用来进行相关操作是会出问题的。

创建守护进程

上面我们的通过记录当前正在运行的进程的 PID 来标识我们的进程,那对应守护进程,我们就可以通过进程列表查询的方式来进行创建,在轮询的过程中,如果未找到对应 PID 的进程则表明该进程已经退出,需要重新创建该进程,否则就不执行任何操作,示例代码如下所示:

public partial class PythonService
{
    private CancellationTokenSource cts;

    private void StartWatch(CancellationToken token)
    {
        Task.Factory.StartNew(() =>
        {
            while (!token.IsCancellationRequested)
            {
                var has = Process.GetProcesses().Any(p => p.Id == taskPID);
                Trace.WriteLine($"MQ状态:{DateTime.Now}-{has}");
                if (!has)
                {
                    taskPID = CreateProcess(_reqhost,_subhost,_debug);
                    isRunning = taskPID > 0;

                    var msg = isRunning ? "MQ重启成功" : "MQ重启失败,等待下次重启";
                    Trace.WriteLine($"MQ状态:{DateTime.Now}-{msg}");
                }

                Thread.Sleep(2000);
            }
        },token);
    }
}

这里我使用的是 Thread.Sleep(2000) 方式来继续线程等待,你也可以使用 await Task.Delay(2000,token),但是使用这种方式在发送取消请求时会产生一个 TaskCanceledException 的异常。所以为了不产生不必要的异常信息,我采用第一种解决方案。

接着,完善我们的 StartStop 方法,示例代码如下所示:

public void Start()
{
    taskPID = CreateProcess();
    isRunning = taskPID != -1;

    if (isRunning)
    {
        cts = new CancellationTokenSource();
        StartWatch(cts.Token);
    }

    var msg = isRunning ? "服务启动成功..." : "服务启动失败...";
    Trace.WriteLine(msg);
}

public void Stop()
{
    cts?.Cancel(false);
    cts?.Dispose();

    KillProcessAndChildren(taskPID);
    taskPID = -1;

    isRunning = false;
}

最后,上层调用就相对简单一下,直接调用 Start 方法和 Stop 方法即可。

总结

在我们的实际项目代码中,PythonService 的代码要比上面的代码稍微复杂一些,我们内部还添加了一个 MQ 的 消息队列。所以为了演示方便,我这里只列出了和本文相关的核心代码,在具体的使用过程中,可以依据本文提供的一种实现方法来进行加工处理。

相关参考

相关文章

项目中经常遇到CSV文件的读写需求,其中的难点主要是CSV文件...
简介 本文的初衷是希望帮助那些有其它平台视觉算法开发经验的...
这篇文章主要简单记录一下C#项目的dll文件管理方法,以便后期...
在C#中的使用JSON序列化及反序列化时,推荐使用Json.NET——...
事件总线是对发布-订阅模式的一种实现,是一种集中式事件处理...
通用翻译API的HTTPS 地址为https://fanyi-api.baidu.com/api...