如何从linux中的GUI应用程序中提取文本内容？

我想从GUI应用程序中提取文本内容,这里有两个例子::

例1：

假设我打开了firefox,输入了url：www.google.com

如何使用自己的应用程序从firefox中提取字符串“www.google.com”？

例2：

打开计算器(使用gcalctool),然后输入1 1

如何从我自己的程序中提取计算器的字符串“1 1”？

简而言之,我想要的是找出是否有办法从GUI应用程序的任何小部件中提取文本内容

谢谢

最佳答案

我不认为这是一种通用的方法,至少不是一个非常优雅的方法.

一些不优雅的想法：

您可以修改X窗口系统甚至某些工具包框架,以将特定窗口元素中显示的内容提取为文本.

您可以截取屏幕截图并使用OCR库将像素转换回有趣区域的文本.

您可以重新编译感兴趣的应用程序,以添加某种机制来询问他们的问题.

您可以使用xtest之类的东西来注入突出显示感兴趣区域的事件并将其复制到剪贴板.