Scrapy Xpath Selector返回部分文本

问题描述

我在p标记中有一些文本，其中可能包含诸如em之类的其他标记。 当我将以下文本传递给parsel XPath选择器并要求输入第一个p标签时，它将向我返回部分字符串。

  from parsel import Selector

  selector = Selector(text="<div><p>Hel<em>l</em>o</p><p>World!</p></div>")

  for p in selector.xpath('(//div//p//extract())[1]'):
    print(p.get())

代码返回的输出是

Hel，预期输出为hello，这是我在做什么错了。

解决方法

我相信您正在寻找这样的东西：

from parsel import Selector

selector = Selector(text="<div><p>Hel<em>l</em>o</p><p>World!</p></div>")

for p in selector.xpath('//div/p[1]/descendant-or-self::*/text()'):
  print(p.get())

# OR
print("".join([x.get() for x in selector.xpath('//div/p[1]/descendant-or-self::*/text()')]))

根据您要完成的工作，您可能需要避免xpath中出现双斜杠。参见Working with relative XPaths