scrapy-将html内容分解为不同的部分

问题描述

我正在抓取某种操作方法页面，作者在其中讲述了做某事的步骤。有2000个页面要刮取，并且每个页面的属性和元素可能与另一个页面不同，但是页面的一般结构通常是这样的：首先有一个图像，然后给出该步骤的描述，然后是另一个图片出现，并在下面给出该图片的描述，依此类推。我想找到一种将内容分为不同部分（步骤）的方法。

包含我的数据的示例代码：

   <div style="text-align: right;">
      <a href="SOMe link" target="_blank">
        <img alt="IMAG-1" src="/IMG-1.jpg" />
      </a>
    </div>
    <div style="text-align: right;"><br /></div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;line-height: normal;tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;">
      </span>
    </div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;Line-height: normal;tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;"><br/>
          DESCRIPTION 1 - PART 1
      </span>
    </div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;line-height: normal;tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;">
         DESCRIPTION 1 - PART 2 
      </span>
    </div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;line-height: normal;tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;">
        <br/>
      </span>
    </div>
    <div style="text-align: right;"></div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;line-height: normal;tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;">
        DECRIPTION 1 -PART3 
      </span>
      <span dir="LTR" style="font-family: 'tahoma',sans-serif; font-size: 10pt;">
         DESCRIPTION 1 - PART 4
      </span>
      <span dir="RTL"></span><span dir="RTL"></span>
      <span  lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;">
      <span dir="RTL"></span><span dir="RTL"></span> 
        DESCRIPTION 1 - PART 5
      </span>
    </div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;line-height: normal;
        tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <br />
    </div>
    <div style="text-align: right;"><br /></div>
    <div style="text-align: right;">
      <a href="SOME LINK" target="_blank">
         <img alt="IMG-2" src="/IMG-2.jpg"
      /></a>
    </div>
    <div style="text-align: right;"><br /></div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;line-height: normal;tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;" >
          DESCRIPTION 2  
      </span>
    </div>
    <div style="text-align: right;">
      <a href="SOME LINK" target="_blank">
         <img alt="IMG-3" src="/IMG-3.jpg"/>
      </a>
    </div>
    <div style="text-align: right;"><br /></div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;line-height: normal;
        tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;">
         DESCRIPTION 3 - PART 1
      </span>
    </div>
    <div class="MsoNormal" dir="RTL" style="background: white;direction: rtl;line-height: normal;tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;"><br /></span>
    </div>
    <div style="text-align: right;"></div>
    <div
      class="MsoNormal"
      dir="RTL"
      style="background: white;direction: rtl;line-height: normal;tab-stops: right 13.95pt;text-align: justify;unicode-bidi: embed;">
      <span lang="FA" style="font-family: 'tahoma',sans-serif; font-size: 10pt;">
        DESCRIPTION 3 - PART 2  
      </span>
    </div>

我想像上面一样拆分上面的代码：

• 部分（步骤/项目）1：
  • 图片：IMG 1
  • 描述=描述1-第1部分+第2部分+第3部分+第4部分+第5部分
  • order = 1
• 部分（步骤/项目）2：
  • 图片：IMG 2
  • 描述=描述2
  • order = 2
• 第3节：
  • 图片：IMG 3
  • 描述=描述3第1部分+第2部分
  • order = 3

并将每个部分保存在一个项目中

class CookingStepItem(scrapy.Item):
    image = scrapy.Field()
    description = scrapy.Field()
    order = scrapy.Field()

我可以通过以下代码轻松提取图像和订单：

images = content.xpath('//img/@src').getall()

但是我不知道如何从内容中提取图像标签之间的描述。
感谢您的帮助。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）