如何使用 System.Net.WebClient() API 或 Ajax API 从不完整的论坛页面获取剩余文本？

问题描述

我在 VB.Net 中编写了一个小程序来提取我在最糟糕的比利时客户论坛上发布的所有问题和答案https://www.test-achats.be/communautes

为了完成这项工作，我使用 System.Net.WebClient().DownloadString() 函数以字符串形式获取 HTML 源页面。然后我分析这个字符串来找到我想要的。

Private Function DownloadString(sPage As String) As String
    Dim sSource As String = ""

    do while True
        Try
            sSource = New System.Net.WebClient().DownloadString(sPage)
            Exit Do
        Catch ex As Exception
            Threading.Thread.Sleep(10000)
        End Try
    Loop

    Return sSource
End Function

我使用循环是因为有时论坛服务器会返回一些错误。发生这种情况时，我会等待 10 秒并继续，直到收到正确的响应。

我的程序运行良好......除了一些长页面如下页

https://www.test-achats.be/communautes/communication-multimedia/communication-multimedia-varia/conversation/3487/la-fin-de-la-fm

我的问题是 DownloadString() 函数只返回第 20 个用户的评论。

在 Chrome 上，要查看剩余的评论，我必须滚动到页面末尾以显示 VOIR PLUS 按钮（英语 = SHOW MORE）。

我不必单击此按钮，我只需滚动到页面末尾并自动显示以下 20 个下一个用户的评论，然后显示在已显示的评论之后。

我已经搜索了解隐藏在这种特殊行为背后的 Javascript 机制，但我没有找到它是如何工作的。

有人可以查看此 Test-Achats 页面并解释如何在 VB.Net 控制台应用程序上模拟此事件吗？

包含这个按钮的 HTML 代码是：

<div class="align-central">
    <button class="btn btn--secondary-alt js-bp-load-more" 
            rel="nofollow"
            data-selector="load_more_button">
voir plus
    </button>
</div>

我继续搜索并在 html 页面中搜索所有 load-more 字符串，我发现了以下几行

</header>
<div class="js-browsepages" 
     data-load-more-url="/CommunitySitesAPI/CommunityConversationCommentOverview/LoadMore/0713953e-81d3-4e21-acdc-0bf01acab448?Contoller=CommunityConversationCommentOverview&amp;datasourceId=%7BBEA23CF6-77B3-4CA2-A7AD-9462180B8E15%7D&amp;threadId=3487&amp;replysort=cdd">
    <div class="js-bp-load-more-content">
    <div class="comment_item" 
         data-startreplyid="23399"
         data-islastreply="False" 
         data-selector="first_comment">
        <div class="comments-list__comment__container  "
             style="" 
             data-commentid="33205"
             data-selector="comment_container">

并在 Chrome 上使用开发工具，在 Network 选项卡中，当我滚动到页面末尾时，我可以看到以下 XLMHttpRequest 已激活

Request URL: https://www.test-achats.be/CommunitySitesAPI/CommunityConversationCommentOverview/LoadMore/0713953e-81d3-4e21-acdc-0bf01acab448?Contoller=CommunityConversationCommentOverview&datasourceId=%7BBEA23CF6-77B3-4CA2-A7AD-9462180B8E15%7D&threadId=3487&replysort=cdd&type=&page=2&startReplyId=23399&isLastReply=False&_=1626368441484

从 HTML 页面，我可以重建 XMLHttpRequest，我现在唯一的问题是

XMLHttpRequest 中的最后一个词 (&_=1626368441484) 代表什么，我怎样才能得到他？

解决方法

最后，我按照我的直觉，使用在 <div class="js-browsepages"> 中找到的数据编写了一个 XMLHttpRequest，而不插入没有名称的最后一个参数 (&_)。

我的测试代码是

Private Sub GetMultiCommentsPages()
    
    Dim sPage = "https://www.test-achats.be/communautes/communication-multimedia/communication-multimedia-varia/conversation/3487/la-fin-de-la-fm--trace-startup"
    Dim sSource = DownloadString(sPage)
    Dim sNewPage As String = "https://www.test-achats.be/"

    Dim iPos = 0
    Dim iEnd = 0
    Dim iPage = 2
    Dim sStartReplyId As String
    Dim sIsLastReply As String

    iPos = sSource.IndexOf("data-load-more-url=",iPos)
    iPos += 20
    iEnd = sSource.IndexOf("""",iPos)
    sNewPage &= sSource.Substring(iPos,iEnd - iPos)
    sNewPage = sNewPage.Replace("&","&")

    iPos = iEnd
    iPos = sSource.IndexOf("data-startReplyId=""",iPos)
    iPos += 19
    iEnd = sSource.IndexOf("""",iPos)
    sStartReplyId = sSource.Substring(iPos,iEnd - iPos)

    iPos = iEnd
    iPos = sSource.IndexOf("data-isLastReply=""",iPos)
    iPos += 18
    iEnd = sSource.IndexOf("""",iPos)
    sIsLastReply = sSource.Substring(iPos,iEnd - iPos)

    sNewPage &= "&type="
    sNewPage &= "&page=" & CStr(iPage)
    sNewPage &= "&startReplyId=" & sStartReplyId
    sNewPage &= "&isLastReply=" & sIsLastReply

    Dim sNewSource = DownloadString(sNewPage)
End Sub

在子程序结束时，sNewSource 变量包含以下用户评论。

我现在必须将最后收到的评论与第一个广告相结合，继续使用相同的技术阅读剩余的评论。