C++ 缓慢获取记录集行

问题描述

我在获取 Recordset 中的行时遇到问题，因为它真的很慢。

我们有一个虚拟 ListCtrl，可以在“OnGetdispinfo”方法中检索和设置数据。

这非常快（本地主机上 30 万行约 2 秒）但是如果连接速度很慢，GUI 会变得无响应并且在工作完成之前完全无法使用。

所以我尝试在不同的线程中执行 sql 操作，并在获取所有数据后更新列表。 GUI 无响应的问题由此解决，但获取所有数据所需的时间从 2 秒跃升至几分钟。即使我除了循环遍历行（只是在循环中调用 MoveNext() 直到达到 EOF）什么都不做，它仍然需要一分钟才能完成。

如何在不完全破坏性能的情况下解决冻结 GUI 的问题？我在下面包含了相关代码

m_pRecordset 是一个普通的 Recordset

旧：

void KundenListControlsqlCommand::OnGetdispinfo(NMHDR* pNMHDR,LRESULT* pResult)
{
    if (m_pRecordset->IsBOF())
    {
        *pResult = 0;
        return;
    }

    LV_disPINFO* pdispInfo = (LV_disPINFO*)pNMHDR;
    LV_ITEM* pItem = &(pdispInfo)->item;

    if (pItem->mask & LVIF_TEXT)
    {
        CString strData;

        m_pRecordset->SetAbsolutePosition(pItem->iItem + 1);
        if (getStatusRow() != pItem->iSubItem)
        {
            m_pRecordset->GetFieldValue(short(pItem->iSubItem),strData);
        }
        ::lstrcpy(pItem->pszText,strData);
        
    }

    if (pItem->mask & LVIF_IMAGE)
    {
        int const nIndex = this->GetParent()->SendMessage(OT_VLC_ONGEtimageINDEX,pItem->iItem,0);
        if (0 != nIndex)
        {
            pItem->iImage = nIndex - 1;
        }
    }

    *pResult = 0;
}


void KundenListControlsqlCommand::loadAnddisplayData()
{
    ASSERT(!m_strsqlCommand.IsEmpty());

    CWaitCursor wc;

    try
    {
        if (!m_pDatabase->Isopen())
        {
            CString strsql = m_pDatabase->getDatabaseInfo().getConnectString();

            m_pDatabase->OpenEx(strsql);
        }

        // RecordCount ermitteln
        m_nRecordCount = m_pRecordset->selectCount(_T("*"),m_strsqlCommand);

        if (m_pRecordset->Isopen())
            m_pRecordset->Close();

        m_pRecordset->Open(Recordset::snapshot,m_strsqlCommand + m_strSortOrder,Recordset::executeDirect | Recordset::noDirtyFieldCheck |
            Recordset::readOnly | Recordset::useBookmarks);

        SetItemCountEx(m_nRecordCount);
    }
    catch (CDBException* e)
    {
        e->ReportError();
        e->Delete();
    }
}

新：

void KundenListControlsqlCommand::loadAnddisplayData()
{
    ASSERT(!m_strsqlCommand.IsEmpty());

    CWaitCursor wc;

    try
    {
        if (!m_pDatabase->Isopen())
        {
            CString strsql = m_pDatabase->getDatabaseInfo().getConnectString();

            m_pDatabase->OpenEx(strsql);
        }

        // RecordCount ermitteln
        m_nRecordCount = m_pRecordset->selectCount(_T("*"),m_strsqlCommand);

        if (m_pRecordset->Isopen())
            m_pRecordset->Close();

        m_pRecordset->Open(Recordset::dynaset,Recordset::executeDirect | Recordset::noDirtyFieldCheck |
            Recordset::readOnly | Recordset::useBookmarks);

            m_vResult.clear();
            m_vResult.reserve(m_nRecordCount);
            int nFieldCount = m_pRecordset->GetoDBCFieldCount();
            CString strData;

            while (!m_pRecordset->ISEOF())
            {
                for (auto i = 0; i < nFieldCount; i++)
                {
                    m_pRecordset->GetFieldValue(short(i),strData);
                    m_vResult.push_back(std::move(strData));
                }

                if (m_bAbort)
                {
                    m_bAbort = false;
                    return;
                }
                m_pRecordset->MoveNext();
            }

            GetParent()->SendMessage(OT_VLC_ON_LIST_DONE,NULL,NULL);
    }
    catch (CDBException* e)
    {
        e->ReportError();
        e->Delete();
    }
}

void KundenListControlsqlCommand::OnGetdispinfo(NMHDR* pNMHDR,LRESULT* pResult)
{
        if (m_pRecordset->IsBOF())
        {
            *pResult = 0;
            return;
        }

        LV_disPINFO* pdispInfo = (LV_disPINFO*)pNMHDR;
        LV_ITEM* pItem = &(pdispInfo)->item;

        UINT nItem = (pItem->iItem * m_pRecordset->GetoDBCFieldCount()) + pItem->iSubItem;
        if (pItem->mask & LVIF_TEXT && m_vResult.size() >= nItem)
        {
            ::lstrcpy(pItem->pszText,std::move(m_vResult.at(nItem)));
        }

        if (pItem->mask & LVIF_IMAGE)
        {
            int const nIndex = this->GetParent()->SendMessage(OT_VLC_ONGEtimageINDEX,0);
            if (0 != nIndex)
            {
                pItem->iImage = nIndex - 1;
            }
        }

        *pResult = 0;
}``

解决方法

我对 ODBC 了解不多，但怀疑有更好的方法来获取批量数据。

无论如何，您对载体做了很多不必要的复制。两个简单的修复：

在 m_vResult.clear(); 之后，将 m_vResult 的大小调整为记录数。
代替 m_vResult.push_back(vResult); 做 m_vResult.push_back(std::move(vResult));，因为在那之后您不需要 vResult。

正如我在您的代码中看到的，您读取数据并将它们放入向量中。在这样的设置中，我认为您并不真正需要 dynaset 记录集，根据文档，它是“双向滚动记录集”。它逐行获取数据，这可能是导致过程变慢的原因。此外，“其他用户对数据值所做的更改在获取操作后可见”，但我认为在这种情况下这并不重要。它对于显示更多经常更新的“实时”数据非常有用。

相反，snapshot 甚至 forwardOnly 记录集就足够了，而且速度会更快。您还可以尝试使用 CRecordset::useMultiRowFetch 选项。文档说它更快。它需要对您的代码进行一些更改（下一步等）。看看这里：Recordset: Fetching Records in Bulk (ODBC)。

另一种完全不同的实现是使用书签。加载速度会快很多，但滚动有些缓慢，因为您必须在 OnGetdispinfo() 函数中获取数据。

最后一个提示，如果您使用的是 MS-SQL 服务器，请检查本机驱动程序，如果您还没有，i-net 上的许多人声称它要快得多。

另一个解决方案是做一个缓存列表，处理 LVN_ODCACHEHINT 通知（这个例子是针对 CListView 但你可以在你的 CListCtrl 上调整它： >

// header.h

class CYourListView : public CListView
{
    // ...

    afx_msg void OnLvnOdcachehint(NMHDR* pNMHDR,LRESULT *pResult);
};

和实施：

// YourListView.cpp

    // ...
ON_NOTIFY_REFLECT(LVN_ODCACHEHINT,&CYourListView::OnLvnOdcachehint)
END_MESSAGE_MAP()

void CYourListView::OnLvnOdcachehint(NMHDR* pNMHDR,LRESULT* pResult)
{
    LPNMLVCACHEHINT pCacheHint = reinterpret_cast<LPNMLVCACHEHINT>(pNMHDR);

    const DWORD dwTo = pCacheHint->iTo;
    const DWORD dwFetched = m_vResult.size();

    if (dwTo >= dwFetched) // new rows must be fetched
    {
        const DWORD dwColCount = m_pRecordset->GetColumnCount();
        m_vResult.resize(dwTo + 1);
        for (DWORD dwRow = dwFetched; dwRow <= dwTo; ++dwRow)
        {
            CDBRecord* pRecord = new CDBRecord;
            pRecord->SetSize(dwColCount);
            for (DWORD dwCol = 1; dwCol <= dwColCount; dwCol++)
            {
                CDBValue* pDBValue = new CDBValue(m_pRecordset,dwCol);
                pRecord->SetAt(dwCol - 1,pDBValue);
            }
            m_vResult.emplace(m_vResult.begin() + dwRow,pRecord);
            m_pRecordset->MoveNext();
        }
    }

    *pResult = 0;
}

可能需要根据您的特定情况调整一些变量/值。

c++mfc mfc mfc recordset recordset

C++ 缓慢获取记录集行

问题描述

解决方法

相关问答