C++爬虫如何解析网页内容

在C++中，要解析网页内容，通常需要以下几个步骤：

1. 发送HTTP请求获取网页内容：可以使用C++网络库如Curl、Boost.Asio或者Poco等来实现。

2. 解析HTML内容：可以使用第三方库如htmlcxx、cpp-html或者TinyXML等来解析HTML文档结构并提取所需数据。

下面是一个使用Curl和htmlcxx的简单示例：

#include <iostream>
#include <string>
#include <curl/curl.h>
#include <htmlcxx/html/ParserDom.h>

static size_t WriteCallback(void* contents, size_t size, size_t nmemb, void* userp)
{
    ((std::string*)userp)->append((char*)contents, size * nmemb);
    return size * nmemb;
}

std::string fetch_url(const std::string& url)
{
    CURL* curl = curl_easy_init();
    std::string response;

    if (curl) {
        curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &response);
        curl_easy_perform(curl);
        curl_easy_cleanup(curl);
    }

    return response;
}

int main()
{
    std::string url = "https://example.com";
    std::string html_content = fetch_url(url);

    htmlcxx::html::ParserDom parser;
    auto dom = parser.parseTree(html_content);

    for (auto it = dom->childBegin(); it != dom->childEnd(); ++it) {
        if (it->tagName() == "a") {
            auto attributes = it->attributes();
            for (auto attr_it = attributes.begin(); attr_it != attributes.end(); ++attr_it) {
                if (attr_it->first == "href") {
                    std::cout << "Link: " << attr_it->second << std::endl;
                    break;
                }
            }
        }
    }

    return 0;
}

在这个示例中，我们首先使用Curl库发送HTTP请求获取网页内容，然后使用htmlcxx库解析HTML文档并提取所有链接。请注意，这个示例仅用于演示目的，实际应用中可能需要处理更复杂的情况，如错误处理、编码转换等。