C++ token解析方法

在C++中，可以使用词法分析器（lexer）来解析token。词法分析器会读取源代码并将其分解成一个个的token，这些token可以是关键字、标识符、运算符、常量等。

以下是一个简单的C++代码示例，展示如何使用词法分析器来解析token:

#include <iostream>
#include <sstream>
#include <cctype>

enum TokenType {
    KEYWORD,
    IDENTIFIER,
    OPERATOR,
    CONSTANT
};

struct Token {
    TokenType type;
    std::string value;
};

std::vector<Token> tokenize(const std::string &input) {
    std::vector<Token> tokens;
    std::istringstream inputStream(input);
    std::string tokenValue;

    while (inputStream >> tokenValue) {
        Token token;

        if (tokenValue == "int" || tokenValue == "float" || tokenValue == "double") {
            token.type = KEYWORD;
        } else if (std::isalpha(tokenValue[0])) {
            token.type = IDENTIFIER;
        } else if (std::ispunct(tokenValue[0])) {
            token.type = OPERATOR;
        } else {
            token.type = CONSTANT;
        }

        token.value = tokenValue;
        tokens.push_back(token);
    }

    return tokens;
}

int main() {
    std::string input = "int main() { return 0; }";
    std::vector<Token> tokens = tokenize(input);

    for (const Token &token : tokens) {
        std::cout << "Type: " << token.type << ", Value: " << token.value << std::endl;
    }

    return 0;
}

在上面的例子中，我们定义了一个简单的token结构体，包含类型和值两个成员。然后编写了一个tokenize函数，该函数接受输入源代码的字符串，通过一个istringstream对象来逐个读取token并判断其类型，最后将token存储在一个vector中返回。

在main函数中，我们传入一个简单的C++代码字符串，并调用tokenize函数解析token，然后打印出每个token的类型和值。

通过这种方法，我们可以实现基本的token解析功能，可以根据需要扩展词法分析器来支持更多类型的token。