StringTokenizer 是 Java 中的一个类，用于将字符串拆分为标记（tokens）。默认情况下，它会根据空格、制表符和换行符来拆分字符串。要处理特殊字符，你可以使用正则表达式作为分隔符。
以下是一个示例，展示了如何使用 StringTokenizer 处理包含特殊字符的字符串：
import java.util.StringTokenizer;
public class Main {
public static void main(String[] args) {
String input = "This is a sample string with special characters: !@#$%^&*()_+{}|:\"<>?-=[]\;\',./";
// 使用正则表达式作为分隔符，例如：匹配任意非字母数字字符
StringTokenizer tokenizer = new StringTokenizer(input, "[^a-zA-Z0-9]");
while (tokenizer.hasMoreTokens()) {
System.out.println(tokenizer.nextToken());
}
}
}
在这个示例中，我们使用了一个正则表达式 [^a-zA-Z0-9] 作为分隔符，这意味着它将匹配任意非字母数字字符。这样，StringTokenizer 就会根据这些特殊字符来拆分字符串。
注意：StringTokenizer 类已经被认为是过时的，建议使用 String.split() 方法或 Scanner 类来处理字符串。在这些替代方案中，你可以更轻松地使用正则表达式来处理特殊字符。
