pre

在刷题的时候发现有些大神用StreamTokenizer来减少数据读入时间，经过尝试，在读入数据多的情况下，这部分节省出来的时间是比较明显的。但是在尝试反转句子[^题目]的时候，我需要处理换行符的问题，我发现EOL标识一直读不到，最终在stackoverflow上找到了答案，我在这里把经验分享给大家。

问题简述

代码如下：

public static void main(String[] args){StreamTokenizer in = new StreamTokenizer(new BufferedReader(new InputStreamReader(System.in)));Stack<String> sentence = new Stack<>();StringBuffer sb = new StringBuffer();try {while(in.nextToken() != StreamTokenizer.TT_EOF){if(in.ttype == StreamTokenizer.TT_EOL){while(sentence.size()>0){sb.append(sentence.pop());if(sentence.size() > 0){sb.append(' ');}else{sb.append('\n');}}}else{sentence.push(in.sval);}}System.out.println(sb.toString());} catch (IOException e) {e.printStackTrace();}}

输入数据如下

hello xiao mi
hello xiao mi

在debug过程中，

in.ttype == StreamTokenizer.TT_EOL

这个条件恒为false

所以初步问题定位为 StreamTokenizer的nextToken方法会跳过EOL标签

解决方案

参考大神回答[^大神回答] ，在初始化StreamTokenizer的时候需要执行以下一下语句

in.eolIsSignificant(true);

再默认情况下nextToken会忽略EOL标记，上面这行语句可以避免nextToken跳过。

回溯源码（执果索因）

首先检查nextToken方法，检查是否会返回EOL

//在nextToken找到如下代码
if (c == '\r') {LINENO++;if (eolIsSignificantP) {peekc = SKIP_LF;return ttype = TT_EOL;}c = read();if (c == '\n')c = read();
} else {if (c == '\n') {LINENO++;if (eolIsSignificantP) {return ttype = TT_EOL;}}c = read();
}

根据上述代码，我们可以确认nextToken是会返回EOL的，但是eolIsSignificantP决定了是否返回，那么我们下一步检查eolIsSignificantP相关的代码。

//初始化
private boolean eolIsSignificantP = false;
/*** Determines whether or not ends of line are treated as tokens.* If the flag argument is true, this tokenizer treats end of lines* as tokens; the {@code nextToken} method returns* {@code TT_EOL} and also sets the {@code ttype} field to* this value when an end of line is read.* <p>* A line is a sequence of characters ending with either a* carriage-return character ({@code '\u005Cr'}) or a newline* character ({@code '\u005Cn'}). In addition, a carriage-return* character followed immediately by a newline character is treated* as a single end-of-line token.* <p>* If the {@code flag} is false, end-of-line characters are* treated as white space and serve only to separate tokens.** @param   flag   {@code true} indicates that end-of-line characters*                 are separate tokens; {@code false} indicates that*                 end-of-line characters are white space.* @see     java.io.StreamTokenizer#nextToken()* @see     java.io.StreamTokenizer#ttype* @see     java.io.StreamTokenizer#TT_EOL*/public void eolIsSignificant(boolean flag) {eolIsSignificantP = flag;}

找到这两段代码，我们就可以知道解决方案了

总结

源码是最好的说明文件

reference

JDK 1.8 源码
[^题目] : http://exercise.acmcoder.com/online/online_judge_ques?ques_id=3330&konwledgeId=155
[^大神回答] : https://stackoverflow.com/questions/31152497/end-of-line-not-reading-stream-tokenize-java

StreamTokenizer读不到TT_EOL相关推荐

StreamTokenizer输入中的用法
StreamTokenizer用来分隔字符串. 可以获取输入流并将其分析为Token(标记).StreamTokenizer的nextToken方法将读取下一个标记. 功能 1. 将输入流分解成一组 ...
Java StreamTokenizer nextToken（）方法与示例
StreamTokenizer类nextToken()方法 (StreamTokenizer Class nextToken() method) nextToken() method is avail ...
Java StreamTokenizer quoteChar（）方法与示例
StreamTokenizer类quoteChar()方法 (StreamTokenizer Class quoteChar() method) quoteChar() method is avail ...
Java StreamTokenizer whitespaceChars（）方法及示例
StreamTokenizer类whitespaceChars()方法 (StreamTokenizer Class whitespaceChars() method) whitespaceChars ...
Java的快读快输出
众所周知,Java Scanner类的读入的真的真的慢在我们使用Scanner类进行读入数据时,数据一旦过万,他就会显得非常慢而用StreamTokenizer类差不多好像是要比Scanner快个 ...
acm竞赛技巧——c/c++ /java 快读快写(整数，字符串)
文章目录整数快读快写字符串读入读出 java快读快输注意: 本文参考博客整数这里用int做示范,long long,__int128 改下变量类型即可快读 inline int r ...
java算法竞赛必备之快读快写（超详细解读）
java算法竞赛必备之快读快写(超详细解读) java写算法的缺点:速度慢.读写复杂.莫名WA(错误答案).TL(超时).CL(超内存)- (那我们还学个啥啊,都转c++写算法不香嘛.)别急别急,有缺 ...
Java StreamTokenizer pushBack（）方法与示例
StreamTokenizer类pushBack()方法 (StreamTokenizer Class pushBack() method) pushBack() method is availabl ...
BERT大火却不懂Transformer？读这一篇就够了重点命名实体识别
bert_config.josn 模型中参数的配置 { "attention_probs_dropout_prob": 0.1, #乘法attention时,softmax后dro ...

StreamTokenizer读不到TT_EOL

pre

问题简述

解决方案

回溯源码（执果索因）

总结

reference

StreamTokenizer读不到TT_EOL相关推荐

最新文章

热门文章