以下为关键字和操作符定义：
enum tokenType {
// reserved Keyword
k_INT = 0/* int */, k_ELSE/* else */, k_RETURN/* return */,
k_VOID/* void */, k_IF/* if */,k_WHILE/* while */,
k_READ/* read */, k_WRITE/* write */,
// operations
ASSIGN/* = */, PLUS/* + */, MINUS/* – */, TIMES/* * */, DIV/* / */,
MOD/* % */, LT/* < */, GT/* > */,
// interpunctions
LPARAN, RPARAN/* ( ) */, LBRACE, RBRACE/* { } */, LSQUARE, RSQUARE/* [ ] */,
COMMA/* , */, SEMI/* ; */,
// complex operations
EQ/* == */, NEQ/* != */,NGT/* <= */, NLT/* >= */,
// others
k_EOF, k_ID, k_NUM, k_ERROR, k_NONE
};
Token 定义：
class Token{
public:
Token &operator=(const Token& rh);
tokenType type;
string str;
};
重载了 = 操作符，因为在很多时候需要使用 赋值 操作。这样可以简化实现。
以下为词法扫描器的定义：
class Scanner: public Tokenizer {
public:
Scanner(string& filename);
virtual ~Scanner();
void build_key_map(); // build the keyword map;
Token& nextToken(); // return next token !! primary interface
void push(); // push back current token, next return it
int errCount() const { return err_count; }
int warnCount()const { return warn_count; }
bool getListFile(); // create log file sourcename.log
// if in key_word, return tokenType value else return k_NONE;
tokenType reservedLookup(const string& word);
std::vector<Token> key_word;
protected:
void add_warn() { ++warn_count; }
void add_err() { ++err_count;}
Token m_token; // store current token
bool m_pushed; // push back curren token flag;
bool TraceScan;
int warn_count; // count warning
int err_count; // count the error;
};
实现：
/**: construction & destruction
&
* author: lonelyforest;
* data: 2006.03.16
*/
Scanner::Scanner(string &filename):Tokenizer(filename)
{
TraceScan = true;
m_pushed = false;
err_count = 0;
warn_count = 0;
m_token.type = k_NONE;
build_key_map(); // initial key words map
}
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
主要部分，状态机实现：
/*: s_state;
&
* 状态机的各个状态，nextToken() 的辅助
* 状态。
*/
enum stateType {
s_START, s_INID, s_INNUM, s_INCOMMENT,
s_INASSIGN, s_INL, s_ING, s_DONE};
主要状态机实现待续， 如果太长， 阅读很麻烦，不得不分开