自制前端框架 Day1.实现最基础的词法分析器

昨天有了如何将表达式与scope相结合的思路，今天开始实现这个思路的第一步。
如果想要编译一个表达式，其实就是实现一个简单的编译器。既然是编译器，通常就是三个步骤：

词法分析，将一个字符串分解成token数据结构，这也是编译过程中最基本的处理单元。
抽象语法树（AST），就是由很多token产生的一个树形数据结构。
编译，将抽象语法树（AST）转换成为目标代码，在这里就是转换成上一篇博客提到的fnA（一个接受scope对象作为参数并且返回特定属性值的函数）

思路已经明确，就从一个最简单的词法分析器开始。

jasmine测试案例：

describe('Lexer词法分析器函数',function(){
  it('Lexer函数确实存在',function(){
    expect(Lexer).toBeDefined();
  })
  it('Lexer接受一个整数的话会生成一个token',function(){
    var lexer = new Lexer('21');
    expect(lexer.tokens.length).toBe(1);
  })
  it('Lexer接受一个整数的话会生成一个token,token符合预期的数据结构',function(){
    var lexer = new Lexer('21');
    expect(lexer.tokens[0].text).toBe('21');
    expect(lexer.tokens[0].value).toBe(21);
  })
})

写定义一个Lexer函数让第一条案例通过：

function Lexer(expression){
}

我的构思是：Lexer是个对象，它的构造函数接受一个表达式字符串作为参数，同时应该有一个lex方法用来实际解析表达式字符串，还有一个tokens数组用于保存解析出来的token。写一下代码:

function Lexer(expression){

}
Lexer.prototype.lex=function(expression){
  this.tokens=[];

}

lex方法的思路是，从表达式字符串的第一个字符开始逐字遍历，直到结束。遇到数字的话就进入数字解析流程，数字解析流程结束后，接着遍历接下来的字符串，并且进入相应的流程。举个例子，比如我传入的表达式字符串是“123+321”，那么lex方法从第一个字符也就是“1”开始读，发现“1”是一个数字，则进入读取数字流程，在读取数字流程中，将“123”读取完毕，跳出数字读取流程，回到lex流程，发现接下来的字符是“+”，则进入运算符读取流程，以此类推。不过今天我不打算写的过于复杂，从测试案例也能看出来，我只打算写最基本的读取数字流程。这就扩充一下代码：

function Lexer(expression){

}
Lexer.prototype.lex=function(expression){
  this.tokens=[];
  this.text = expression;
  this.index = 0;
  while (this.index<this.text.length) {
    if(遇到了数字){
        进入数字读取流程
    }else{
        throw "现在只支持数字，不支持别的字符"
    }
  }
  return this.tokens;
}

上面这段伪代码很明显说明我的Lexer对象还需要其他的两个方法：判断一个字符是不是数字的方法，以及数字读取方法。现在写一下这两个方法。判断一个字符是不是数字的方法很简单：

Lexer.prototype.isNumber=function(char){
  return '0'<=char && char <='9';
}

读取数字流程稍微复杂点：Lexer.index是一个游标，指向当前正在读取的字符，在编译原理中喜欢把这个变量称为look a head变量，我为了简便就取名为index。
数字读取流程的思路是，从当前游标指向的字符开始判断是不是数字，是的话就保存下来，不是的话就跳出循环，跳出循环后，用保存下来的数字生成一个token，并且将这个token推入Lexer的tokens数组。还拿刚才的“123+321”例子来说，数字读取流程读1，是数字，保存；再读2，是数字，拼接到刚才的1后面；再读3，是数字，拼接到刚才的12后面；再读，是个加号，不是数字，跳出数字循环，用刚才拼出来的123生成一个token数据结构：{text:'123',value:123} 然后将这个token推入Lexer.tokens数组保存。
按照这个思路写代码：

function Lexer(expression){

}
Lexer.prototype.lex=function(expression){
  this.tokens=[];
  this.text = expression;
  this.index = 0;
  while (this.index<this.text.length) {
    if(this.isNumber(this.text.charAt(this.index))){
      this.readNumber()
    }else{
      throw "现在只支持数字，不支持别的字符"
    }
  }
  return this.tokens;
}
Lexer.prototype.isNumber=function(char){
  return '0'<=char && char <='9';
}
Lexer.prototype.readNumber=function(){
  var token;
  var number='';
  while (this.index<this.text.length) {
    var currentChar = this.text.charAt(this.index);
    if(this.isNumber(currentChar)){
      number+=currentChar;
      this.index++;
    }else{
      break;
    }
  }
  token={
    text:number,
    value:Number(number)
  }
  this.tokens.push(token)
}

这样应该就基本完成了，把Lexer构造方法补全，应该就可以通过测试案例了。试试看：

function Lexer(expression){
  this.lex(expression);
}
Lexer.prototype.lex=function(expression){
  this.tokens=[];
  this.text = expression;
  this.index = 0;
  while (this.index<this.text.length) {
    if(this.isNumber(this.text.charAt(this.index))){
      this.readNumber()
    }else{
      throw "现在只支持数字，不支持别的字符"
    }
  }
  return this.tokens;
}
Lexer.prototype.isNumber=function(char){
  return '0'<=char && char <='9';
}
Lexer.prototype.readNumber=function(){
  var token;
  var number='';
  while (this.index<this.text.length) {
    var currentChar = this.text.charAt(this.index);
    if(this.isNumber(currentChar)){
      number+=currentChar;
      this.index++;
    }else{
      break;
    }
  }
  token={
    text:number,
    value:Number(number)
  }
  this.tokens.push(token)
}

看一下测试案例，三个案例都SUCCESS了。美滋滋。

三个测试案例都通过了

全部栏目

自制前端框架 Day1.实现最基础的词法分析器