Создание лексического анализатора простого языка программирования

К основной странице курса

Предварительные замечания

Лексемы языка:

 ;  :=  +=  -=  *=  id  num  begin  end  cycle

Здесь

 id - идентификатор
 num - целое без знака
 begin  end  cycle - ключевые слова

Глобальные переменные, необходимые для работы лексического анализатора:

 fname: string;           // Имя файла программы
 LexRow,LexCol: integer;  // Строка-столбец начала лексемы. Конец лексемы = LexCol+Length(LexText)
 Lex: TLex;               // Тип лексемы   
 LexText: string;         // Текст лексемы
 LexValue: integer;       // Целое значение, связанное с лексемой lexNum

Тип TLex является перечислимым и содержит все возможные лексемы нашего языка, а также специальную лексему lexEot конца текста:

 TLex = (lexId,lexNum,lexSemicolon,lexAssign,lexAssignPlus,lexAssignMinus,lexAssignMult,lexBegin,lexEnd,lexCycle,lexEot);

Вспомогательные глобальные переменные, описанные в секции реализации модуля:

 ch: Char;         // Текущий символ
 f: text;          // Текущий файл
 row,col: integer; // Текущие строка и столбец в файле
 KeywordsMap := new Dictionary<string,TLex>; // Словарь, сопоставляющий ключевым словам константы типа TLex. 
                                             // Инициализируется процедурой InitKeywords

Процедура NextCh

Помимо считывания следующего символа ch, процедура NextCh поддерживает в актуальном состоянии текущие строку-столбец (row,col). При достижении конца файла в переменную ch возвращается специальный символ #0

Процедура InitKeywords

Процедура InitKeywords инициализирует словарь ключевых слов KeywordsMap. Этот словарь ставит в соответствие строке ключевого слова константу типа TLex:

KeywordsMap['begin'] := lexBegin;

Модуль лексического анализатора

// Распознавание программы на простом языке. Распознаватель лексем (лексер)
{ 
  Лексемы:
  ;  :=  +=  -=  *=  id  num  begin  end  cycle
  
  Ключевые слова:
  begin  end  cycle
}
unit SimpleLangLexer;

interface

// TLex - перечислимый тип - все лексемы грамматики
// lexEot - конец текста программы
type 
  TLex = (lexId,lexNum,lexSemicolon,lexAssign,lexAssignPlus,lexAssignMinus,lexAssignMult,lexBegin,lexEnd,lexCycle,lexEot);

var 
  fname: string;           // Имя файла программы
  LexRow,LexCol: integer;  // Строка-столбец начала лексемы. Конец лексемы = LexCol+Length(LexText)
  Lex: TLex;               // Тип лексемы   
  LexText: string;         // Текст лексемы
  LexValue: integer;       // Целое значение, связанное с лексемой lexNum

procedure NextCh;
procedure PassSpaces;
procedure NextLexem;
procedure Init(fn: string);
procedure Done;
procedure lexerror(message: string := '');

implementation

uses System.Collections.Generic;

var 
  ch: Char;         // Текущий символ
  f: text;          // Текущий файл
  row,col: integer; // Текущие строка и столбец в файле
  KeywordsMap := new Dictionary<string,TLex>; // Словарь, сопоставляющий ключевым словам константы типа TLex. Инициализируется процедурой InitKeywords

procedure lexerror(message: string);
begin
  var ss := System.IO.File.ReadLines(fname).Skip(row-1).First(); // Строка row файла
  writeln('Лексическая ошибка в строке ',row,':');
  writeln(ss);
  writeln('^':col-1);
  if message<>'' then 
    writeln(message);
  Done;  
  halt;
end;

procedure NextCh;
begin
  // В LexText накапливается предыдущий символ и считывается следующий символ
  LexText += ch;
  if not eof(f) then
  begin
    read(f,ch);
    if ch<>#10 then
      col += 1
    else
    begin
      row += 1;
      col := 1;
    end;
  end
  else ch := #0;  
end; 

procedure PassSpaces;
begin
  while char.IsWhiteSpace(ch) do
    NextCh;
end;

procedure NextLexem;
begin
  PassSpaces;
  LexText := '';
  LexRow := Row;
  LexCol := Col;
// Тип лексемы определяется по ее первому символу
// Для каждой лексемы строится синтаксическая диаграмма
  case ch of
  ';': begin
         NextCh;
         Lex := lexSemicolon;
       end;  
  ':': begin
         NextCh;
         if ch<>'=' then 
           lexerror('= ожидалось');
         NextCh;
         Lex := lexAssign;
       end;
  '+': begin
         NextCh;
         if ch<>'=' then 
           lexerror('= ожидалось');
         NextCh;
         Lex := lexAssignPlus;
       end;
  '-': begin
         NextCh;
         if ch<>'=' then 
           lexerror('= ожидалось');
         NextCh;
         Lex := lexAssignMinus;
       end;
  '*': begin
         NextCh;
         if ch<>'=' then 
           lexerror('= ожидалось');
         NextCh;
         Lex := lexAssignMult;
       end;
  'a'..'z': begin
         while ch in ['a'..'z','0'..'9'] do
           NextCh;
         if KeywordsMap.ContainsKey(LexText) then
           Lex := KeywordsMap[LexText]
         else Lex := lexId;
       end;
  '0'..'9': begin
         while ch in ['0'..'9'] do
           NextCh;
         LexValue := integer.Parse(LexText);
         Lex := lexNum;
       end;
    #0: Lex := lexEot;   
    else lexerror('Неверный символ '+ch);
  end;  
end;

procedure InitKeywords;
begin
  KeywordsMap['begin'] := lexBegin;
  KeywordsMap['end'] := lexEnd;
  KeywordsMap['cycle'] := lexCycle;
end;

procedure Init(fn: string);
begin
  InitKeywords;
  fname := fn;
  assign(f,fname);
  reset(f);
  row := 1; col := 1;
  NextCh;
  NextLexem;
end;

procedure Done;
begin
  close(f);
end;
 
end.

Задания

1. Добавить распознавание лексем , + - * / div mod and or not
2. Добавить распознавание лексем > < >= <= = <>
3. Добавить пропуск комментариев: // - до конца строки, { - до }
4. Добавить распознавание вещественного с фиксированной точкой: 3.14
5. Добавить распознавание лексемы :
6. Добавить распознавание лексем вида #1234 $AF13