Лексинг/Парсинг "здесь" документы

Ответ 1

В этом ответе я сосредоточусь на heredocs, потому что уроки можно легко перенести в JCL.

Любой язык, поддерживающий heredocs, не является контекстно-свободным и поэтому не может быть проанализирован с помощью общих методов, таких как рекурсивный спуск. Нам нужен способ руководства лексером по более скрученным дорожкам, но при этом мы можем поддерживать внешний вид контекстно-свободного языка. Нам нужен еще один стек.

Для анализатора мы рассматриваем введение в heredocs <<END в виде строковых литералов. Но лексер должен быть расширен, чтобы сделать следующее:

• Когда происходит ввод heredoc, он добавляет терминатор в стек.
• Когда встречается новая строка, тело heredoc лексируется, пока стек не будет пустым. После этого нормальный синтаксический анализ возобновляется.

Позаботьтесь об обновлении номера строки соответствующим образом.

В рукописном объединенном парсере/лексере это можно реализовать следующим образом:

use strict; use warnings; use 5.010;

my $s = <<'INPUT-END'; pos($s) = 0;
<<A <<B
body 1
A
body 2
B
<<C
body 3
C
INPUT-END

my @strs;
push @strs, parse_line() while pos($s) < length($s);
for my $i (0 .. $#strs) {
  say "STRING $i:";
  say $strs[$i];
}

sub parse_line {
  my @strings;
  my @heredocs;

  $s =~ /\G\s+/gc;

  # get the markers
  while ($s =~ /\G<<(\w+)/gc) {
    push @strings, '';
    push @heredocs, [ \$strings[-1], $1 ];
    $s =~ /\G[^\S\n]+/gc;  # spaces that are no newlines
  }

  # lex the EOL
  $s =~ /\G\n/gc or die "Newline expected";

  # process the deferred heredocs:
  while (my $heredoc = shift @heredocs) {
    my ($placeholder, $marker) = @$heredoc;
    $s =~ /\G(.*\n)$marker\n/sgc or die "Heredoc <<$marker expected";
    $$placeholder = $1;
  }

  return @strings;
}

Вывод:

STRING 0:
body 1

STRING 1:
body 2

STRING 2:
body 3

Параграф Marpa упрощает это, позволяя запускать события после разбора определенного токена. Они называются паузами, потому что встроенный лексик останавливает момент, чтобы вы взяли верх. Вот обзор высокого уровня и короткий блогпост, описывающий этот метод с демонстрационным кодом на Github.

Ответ 2

Если кто-то задавался вопросом, как я решил это решить, вот что я сделал.

Моя основная лексическая процедура принимает итератор, который набрасывает полные строки текста (который может взять его из файла, строки, что бы я ни захотел). Эта процедура использует это для создания другого итератора, который анализирует строку для "комментариев" после столбца 72, которая затем будет возвращаться в качестве маркера "mainline", а затем токена "col72". Этот итератор затем используется для создания еще одного итератора, который пропускает токены col72 без изменений, но принимает токены mainline и лексики их в атомарные токены (например, STRING, NUMBER, COMMA, NEWLINE и т.д.).

Но здесь основная проблема... в процедуре lexing есть ОРИГИНАЛЬНЫЙ ИТЕРАТОР... поэтому, когда он получает токен, который указывает, что есть документ "здесь", он продолжает обрабатывать токены, пока не попадет в токен NEWLINE (это означает конец фактической строки текста), а затем использует оригинальный итератор, чтобы снять данные документа. Поскольку этот итератор подает итератор атомных токенов, вытягивая его, он предотвращает распыление этих линий.

Чтобы проиллюстрировать, подумайте об итераторах, подобных шлангам. Первый шланг является главным итератором. К этому я присоединяю шланг итератора col72, и к этому я присоединяю атомный шланг токенизатора. По мере того, как потоки персонажей входят в первый шланг, атомизированные жетоны выходят из конца третьего шланга. Но я могу прикрепить 2-контактный сопло к первому шлангу, который позволит его выходу выходить из альтернативного сопла, предотвращая попадание данных во второй шланг (и, следовательно, третий шланг). Когда я закончил перенаправление данных через альтернативное сопло, я могу отключить его, а затем данные снова начнут протекать через второй и третий шланги.

Easy-peasey.