Лексер превращает символы в токены
Последовательность символов `total = price + 5` можно разделить на идентификаторы, оператор присваивания, оператор сложения и числовой литерал. Лексический анализ знает правила слов языка, но обычно ещё не решает, имеет ли выражение смысл. Если встречается недопустимый символ или незакрытая строка, ошибка может возникнуть уже на этом этапе.
Парсер проверяет грамматику и строит дерево
Токены нужно расположить в соответствии с синтаксисом языка. Парсер определяет, что сложение является частью правой стороны присваивания, учитывает приоритет операторов и вложенность конструкций. Результатом часто становится абстрактное синтаксическое дерево, где лишние детали исходной пунктуации отброшены, а структура программы выражена явно.
Семантический анализ проверяет смысл
Синтаксически правильная программа всё ещё может быть некорректной. Переменная может не существовать, функция получить неподходящее число аргументов, а типы не поддерживать операцию. Таблицы символов и правила типов помогают связать имена с объявлениями и проверить ограничения, которые нельзя выразить одной грамматикой.
Промежуточное представление упрощает оптимизацию
Многие компиляторы не переходят сразу от дерева к машинным инструкциям. Код преобразуют в промежуточную форму, удобную для анализа и оптимизаций. Затем backend учитывает архитектуру целевой машины и генерирует инструкции. Такое разделение позволяет одному языку поддерживать несколько платформ, а одной backend-инфраструктуре обслуживать разные фронтенды.
Попробуйте на практике
Разберите простое арифметическое выражение как мини-компилятор.
- Возьмите выражение `x = 2 + 3 * 4` и выпишите токены.
- Постройте дерево с учётом приоритета умножения.
- Добавьте таблицу символов и предположите тип переменной x.
- Представьте выражение как последовательность простых промежуточных операций.
- Отдельно придумайте по одной ошибке для лексера, парсера и семантического анализатора.
Как проверить результат. Упражнение выполнено, если вы можете показать, на каком этапе обнаруживается каждый тип ошибки и почему парсер не отвечает за всю компиляцию.
Частые вопросы
Парсер и компилятор — одно и то же?
Нет. Парсер обычно является одной из стадий компилятора и отвечает за синтаксическую структуру входа.
Зачем нужно абстрактное синтаксическое дерево?
Оно представляет программу в структурированной форме, удобной для анализа и дальнейших преобразований.
Интерпретатору нужен парсер?
Часто да. Даже без генерации машинного файла языку всё равно нужно понять структуру исходного текста.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.