Лексема
Лексема — это минимальная значимая последовательность символов в исходном тексте программы. Из лексем строятся команды и выражения программы, подобно тому как из слов и знаков препинания строится предложение.
Лексемы распознаются по правилам алфавита языка программирования и образуют последовательность, из которой затем проверяется синтаксис программы. Пробелы, табуляции и переводы строк обычно служат разделителями лексем и сами лексемами не являются, хотя в некоторых языках отступы могут иметь специальное значение.
Какие бывают лексемы
- ключевые слова:
if,while,begin; - идентификаторы — имена переменных, функций и других объектов, например
sum; - константы:
25,3.14,"Привет"; - операторы:
+,=,<=; - разделители:
(,),,,;.
В строке result = a + 5 выделяются пять лексем: result, =, a, +, 5. Пробелы между ними не входят в состав лексем, а только разделяют их.
Лексема — это элемент исходного текста, а символ — отдельный знак. Например, <= состоит из двух символов, но в большинстве языков является одной лексемой-оператором. Токенизация — это процесс выделения и распознавания лексем, а не сама лексема.
Сколько лексем в выражении x <= 10?
<= — одна лексема.<= распознаётся как один оператор.Главное
- Лексема — минимальная значимая последовательность символов программы.
- К лексемам относятся ключевые слова, идентификаторы, константы, операторы и разделители.
- Лексемы выделяются при токенизации, а их порядок и допустимые сочетания проверяются по синтаксису языка.