Что такое токенизация в обработке текстов?
(Ответ считается верным, если отмечены все правильные варианты ответов.)
Варианты ответа
Разбиение последовательности символов на последовательность слов(Верный ответ)
Удаление знаков препинания из строки
Один из этапов обработки текста(Верный ответ)
Добавление зашифрованных элементов к последовательности символов
Расшифровка регулярных выражений
