Невидимые символы из моделей
Чистка текста
В тексте от модели остаются символы нулевой ширины: пробелы, склейки слов, BOM, мягкие переносы. Глазом их не видно, но они переживают копирование, видны любому парсеру и ломают вёрстку при вставке. Инструмент подсвечивает каждый прямо в тексте и говорит, что с ним делать: одни и те же коды в одном месте мусор, а в другом работа. Тот же U+200D между буквами лишний, а между лицами держит эмодзи семьи; U+200C внутри персидского слова — правило написания. Такие мы не трогаем и показываем зелёным. Всё считается в браузере, текст никуда не уходит.
Вставьте текст — проверка пойдёт сразу
Ничего не уходит на сервер: всё считается здесь, в браузере
Текст считается в браузере и никуда не уходит
Убрать невидимые символы из текста после нейросети
Вставьте текст, и проверка пойдёт сразу: инструмент подсветит каждый невидимый символ прямо в строке и уберёт лишние одной кнопкой. Символы, которые держат эмодзи и написание слов, остаются на месте и помечаются отдельно. Текст считается в браузере и никуда не отправляется.
Как пользоваться
- 1Вставьте текст в поле — проверка запускается сразу, без кнопок
- 2Посмотрите, где сидят метки: фиолетовые уберём, зелёные оставим
- 3Нажмите «Очистить и скопировать» — чистый текст сразу в буфере
Что внутри
- U+200B
- Zero-width space — убираем
- U+00AD
- Мягкий перенос — убираем
- U+2060
- Word joiner — убираем
- U+FEFF
- BOM — убираем
- U+200D
- Внутри эмодзи оставляем, между букв убираем
- U+200C
- В персидском и хинди оставляем
- U+200E / U+200F
- Метки направления, оставляем по умолчанию
Частые вопросы
Ломает ли очистка эмодзи?
Нет. Эмодзи семьи собран из нескольких лиц, склеенных символом U+200D, а цветное сердце держится вариационным селектором. Инструмент судит каждый символ по соседям: между двумя пиктограммами это клей, между буквами — мусор. Клей остаётся и помечается зелёным.
Куда уходит текст?
Никуда. Проверка и очистка выполняются в браузере на вашем устройстве, сетевых запросов с текстом нет. Страница работает и в офлайне после загрузки.
Откуда вообще берутся эти символы?
Их оставляют генераторы текста и редакторы: нулевой ширины пробелы попадают при копировании из веба, BOM добавляют текстовые редакторы, мягкие переносы приходят из вёрстки. Глазом они не видны, но переживают копирование и видны любому парсеру.
Что такое метки направления и зачем их оставлять?
U+200E и U+200F удерживают латинское слово или число в правильную сторону внутри строки на иврите или арабском. В русском и английском тексте они мусор, поэтому их можно убрать отдельной галочкой, но по умолчанию они сохраняются.
