Новый скрипт или как удалить лишние символы?

[Latimur Shahov]

Нельзя ли сделать новый срипт, а может уже есть необходимый.
Уже несколько лет, авторы книг заинтресованы писать больше символов.
И как результат они пишут сложные предложения, многократными описаниями...
В том числе и многочий и т.д.
У всех новых книг возникает чистить от "мусора".
Я в ручную выщичаю. Но тупая работа отнимает время.

Возможно поможет, я опишу свой алгоритм - порядок удаления символов.
1 - что ищу
2 - чем заменяю

… .... ... .. .! .? ???? ??? ?? ?. ?! !!!! !!! !! !. !?

.  .     .   .  .  .  ?     ?   ?  ?  ?   !    !   !  !   !  (Описаны 16 действий).

Все удаление провожу в режиме "Правки" - "Заменить все". И если первоначальный заменить все выявляется какое-то количество знаков, "Заменить все" повторяю, потому что одинаковых знаков возможно на много больше. Начинается с 4-рех, т.к. многие в основном пишут 4 и меньше. НО, бывает даже очень много!

[stokber]

Найти:
([.!?])[.!?]+
Заменить:
$1

Это регулярное выражение сократит различные комбинации символов точка-вопросительный знак-восклицательный знак до одного первого символа. Даже такие, например, как .?!  ?.!  !?.
Судя по вашему алгоритму, это то что вам нужно, и даже более.
Если нужно править ТОЛЬКО те, которые вы перечислили, то, наверное, три регулярки придётся применять.
Не забудьте проставить галочку "Регулярные выражения".
Можно и скрипт, конечно, написать. Но из-за двух регулярок в режиме Дизайна…
Если вы и СИМВОЛ МНОГОТОЧИЯ хотите перевести в точку, то эта регулярка вам не подойдет. Тут отдельно придётся.
Кстати, символ многоточия — это всего лишь один символ, так что тут в количестве знаков никакого выигрыша, хотя, может и не все авторы об этом догадываются. Это где же такие писатели обитают? Некоторые из ваших примеров — просто ошибки пунктуации.

четверг, 14 сентября 2023 г. в 18:49:43 UTC+3, shahl...@gmail.com:

[Latimur Shahov]

Да, только: 1) я даже то что Вы написали, не знаю как использовать, пробовал методом тыка, никак. Можно по шагам? 2) СИМВОЛ МНОГОТОЧИЯ - я в курсе, что входит "в одну клетку", также как ⁈ - перевожу в - ? Только, снова, как бы в ручную. Книги такие в АТ или "тудей", да и в других местах полным полно. И если каждую чистить в ручную, нервов не хватает. Вот и хотелось как то облегчить!

четверг, 14 сентября 2023 г. в 22:56:16 UTC+3, sto...@gmail.com:

[Latimur Shahov]

Да, получается, в разы сокращать!

пятница, 15 сентября 2023 г. в 06:12:08 UTC+3, Latimur Shahov:

[Latimur Shahov]

Кстати, символ многоточия — это всего лишь один символ, так что тут в количестве знаков никакого выигрыша, хотя, может и не все авторы об этом догадываются. - только этот символ уже "ложат", вернее "сыплют", так много, и спереди, и сзади, их после перевода, самих точек много где убирать приходиться. Отслеживая по одному удалять, переводить где надо в точку или в запятую, по ситуации. Тут уже поломать голову надо. ⁈ - в ? в основном уместно. Да их и так не очень много бывает. 

пятница, 15 сентября 2023 г. в 06:17:54 UTC+3, Latimur Shahov:

[Sclex]

> Нельзя ли сделать новый срипт, а может уже есть необходимый.

Я счас новое не программирую - только исправляю баги.

четверг, 14 сентября 2023 г. в 18:49:43 UTC+3, shahl...@gmail.com:

Нельзя ли сделать новый срипт, а может уже есть необходимый.

[Latimur Shahov]

Уважаемый sto...@gmail.com     

или может кто другой подскажет, 

1) как сделать нормально для "символа многоточия" -  … , нельзя ли придумать за один процесс, если  …  приведен в начале слов - удалить; если в конце слова и середине предложения - заменить запятой; в конце слова и конце предложения - заменилось на точку?  

2) И еще по поводу чистки замену еще одного символа ⁈ заменить с ? Нельзя ли этот процесс чем-то  объединить?

3) как то объединить удаление и замены  в "кодах": 

Удалить:

<empty-line/>
<strong>
</strong>
<emphasis>
</emphasis>
Заменить
<text-author> на <p>
</text-author> на </p>

четверг, 14 сентября 2023 г. в 22:56:16 UTC+3, sto...@gmail.com:

Найти:

[stokber]

>Latimur Shahov

> как сделать нормально для "символа многоточия"

Конкретнее, на что менять вот такие фрагменты:
слово… слово
слово …слово
И если такие конструкции будут попадаться:
слово … слово
слово…слово
Т. е. укажите
Найти:
Заменить:
для каждого приведённого мной фрагмента.
Возможно ещё какие-то примеры, неуказанные мной.


> в конце предложения
Что будем считать концом предложения? С концом абзаца понятно.
Если после многоточия Заглавная буква, это новое предложение, или?
Есть же имена персонажей и прочая география.
Пришлите или дайте ссылку на книгу, которою вы редактируете, это добавит понимания.


><text-author>
Я понимаю, что эти теги у вас завёрнуты в цитату, стихи или эпиграф.
Для цитат и эпиграфов есть скрипты "Расформатировать все цитаты" и "Расформатировать все эпиграфы".
Только нужно учесть, что эти скрипты удаляют форматирование цитат и эпиграфов полностью, включая
<text-author>. Будьте внимательны. Для стихов и отдельно тегов Автора, такого скрипта пока нет.
Можно удалить отдельно в режиме Кода, заменяя оба тега на пустую строку.

  

суббота, 23 сентября 2023 г. в 08:13:01 UTC+3, shahl...@gmail.com:

[stokber]

Скрипт "Удаление лишних символов"

Пока такой вариант. 

Написано на основе скрипта "Генеральная уборка".

Сокращает группы знаков препинаний (состоящие из точек, многоточий, вопросительных и восклицательных знаков) до первого символа.

Убирает начальные многоточия абзаца.

Конечные многоточия абзаца заменяет на точку.

Многоточия между слов заменяет на запятую (только если слово справа с маленькой буквы, иначе — оставляет как есть (пока)).

Спецсимвол  ⁈ на вопросительный знак.
Удаляет теги strong и emphasis.

Скрипт создан по просьбе Latimur Shahov, для специфических документов. Подойдёт не всем.

https://disk.yandex.ru/d/jmHSN5M8z2YbLA

суббота, 23 сентября 2023 г. в 12:14:57 UTC+3, stokber:

[Latimur Shahov]

Чтобы испытать, я ложу туда, где срипты лежат, а запускать прямо оттуда? Извините, я впервые, в подсказках нуждаюсь.

суббота, 23 сентября 2023 г. в 17:30:51 UTC+3, sto...@gmail.com:

[Latimur Shahov]

А это наверно я пропустил: 

Конкретнее, на что менять вот такие фрагменты:

слово… слово   слово, слово
слово …слово  слово ,слово

И если такие конструкции будут попадаться:

слово … слово   слово , слово
слово…слово   слово,слово

Т. е. укажите
Найти:   
Заменить:
для каждого приведённого мной фрагмента.
Возможно ещё какие-то примеры, неуказанные мной.

Вот сколько работаю, всегда когда впереди предложения – впереди самого переднего слова, на самом деле они не прижаты к слову, т.е. после них пробел. Внутри предложения всегда были прижатыми сзади слова, без пробела и после них пробел. Ну если где-то если нарушиться (случайно), все равно запятая.  

> в конце предложения
Что будем считать концом предложения? С концом абзаца понятно.

Если после многоточия Заглавная буква, это новое предложение, или?    Да!
Есть же имена персонажей и прочая география. Пусть, если это не конец, а они есть, и после заглавные – будем считать конец предложения. Не страшно, если даже где - то будет ошибка.

Пришлите или дайте ссылку на книгу, которою вы редактируете, это добавит понимания.

Их же много… Например, в флибусте http://flibusta.is/ берите любого автора, любую книгу Там свободно можно брать.

><text-author>
Я понимаю, что эти теги у вас завёрнуты в цитату, стихи или эпиграф.
Для цитат и эпиграфов есть скрипты "Расформатировать все цитаты" и "Расформатировать все эпиграфы".
Только нужно учесть, что эти скрипты удаляют форматирование цитат и эпиграфов полностью, включая
<text-author>. Будьте внимательны. Для стихов и отдельно тегов Автора, такого скрипта пока нет.
Можно удалить отдельно в режиме Кода, заменяя оба тега на пустую строку.  

 

<text-author> Это высказывание автора   </text-author> не разу не было стихов, цитать. Как бы, его мнение по поводу чего-то. И как бы вне содержания книги.

 

После авторов такие книги попадаются, приходить иногда столько переделывать… Порой, ужасаюсь, это они ведь такие книги выдают за деньги.

Тем более я же все это вижу, щупаю. И в теле, и в кодах.  После еще Чтение вслух, по несколько раз.

Если где-то, что-то не так, у меня в компе экз. остается, сразу устраняю и переложу снова и т.д..

 

суббота, 23 сентября 2023 г. в 20:24:20 UTC+3, Latimur Shahov:

[Latimur Shahov]

К стати вы не скрипт прислали, а видео по исправлению шрифтов - буков 

Скрипт создан по просьбе Latimur Shahov, для специфических документов. Подойдёт не всем.

https://disk.yandex.ru/d/jmHSN5M8z2YbLA

суббота, 23 сентября 2023 г. в 21:19:14 UTC+3, Latimur Shahov:

[stokber]

Какой-то глюк наверное. Несколько раз открывал у себя ссылку и даже скачал. Всё вроде сходилось. Но один раз, действительно вылезло это видео, почему-то. 

На всякий случай перевыложил ещё раз.

https://disk.yandex.ru/d/ExAvszLpjfxZ0Q

Там лежит архив RAR (на скрипты Яндекс ругается). Распаковываем и копируем в любую из подпапок папки "Скрипты", например "06_Чистка". 

FBE закрываем и запускаем снова. Находи в папке скрипт и запускаем его.

>Например, в флибусте http://flibusta.is/ берите любого автора, любую книгу Там свободно можно брать.

Мне не попадались книги с такой пунктуацией. Дайте хоть одно из наименований.

><text-author> Это высказывание автора   </text-author> не разу не было стихов, цитать. Как бы, его мнение по поводу чего-то. И как бы вне содержания книги.

Так это тег или нет? Дайте все-таки ссылку на эту книгу.

>Если после многоточия Заглавная буква, это новое предложение, или?    Да!

Хорошо, это завтра уже переделаю. 

Хотелось бы взглянуть на книгу.

суббота, 23 сентября 2023 г. в 21:38:15 UTC+3, shahl...@gmail.com:

[Latimur Shahov]

Приветствую.
А можно так написать? У меня вообще не редактированные уже мало.
Первоначально уже чищены. Вот нашел, но у него не так уж много
"мусора"
https://www.upload.ee/files/15718788/4Nezvanye_gosti.fb2.html
Вот там пример с "субтитрами" есть, на самом деле вместо них там * * * .
Но, хорошо, вот вспомнился. Это один из "украшений", которое часто
меняются. Конфигурации, содержание между кодами
<subtitle>* * *</subtitle> и не только. Расположения самих элементов
кода бывает меняются, даже внутри одной книги, бывает несколько
разновидностей.
Например (может не удачный, в памяти сейчас не очень, под рукой нет)
<empty-line/> может писаться левее, правее и т.д. И когда для поиска
беру первую попавшую и удаляю, с другим расположением уже не
удаляется.
23.09.2023, stokber<sto...@gmail.com> написал(а):

> Какой-то глюк наверное. Несколько раз открывал у себя ссылку и даже скачал.
> Всё вроде сходилось. Но один раз, действительно вылезло это видео,
> почему-то.
> На всякий случай перевыложил ещё раз.
>
> https://disk.yandex.ru/d/ExAvszLpjfxZ0Q
> Там лежит архив RAR (на скрипты Яндекс ругается). Распаковываем и копируем
> в любую из подпапок папки "Скрипты", например "06_Чистка".
> FBE закрываем и запускаем снова. Находи в папке скрипт и запускаем его.
>
>>Например, в флибусте http://flibusta.is/ берите любого автора, любую книгу
> Там свободно можно брать.
> Мне не попадались книги с такой пунктуацией. Дайте хоть одно из
> наименований.
>
>><text-author> Это высказывание автора </text-author> не разу не было
> стихов, цитать. Как бы, его мнение по поводу чего-то. И как бы вне
> содержания книги.
> Так это тег или нет? Дайте все-таки ссылку на эту книгу.
>
>>Если после многоточия Заглавная буква, это новое предложение, или? Да!
> Хорошо, это завтра уже переделаю.
> Хотелось бы взглянуть на книгу.
>
>
>
> суббота, 23 сентября 2023 г. в 21:38:15 UTC+3, shahl...@gmail.com:
>
>> К стати вы не скрипт прислали, а видео по исправлению шрифтов - буков
>> Скрипт создан по просьбе Latimur Shahov, для специфических документов.
>> Подойдёт не всем.
>> https://disk.yandex.ru/d/jmHSN5M8z2YbLA

>> <https://disk.yandex.ru/d/4v9aBUQVJQ79Ng>

>>>>> <https://disk.yandex.ru/d/4v9aBUQVJQ79Ng>

>>>>> суббота, 23 сентября 2023 г. в 12:14:57 UTC+3, stokber:
>>>>>
>>>>>>

>>>>>> >*Latimur Shahov*

> --
> Вы получили это сообщение, поскольку подписаны на группу Fiction Book
> Editor.
>
> Чтобы отменить подписку на эту группу и больше не получать от нее сообщения,
> отправьте письмо на электронный адрес
> fiction-book-ed...@googlegroups.com.
> Просмотреть это обсуждение в Сети можно по адресу
> https://groups.google.com/d/msgid/fiction-book-editor/1a90e27e-a1b6-4757-a3f3-cdf7990be921n%40googlegroups.com.
>

[stokber]

Просмотрел по ссылке файл. Знаков препинания в нем может и не пожалели, но всё в пределах правил пунктуации, на мой взгляд. 

>Вот там пример с "субтитрами" есть, на самом деле вместо них там * * * .

Традиционный и для бумажных, и для электронных книг обычай разделения текста на части, наряду с пустой строкой, кстати.

Если беспокоит разное количество звездочек и пробелов между ними, то это можно поправить.

><empty-line/> может писаться левее, правее и т.д. И когда для поиска беру первую попавшую и удаляю, с другим расположением уже не удаляется.

Про лево-право не понял. Если в режиме Кода нужно удалить <empty-line/>, не обращайте внимания на отступы слева, удаляйте только <empty-line/>, всё остальное программа доделает сама.

Не пугайтесь зияющих пустых строк после удаления <empty-line/> вручную. Выйдя из Кода, можно убедиться что всё в порядке. Если войти опять в Код, вы их уже не увидите. Или вы о чём-то другом?

Но гораздо удобней удалять пустые строки  скриптом "Удалить все пустые строки во всех body, кроме body примечаний и комментариев", о котором писал Sclex. Кроме <empty-line/>, он удаляет и пустые строки состоящие из одних пробелов.

воскресенье, 24 сентября 2023 г. в 11:21:28 UTC+3, shahl...@gmail.com:

[Latimur Shahov]

"Раз пошла такая пьянка" - со сриптом вообще супер. Смотрю, там и
предыдущую "регулярку" тоже вроде ключает?
Хреново, я наверно не смогу редактировать, отсюда, наверно если в один
скрипт попытаться включить все что постоянно, почти во всех книгах
приходиться делать одни и те же изменения, Одним движение получить
результат, а потом уже редактировать другие, которых можно делать
только в ручную, потому что у каждой книги они как бы персональные.
Это бы было супер. На много меньше уставал бы и физически и морально.

Попробую описать, мне кажется из них, хотя бы некоторые можно включить?!
1) в каждых есть подобные
<genre>sf_action</genre>
<genre>sf_heroic</genre>
<genre>sf_space</genre> - типы книг что ли. Они на мой взгляд вовсе
не нужны. А главное они еще чаще всего "виновниками" "капризов" книг
бывают. Т.е. получаю файл открываю и при любой попытке сохранить файл,
даже не изменив ничего Редактор пишет предупреждение, или даже отказ
от сохранения. И методов тыка я уже не глядя все их, или любые меняю
на единственное <genre>prose_contemporary</genre>
Потому что это мне позволяет любую книгу сохранить и все!
Т.е. нужно удалить все что включается между <genre> и </genre> в любом
количестве или разновидности нужно удалить, заменив на
<genre>prose_contemporary</genre> Дальше, попробую написать без
обоснования, будет так короче и понятнее наверно?
Удалить <keywords> все варианты </keywords> (обычно одна строка и без нее).
<coverpage> <image l:href="#cover.jpg"/></coverpage> - обложка - удалить.
<src-url>http://www.litres.ru/pages/biblio_book/?art=17203522</src-url>
наверно можно указав вход и выход все содержимые удалять?
Но, их бывает даже в нескольких местах и в нескольких строках.

<publish-info>
<book-name>Иар Эльтеррус. Гнев Императора. Книга вторая. Дальний
путь</book-name>
<publisher>Эксмо</publisher>
<city>Москва</city>
<year>2016</year>
<isbn>978-5-699-86769-1</isbn>
<sequence name="Русский фантастический боевик"/>
</publish-info> Тоже, это обычно повторы инфы спокойно можно
удалить между <publish-info> и </publish-info>
На счет <strong> и <emphasis> уж было, но про <subtitle> в последнее
время с ними всеми тремя даже вместе комбинированные даже применяют.
Но, иногда какую-либо слово вроде бы и нужное включается. Мне не
страшно, я всегда, в начале просматриваю, где-что. Если что-то нужное
их можно учесть, сохранить и пр. Тем самым и с <subtitle> можно все на
удаление включить!
<text-author> <p> эти и закрытие заменять! Но, еще удалить <code> </code>
еще удалить ' ` _ - апострофы и обратные , нижние подчеркивание .
Их нужно удалять. Словари, до сих пор их не включают и поэтому
полностью TTS прочитывает..
Вот примерно так. Еще и другие есть, но, там уже нужно изучать, к
месту или нет, делать в ручную.На это там еще много чего остается. Но,
уже облегчение ощутимое будет. На, внимательную вычитку и переделку
силы больше останется.
Спасибо большое.

[Latimur Shahov]

Самый большой кусок в конце книги:
<binary id="cover.jpg" content-type="image/jpeg">
Между этими кусками, вместе с ними.Самый большой кусок
=</binary>

И теперь еще новое, снова забывают. Теперь какая то другая программа
клепает - публикует и Даты пишет вместе с минутами в 4 рех местах.

<date value="2023-09-24 00:00">2023-09-24 00:00</date>
<date value="2023-09-24 и дальше лишние">2023-09-24 тоже</date>

И тоже так же, но они чуть ниже и отличаются. Т.е. в дату включают
время и наши редакторы не сохраняют, нужно каждый раз удалять.

<home-page> нужно удалить вместе с содержимыми.</home-page>

[stokber]

Вы, наверное, не понимаете как устроен формат fb2 и для чего он предназначен. 

Вы упоминаете TTS. Может вам требуется обычный текст для начитки в программе использующей речевые синтезаторы?

Если это так, то, по-видимому, ваша программа не умеет читать текст fb2, а зачитывает весь код вместе с именами тегов?

Чем вам мешают все эти binary-home-page? Это элементы внутреннего устройства формата, и в программах для чтения их не видно и не слышно.

Может вам нужен просто конвертор из fb2 в txt? 

воскресенье, 24 сентября 2023 г. в 17:30:24 UTC+3, shahl...@gmail.com:

[Latimur Shahov]

Ну, все, поехали гадать. Что-то мешает, что-то ради облегчения веса и т.д.
Скрипт проверял. Пока в средней части предложения не обхвачен, и
остаются много многоточий. А проблемы при чтении, они из-за словарей.
Приятно, когда читает и говорит "нижние подчеркивание"? Или
"звёздочка", "звёздочка" и пр.
А тут binary-home-page? обыкновенный мусор, для чего его там
оставлять? Чем проще, тем лучше. Все равно редактирую. Сейчас уже
многое по отдельным главам беру голый текст и у себя собираю. Потому
как публикуют так. Полную книгу, только по окончании, а некоторые еще
тянут сами сразу не делают вычитку, а у меня уже готовая книга. Первая
или когда начал позже, начинаю, чистый файл делаю и на нем компаную,
потом делаю циклы.
24.09.2023, stokber<sto...@gmail.com> написал(а):

> --
> Вы получили это сообщение, так как подписаны на группу "Fiction Book
> Editor".
> Чтобы отменить подписку на эту тему, перейдите по ссылке
> https://groups.google.com/d/topic/fiction-book-editor/zf_DdjfTzMY/unsubscribe.
> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на

> электронный адрес fiction-book-ed...@googlegroups.com.
> Просмотреть это обсуждение в Сети можно по адресу

> https://groups.google.com/d/msgid/fiction-book-editor/ef6f465d-bd6c-4757-a2a6-cba63e0c4163n%40googlegroups.com.
>

[stokber]

Скрипт, который я выложил предназначен только для работы с текстом из тела книги и строчными тегами. Это такой, как бы шаблон, в который можно подставлять регулярные выражения для изменения текста. С тегами Описания книги он не работает.

<binary> — это обложка и другие картинки из книги. Если нужно удалить, для этого есть скрипты из подпапки "Иллюстрации".

05_Удалить все вложения

10_Удалить все теги иллюстраций - теги image

01_Проверить иллюстрации

Зайдите во вкладку Описание документа. Обратите внимание на окошко Бинарные файлы. Можно удалять и оттуда, но это уже поштучно.

В этой же вкладке можно удалить и текст из тегов дескрипшена. Жанр и язык лучше не трогать, может заругаться. Информация из тегов дескрипшена — это описание книги, её  выходные данные. Эти данные используют онлайн-библиотеки (Флибуста и др.), а также офлайн-программы-библиотеки. Благодаря им мы видим в этих библиотеках обложку, название, имя автора, серию, жанр и др. С помощью этой информации верстальщики могут найти оригинал для возможной дальнейшей правки и т. д. Если делаете книгу только для себя, то тогда, конечно, ваше дело. Но, если планируется выкладывание для других, или редактируете уже изготовленную кем-то другим книгу… 

<subtitle> — это не только звёздочки. В них могут быть названия подглав и другой текст, который верстальщик решил разместить по центру окна.

Для работы с блочными тегами есть скрипт "Обзор и превращение элементов..." (папка "Обработка форматирования"). В нем можно увидеть все титлы-субтитлы и пр. и переформатировать в простой текст поштучно или целиком.

Если вы собираете книгу из текста отдельных онлайн-страниц и вам не нужны strohg-emphasis-ы и прочие теги, проще скопированное вставлять в обычный виндовский блокнот, а после, скопировав оттуда, вставлять в FBE. Это уберёт всё форматирование. Если вы так и делаете, то у вас не будет никаких <binary>, <code> и др.

Если что-то вдруг какой-то из скриптов сработал неправильно — сообщайте на форум. Эта информация поможет исправить возможные баги.

Остальное позже напишу на почту.

вс, 24 сент. 2023 г. в 21:20, Latimur Shahov <shahl...@gmail.com>:

Вы получили это сообщение, поскольку подписаны на группу Fiction Book Editor.

Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес fiction-book-ed...@googlegroups.com.
Просмотреть это обсуждение в Сети можно по адресу https://groups.google.com/d/msgid/fiction-book-editor/CAAfhKYfmGPG6hSeogzhkD5XzfPKgEckudZKnA5sf39J%2BNz%3DZuQ%40mail.gmail.com.