"Управляемое исправление разрывов абзацев" и буквы в нижнем регистре

[Sclex]

Сейчас в скрипте "Управляемое исправление разрывов абзацев" (v3.9) буквы в нижнем регистре определяются регэкспом [а-яёa-zіїєґ]. То есть это буквы кириллицы от "а" до "я" (включая "ё"), буквы латиницы от "a" до "z", плюс четыре украинские буквы.

Я подумываю о том, чтобы  сделать более полное обнаружение букв нижнего регистра. Я взял полный список маленьких букв таблицы Unicode. Посмотреть можно здесь: https://pastebin.com/35Hx9wnr - в этом списке 1621 строка, что соответствует 1621 букве нижнего регистра. Название символа - вторая колонка (т.е. то, что после первого символа ";").

Вопрос вот какой. Надо ли какие-то символы не учитывать при поиске маленьких букв? Например, подумалось, что греческие символы могут (в книгах по физике, в формулах) находиться в начале строки и это может вызвать ложное срабатывание обнаружения разрывов абзацев.

Или вставить в скрипт полный список маленьких букв (все1621)?

[Sclex]

В общем, добавил в скрипт "Управляемое исправление разрывов абзацев" поддержку всех больших и маленьких Unicode-символов. Новая версия скрипта - 4.0.

Скачать можно здесь:
http://scripts.fictionbook.org/files3/FixingOfAbruptions_v4_0.zip

Также залил в хранилище исходников https://github.com/sensboston/fictionbookeditor/

[Sclex]

суббота, 7 октября 2017 г., 18:51:25 UTC+3 пользователь Sclex написал:

В общем, добавил в скрипт "Управляемое исправление разрывов абзацев" поддержку всех больших и маленьких Unicode-символов.

Вернее - "Unicode-букв".

[stokber]

Иногда при конвертации в fb2  начальная строчная буква книжной строки распознаётся как заглавная и в документе fb2 строка оказывается разорванной, а новый абзац (которого быть не должно) начинается с заглавной буквы. В меню скрипта явно просится на панель пункт "Соединить через пробел, Прописную преобразовать в строчную", или как-то так.

[Sclex]

stokber, ОК, принято, скорей всего сделаю в ближайшие дни.

среда, 18 октября 2017 г., 22:41:39 UTC+3 пользователь stokber написал:

[Sclex]

stokber, исполнил ваше пожелание, смотрите объявление о выкладывании ("выкладке"? "выложении"?) скрипта "Управляемое исправление разрывов v4.2" здесь (в топике "Новые версии старых скриптов"):
https://groups.google.com/d/msg/fiction-book-editor/yYra_Z_PuKI/_gdOuecaAgAJ

среда, 18 октября 2017 г., 22:41:39 UTC+3 пользователь stokber написал:

[stokber]

четверг, 26 октября 2017 г., 14:38:35 UTC+3 пользователь stokber написал:

Спасибо за ваши труды. Будем пробовать.

[stokber]

Если в разрыв попадает знак препинания, то не срабатывает. Вернее сказать, не предлагается "Соединить через пробел, букву в начале 2-го абзаца сделать маленькой".

четверг, 26 октября 2017 г., 14:41:53 UTC+3 пользователь stokber написал:

[Sclex]

Ок, сделаю, чтобы предлагалось.

пятница, 27 октября 2017 г., 11:45:14 UTC+3 пользователь stokber написал:

[Sclex]

stokber, по вашему скриншоту заметил еще, что попадает в число сомнительных случаев такая ситуация, которая туда попадать не должна. Речь о втором сверху случае: где первый абзац из пары кончается на "апельсинами.", а второй начинается на "Я сидiв".

пятница, 27 октября 2017 г., 11:45:14 UTC+3 пользователь stokber написал:

[stokber]

Да, в погоне за большими и маленькими буквами я и не догляделся.
Проверил версии 3.8 и 3.9. Обе показали по 15 сомнительных мест. А последние 4.0 и 4.2 - по 89 сомнительных мест. Это на всех книгах так. Видно ошибка вкралась уже в версии 4.0.

[Sclex]

Ошибка появилась вследствие добавления в скрипт списка юникодных букв.
В версии 4.0, да. Список маленьких юникодных букв делался из кодов
символов, взятых из таблицы Unicode. Родной функцией Javascript'а коды
букв конвертировались в сами буквы. Видимо, что-то сработало
неправильно. Поэтому в список маленьких букв попало несколько больших
русских букв. Но это я уже исправил.

Я вот чего не могу понять: в скрипте предусмотрена обработка такого
типа ситуаций:

Конец 1-го абзаца:
Не запятая и не закрывающая кавычка, либо закрывающая кавычка, перед
которой один из знаков: ?.!…

Конец 2-го абзаца:
Маленькая буква. Или символ из перечисленных: «"(–[=— а потом маленькая буква

Раньше, как оказалось, такие ситуации вообще не обрабатывались. Для
них просто не было кода в одном из HTML-файлов. Сейчас я это исправил.
Но я не уверен, что сформулированные выше условия для детекта такого
типа ситуаций правильны. По идее, наоборот же, 1-ый абзац должен
кончаться на запятую, либо на закрывающую кавычку перед которой нет
одного из символов ?.!… Так или не так?

27.10.2017, stokber<sto...@gmail.com> написал(а):

> --
> Вы получили это сообщение, так как подписаны на группу "Fiction Book
> Editor".
> Чтобы отменить подписку на эту тему, перейдите по ссылке
> https://groups.google.com/d/topic/fiction-book-editor/hf6SpNeNPxQ/unsubscribe.
> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на
> электронный адрес fiction-book-ed...@googlegroups.com.
> Настройки подписки и доставки писем: https://groups.google.com/d/optout.
>

[Sclex]

27.10.2017, stokber<sto...@gmail.com> написал(а):

> Если в разрыв попадает знак препинания, то не срабатывает. Вернее сказать,
> не предлагается "Соединить через пробел, букву в начале 2-го абзаца сделать
> маленькой".

Вопрос в том, как это реализовать в плане интерфейса.

Пункт "Соединить через пробел, букву в начале 2-го абзаца сделать
маленькой" можно добавить еще в три типа обрабатываемых ситуаций:

Ситуаций 1
В конце 1-го абзаца: Дефис, перед которым пробел
В начале 2-го абзаца: Любой символ

Ситуация 2
В конце 1-го абзаца: Тире или дефис, перед которым непробельный символ
В конце 2-го абзаца: Любой символ

Сиуация 3
В конце 1-го абзаца: Запятая
В начале 2-го абзаца: Любой символ

И, поскольку во всех этих случаях в начале 2-го абзаца (из пары) может
быть не только большая буква, но любой символ, то пункт "Соединить
..., букву ... сделать маленькой" будет не всегда уместен.

Можно сделать, чтобы этот пункт, когда он неуместен, в окне для ручной
обработки сомнительных мест был неактивным. А в диалоге выбора режимов
обработки как сделать? Если, допустим, человек выбрал в этом диалоге
пункт "Соединить ..., букву ... сделать маленькой", а в каком-то месте
fb2-документа второй абзац из пары начинается не с большой буквы, то в
окне ручной обработки пункт "Соединить ..., букву ... сделать
маленькой" будет неактивным, а какой вариант обработки тогда должен
быть выбран? Или вообще надо как-то по-другому сделать?

[stokber]

Я в окне выбора режимов оставляю всегда по умолчанию в ручном. Уже в окне показа сомнительных мест выбираю варианты, на то они и сомнительные места.
Велик и могуч и богат многообразностью русский язык. Как и любой другой. В этом отношении стараются не уступать ему как ошибки правописания, так и ошибки распознавания. Всего не охватишь, пожалуй. На все случаи отдельных кнопок не напасёшься. Да и запутаться в них можно. Если бы была возможность не выходя из окна скрипта исправить в тексте вот такие относительно не часто встречающиеся места, а затем продолжить работу со скриптом, это был бы вариант. Реализуемо ли это с помощью скриптов?

[stokber]

Вот ещё пример не часто встречающейся текстовой ситуации.
Это из версии 3.8. В версии 4.0 этого режима, впрочем, уже нет.
Не то, чтобы в тексте редко попадались нераспознанные двоеточия, они к тому же должны ещё и в разрыв угодить. На месте двоеточия могут быть и некоторые другие знаки.
Стоит ли всё это отдельно помещать в режимы, это вопрос.

 

[stokber]

Картинку забыл прикрепить.

суббота, 28 октября 2017 г., 13:15:11 UTC+3 пользователь stokber написал:

[stokber]

Можно так. В выборе режима обработки пункт "Соединить через пробел, букву в начале 2-го абзаца сделать маленькой" заменить на пункт "Соединить через пробел, первую из букв в начале 2-го абзаца сделать маленькой" или добавить этот же пункт, активируя в зависимости от текста документа один из них, соответственно дезактивируя другой.

[Sclex]

28.10.2017, stokber<sto...@gmail.com> написал(а):

> Вот ещё пример не часто встречающейся текстовой ситуации.
> Это из версии 3.8. В версии 4.0 этого режима, впрочем, уже нет.

Такое впечатление, что я не ту версию HTML-файлов взял, чтобы из них
сделать версию 3.9. Намеренно удалять варианты с многоточием я бы не
стал.

[Sclex]

28.10.2017, Sclex<scl...@gmail.com> написал(а):

> Такое впечатление, что я не ту версию HTML-файлов взял, чтобы из них
> сделать версию 3.9.

Да, проверка показала, что так и есть. Я, видимо, взял файлы из
хранилища на ГитХабе, а последняя версия лежала не там, а на
scripts.fictionbook.org.

> Намеренно удалять варианты с многоточием я бы не стал.

Вернее, с двоеточием. Уже приделал в скрипт обратно эти пункты
("Добавить ":"" и "Соединить через ":" и пробел". (Пока не
выкладываю.)

[Sclex]

> Если бы была возможность не выходя из окна скрипта исправить в тексте вот такие относительно не часто встречающиеся места, а затем продолжить работу со скриптом, это был бы вариант. Реализуемо ли это с помощью скриптов?

Ну WYSIWYG-редактирование пары абзацев можно сделать. Картинки токо
будут не видны. Но не знаю, буду ли я этим заниматься.


28.10.2017, Sclex<scl...@gmail.com> написал(а):

[Sclex]

stokber, выпустил "Управляемое исправление разрывов абзацев" версии 4.3. В этой версии добавил для ситуации, о которой вы писали, вариант обработки "Сохранить запятую, соединить абзацы через пробел. Первую букву 2-го абзаца сделать маленькой (если надо)".

Смотрите сообщение по ссылке:

https://groups.google.com/d/msg/fiction-book-editor/yYra_Z_PuKI/3HLPF-_QAAAJ

[stokber]

Спасибо! Будем посмотреть.

[stokber]

Всё отлично работает. Ещё раз спасибо!

пятница, 10 ноября 2017 г., 22:27:56 UTC+3 пользователь stokber написал:

Спасибо! Будем посмотреть.

[stokber]

Заметил у себя такой баг:
Если абзац разорван на картинке и перед картинкой есть пустая строка, то при склеивании абзаца картинка пропадает. Может это только у меня так, хотя старая версия 3.6 отрабатывает корректно.
FBE 2.5.7. Windows 7x64.

суббота, 11 ноября 2017 г. в 18:19:52 UTC+3, stokber:

[stokber]

Досылаю документ с примером.

пт, 14 янв. 2022 г. в 22:20, stokber <sto...@gmail.com>:

--
Вы получили это сообщение, поскольку подписаны на группу "Fiction Book Editor".
Чтобы отменить подписку на эту группу и больше не получать от нее сообщения, отправьте письмо на электронный адрес fiction-book-ed...@googlegroups.com.
Чтобы посмотреть обсуждение на веб-странице, перейдите по ссылке https://groups.google.com/d/msgid/fiction-book-editor/be047728-88a3-48d0-a4ab-1022c4c45e92n%40googlegroups.com.

[Sclex]

Да, у меня воспроизводится. Спасибо, что сообщили. А как правильно
должен работать скрипт в таком случае? Вообще не предлагать такую
"ситуацию" как разрыв абзаца?

14.01.2022, stokber<sto...@gmail.com> написал(а):

> --
> Вы получили это сообщение, так как подписаны на группу "Fiction Book
> Editor".

> Чтобы отменить подписку на эту тему, перейдите по ссылке
> https://groups.google.com/d/topic/fiction-book-editor/hf6SpNeNPxQ/unsubscribe.

> Чтобы отменить подписку на эту группу и все ее темы, отправьте письмо на
> электронный адрес fiction-book-ed...@googlegroups.com.
> Просмотреть это обсуждение в Сети можно по адресу
> https://groups.google.com/d/msgid/fiction-book-editor/be047728-88a3-48d0-a4ab-1022c4c45e92n%40googlegroups.com.
>

[stokber]

Обязательно в такой ситуации должен предлагать исправить разрыв. Скрипт и предлагает и исправляет, но попутно пропадает картинка. Причем пустая строка ниже картинки не мешает отработать корректно. Строка склеивается и картинка на месте.  Старый скрипт v 3.6  в такой ситуации отлично справляется: между строками может быть любое количество как пустых строк, так и картинок.

По этому скрипту у меня есть еще некоторые идеи. Напишу на почту.

суббота, 15 января 2022 г. в 10:58:13 UTC+3, Sclex:

[Sclex]

> Заметил у себя такой баг:
> Если абзац разорван на картинке и перед картинкой есть пустая строка, то при склеивании абзаца картинка пропадает.

Вроде как исправил это. Скрипт "Управляемое исправление разрывов абзацев" обновлен до версии 4.4. Пожалуйста, попробуйте.

Ссылки на файлы данного скрипта (в GIT-хранилище исходников FBE):

06_Управляемое исправление разрывов абзацев....js

HTML\Управляемое исправление разрывов абзацев - сомнительные места.html

HTML\Управляемое исправление разрывов абзацев - выбор режимов.html

HTML\CSS\удаление разрывов_add.css

HTML\CSS\удаление разрывов_main.css

Для обновления скрипта с версии 4.3 на версию 4.4 достаточно заменить первые два файла из этого списка.

суббота, 15 января 2022 г. в 11:23:20 UTC+3, stokber:

[stokber]

Да, теперь с картинками и пустыми строками все корректно работает. Спасибо!

среда, 19 января 2022 г. в 14:38:32 UTC+3, Sclex: