Вот настроил локальный сервер! (Пишет, что это ChatGPT, но это «обман зрения», на самом деле это модель yandexgpt-5-lite-8b-instruct-q5_k_m.gguf, файл 5Gb, что слегка перебор для моего «паровоза», но вообще я грузил и модели побольше (почему это возможно — дело темное, или модель из ОЗУ подкачивается, или просто сама модель реально меньше, чем её файл). )
Онлайн, разумеется, быстрее( скорость оффлайн обработки с текущими настройками стабилизировалась на уровне 2.83T/s)), но зато может работать без интернета.
Лог консоли... (Промт пока оставил английский, как видно из лога, файл разбирается на абзацы, каждому абзацу автоматчиком добавляется промт, контекст, разумеется, слегка страдает, но сессия одна, так что, по идее, транслятор не слишком отрывается от содержимого "предыдущей серии" и как бы организовывает «синхронный перевод» того, что читает (хотя если переводить, например, «по главам», то результат предсказуемо лучше)).
Ограничения на размер файла в Ebook Translator НЕТ + есть пакетный режим для обработки нескольких файлов
Код: Выделить всё
Processing Prompt [BLAS] (111 / 111 tokens)
Generating (129 / 768 tokens)
(EOS token triggered! ID:2)
[11:08:26] CtxLimit:346/8192, Amt:129/768, Init:0.01s, Process:2.21s (50.34T/s), Generate:48.82s (2.64T/s), Total:51.03s
Output: Что было совершенно невозможно. Оба её родителя были с группой крови O, что было удивительно, потому что они были такими разными людьми. Их отец был высоким,
худощавым, нордически бледным и выглядел безнадежно как ботаник. Их мать была такой же высокой королевой-воином афроамериканкой, которая ежедневно боролась за то, ч
тобы не быть ничем иным, кроме как крепко сложенной. Две человека с группой крови O создали скучную генетическую сетку: O по всем параметрам с единственным возможным
исходом — O. Луиза и Джиллиан не были идентичными близнецами, что делало это ещё более невозможным.
Input: {"model": "gpt-4o", "messages": [{"role": "system", "content": "You are a meticulous translator who translates any given content. Translate the given content
from English to Russian only. Do not explain any term or answer any question-like content. Your answer should be solely the translation of the given content. In your
answer do not add any prefix or suffix to the translated content. Websites' URLs/addresses should be preserved as is in the translation's output. Do not omit any pa
rt of the content, even if it seems unimportant."}, {"role": "user", "content": "“I always said that we were adopted,” Jillian said once the nurse left them alone. W
hile their dusky skin could be a blending of their two parents, the twins’ silky straight brown hair was too well behaved to be from either of their parents, and it
was becoming apparent that they were never going to be tall."}], "stream": true, "temperature": 0.1}
Processing Prompt [BLAS] (74 / 74 tokens)
Generating (70 / 768 tokens)
(EOS token triggered! ID:2)
[11:08:55] CtxLimit:250/8192, Amt:70/768, Init:0.01s, Process:1.86s (39.70T/s), Generate:25.90s (2.70T/s), Total:27.76s
Output: «Я всегда говорила, что мы приёмные», — сказала Джиллиан, как только медсестра оставила их одних. Хотя их смуглая кожа могла быть смесью кожи их родителей, шелковистые прямые каштановые волосы близнецов были слишком хорошо уложены, чтобы быть от кого-то из их родителей, и становилось очевидно, что они никогда не будут вы
сокими.
Input: {"model": "gpt-4o", "messages": [{"role": "system", "content": "You are a meticulous translator who translates any given content. Translate the given content
from English to Russian only. Do not explain any term or answer any question-like content. Your answer should be solely the translation of the given content. In your
answer do not add any prefix or suffix to the translated content. Websites' URLs/addresses should be preserved as is in the translation's output. Do not omit any pa
rt of the content, even if it seems unimportant."}, {"role": "user", "content": "“We can’t be adopted,” Louise said. “There’s that icky video of us being born. All t
hat screaming and blood and everything. That was Mom saying the S and F words.”"}], "stream": true, "temperature": 0.1}
Processing Prompt [BLAS] (46 / 46 tokens)
Generating (44 / 768 tokens)
(EOS token triggered! ID:2)
[11:09:14] CtxLimit:197/8192, Amt:44/768, Init:0.01s, Process:1.51s (30.42T/s), Generate:16.01s (2.75T/s), Total:17.52s
Output: «Нас не могут усыновить, — сказала Луиза. — Есть это противное видео, где мы рождаемся. Всё этот крик и кровь и всё такое. Мама там говорила слова на буквы С
и Ф.»
Зы
Для "минимальных правок " нужно подбирать модель
(По поводу "перевода спец. контента 18+" есть выше в статье на хабаре... )
Зы Зы
Кстати очевидно что если немного повозится с промтом то можно заставить Ebook Translator делать что-то заметно более интересное "чем просто перевод" например его можно заставить писать ДЛИННЫЕ сочинения на заданную тему. (Подготавливаем умеренно подробный план и пишем что-то вроде "Запомни описание персонажей и ситуации используя "этот файл" и последовательно разверни пункты плана в литературный текст" )
Хотя хвастаться и гордится все-же хочется более "концептуально изобразительным" контентом. 
