Обсуждение проблем использования локальных LLM (псевдо ИИ)

Обсуждаются как существующие проекты (перевод документации, информационная система и т.п.), так и создание новых.

Модератор: Модераторы

Alex2013
долгожитель
Сообщения: 3264
Зарегистрирован: 03.04.2013 11:59:44

Сообщение Alex2013 »

Seenkao писал(а):Alex2013, побалуйся и выкинь. Пользуйся чатом для конкретных поисков, не заставляй его генерировать тебе код, особенно если он сложный. Мало того что ты на чат потратишь время, так ещё и потом на доработку кода (который писал не ты) будешь тратить время.
Ну как-бы тренд на использование LLM все ще в ходу... (Основной хайп я благополучно пропустил примерно так-же как первую волну шума вокруг генерации изображений однако AUTOMATIC1111 Stable Diffusion Web UI вполне прижилась в моем графическом инструментарии так-же как GIMP или Blender и выкидывает я ее никуда не собираюсь бо это реально полезная и интересная штука )

Сейчас в «мире LLM» идет переосмысление их возможностей, специализация и так сказать, «инструментизация». Разумеется, все ждут и немного боятся перехода на «Пятый Уровень», но все это где-то там, а я где-то тут. Есть идея, что можно так или иначе добавить интеллект в свои программы, возможно, в IDE и это пожалуй все мои надежды касательно LLM.

Особых плюшек от генерации и анализа программного кода я не ожидаю. Но, кроме прочего, попытки использовать LLM в процессе разработки позволяют немного разнообразить подходы к решению задачи (самостоятельно перебирать возможные реализации своих идей довольно затратно по времени, да и просто лениво).
Аватара пользователя
debi12345
долгожитель
Сообщения: 5761
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Сообщение debi12345 »

Ну во всяком случае фотошоп "Krita" в компании со "StabelDiffusion" (по факту ставятся в одной ЛОКАЛЬНОЙ связке) генерят весьма реалистичных дамочек, это весьма увлекательное развлечение ))
Например вот что пишет grok-2
"Грок" весьма и весьма неплох. Жаль,что не запоминает диалоги и контекст между сессиями. Причем он реально обучается в диалогах с пользователями, а не только по тэггированным датасетам от создателей. Например мне удалось научить его разгадывать некоторые загадки, основанные на игре слов. Также научил его правильно переводить юникс-секунды в даты (он реально в ЭТОМ ошибался ).

Добавлено спустя 13 минут 15 секунд:
Re: Обсуждение проблем использования локальных LLM (псевдо ИИ)
Сеанс обучения "грока" )))
Теперь - "Баба с ... , кобыле ..."
"Баба с телегой, кобыле не товарищ."

Код: Выделить всё

Не-а.  Правильно - "Баба с воза, кобыле легче" . И объясни смысл этой пословицы
Извините за ошибку. Правильно: "Баба с воза, кобыле легче."
Эта пословица означает, что когда кто-то или что-то становится лишним или ненужным, это облегчает ситуацию для остальных. В буквальном смысле, если баба (женщина) спрыгнет или будет убрана с телеги (воз), то лошади станет легче тянуть её. В переносном смысле, это может относиться к различным жизненным ситуациям, когда избавление от лишнего груза или человека приносит облегчение или улучшение условий для кого-то другого.
Ну а тогда почему ты в 1й раз ответил "Баба с телегой, кобыле не товарищ" *? Это же не несет никакого смыла,просто набор слов. Загадки, поговорки и пословицы всегда несут какой-то явный или подразумеваемый смысл - проверяй на это в будущем
Спасибо за обратную связь! Вы правы, мой первый ответ был некорректным и не имел смысла в контексте пословиц и поговорок, которые обычно несут определенный месседж или урок. В будущем я буду более внимательно проверять ответы на соответствие логике и смыслу пословиц. Спасибо, что указали на эту ошибку!
Alex2013
долгожитель
Сообщения: 3264
Зарегистрирован: 03.04.2013 11:59:44

Сообщение Alex2013 »

debi12345 писал(а):Ну во всяком случае фотошоп "Krita" в компании со "StabelDiffusion" (по факту ставятся в одной ЛОКАЛЬНОЙ связке) генерят весьма реалистичных дамочек, это весьма увлекательное развлечение ))
Как говорит одна моя знакомая "Не без этого!" :wink: Хотя хвастаться и гордится все-же хочется более "концептуально изобразительным" контентом.

Изображение
Серия "Весенние обострение" Мираж старого парка
"В мире есть две точки зрения:
«Чудес не бывает!» и «Всё вокруг является чудом!»".
debi12345 писал(а):"Грок" весьма и весьма неплох.
Согласен. Но интереснее всего юзать локальные LLM. Пусть они слабее «облачных» (скачать можно почти что угодно, но домашнее железо тяжелые модели не потянет), однако ощущения от использования локальных моделей совершенно другие!

Облака — они «где-то там», и в них подсознательно немного не веришь, то есть никак нельзя проверить, не сидит ли там «индус за занавеской» или просто «экспертная система + обычный (не интеллектуальный и/или не нейронный) чат-бот»...

Но когда на глухо отключенном от Сети компе внезапно появляется «электронный джин», знающий больше, пусть даже не всегда точных ответов, чем можно задать за всю свою жизнь, это реально впечатляет! К тому же у локальных моделей нет проблем с запоминанием диалогов (если есть нужда в продолжении разговора, то «стоимость» около 2 ГБ дискового пространства на ветку любой беседы), а еще локальным моделям вполне можно скормить целую стопку конфиденциальных и приватных документов на анализ и обработку.
Alex2013
долгожитель
Сообщения: 3264
Зарегистрирован: 03.04.2013 11:59:44

Сообщение Alex2013 »

Интересно но увы во первых как-бы едва ли сравнится с одной мощной видеокартой во-вторых "скромный домашний кластер" это сколько и каких машин ? Понятно что "небольшая майнинг ферма" легкостью все это потянет, но если юзать обычную для среднего пользователя кучу старого халма то "мучают меня смутные сомнения"(с).
(Я прошлом году пытался сделать кластер из 4-х старых ноутбуков и одного древнего десктопа но смысл этого действия как-то довольно быстро от меня ускользнул )
Последний раз редактировалось Alex2013 11.05.2025 17:47:17, всего редактировалось 1 раз.
xchgeaxeax
постоялец
Сообщения: 207
Зарегистрирован: 11.05.2023 02:51:40

Сообщение xchgeaxeax »

Alex2013 писал(а):но смысл этого действия как-то довольно быстро от меня ускользнул )
Пытались выжать еще один стакан сока из 4-х уже выжатых половинок лимона
Аватара пользователя
Alexander
энтузиаст
Сообщения: 896
Зарегистрирован: 18.12.2005 18:10:00
Откуда: оттуда
Контактная информация:

Сообщение Alexander »

Что думаете об этом? https://t.me/tproger/13343
Собрал, запустил, сделал ему тестовый запуск, но он упал. Сыроват ещё. Но направление на ускорение правильное.
Laforey
незнакомец
Сообщения: 2
Зарегистрирован: 12.03.2026 00:11:56

Сообщение Laforey »

Доброго времени суток. Не подскажите какие LLM модели подходят для перевода с английского на русский?
- Перевод текста из игр на русский.
Оперативка - 16gb ddr4
Видюха - Nvidia rtx 2060 super 8gb
Процессор - I9400f
Alex2013
долгожитель
Сообщения: 3264
Зарегистрирован: 03.04.2013 11:59:44

Сообщение Alex2013 »

Пойдут почти любые проблема заставить их переводить большие тексты.
Но вообще сейчас яндекс-браузер в плане перевода и "нейро-редактирования" текстов силен и могуч ! (огромные фанфики на форумах и просто тексты книг переводится просто и надежно ( самый быстрый способ такой: конвертируем тест в HTML открываем в браузере и включаем "перевод страницы" контролируемо прокручиваем текст сохраняем перевод) Про качество можно сказать что тексты сразу переводятся в читабельном виде (ошибки есть но они некритичны для понимания и легко правятся наличии знания контекста )
Зы
Если есть проблемы со скачиванием ЯБ яндекс-браузер идем в магазин микрософта (там он есть) проблемы доступа к облаку-яндекса решаются "стандартно" ( нужные дополнения можно ставить прямо в браузер ).
Зы Зы
Если судить по видюхе машинка для использования нейронок средняя памяти (озу) желательно добавить чуть побольше (24-32 Гб ОЗУ пока что "хватает на все " а вот 16гб уже может быть недостаточно )

Если вес-же нужен офлайн перевод то посмотрите СЮДА
"Собираем комплекс для качественного офлайн-перевода текстов, работающий на самом обычном игровом компьютере"
Laforey
незнакомец
Сообщения: 2
Зарегистрирован: 12.03.2026 00:11:56

Сообщение Laforey »

Alex2013
Давай я уточню.
В данный момент я перевожу игры с 18+ контентом. Gemini начиная от модели 2.5 pro для меня очень неплохо справляется, т.к редактирование переведенного текста составляет не более 50-60%. На вопрос "он же должен блочить такой контент" есть способ его обхода. Суть в том, что я устал от впна + ограничений на запросы. Я не собираюсь пихать разом 100.000 строк в ИИ. Достаточно того, что я закину 100 строк и пока редактирую их, следующие 100 строк переводятся. Но пока что, ни одна из моделей даже и не близка к 2.5 pro. По крайней мере какие я пробовал.
Пытаюсь донести, что мне нужен перевод огромных файлов, меня интересует перевод с минимальными правками.
Ответить