Логика поиска конкретных слов из кучи

[vitaly_l]

Вообще-то правильнее двигаться в сторону ИИ.

Вообще-то для тех кто понимает, ИИ - превосходит возможности человека в 1 000 000 000 раз. Грубо говоря если ИИ поставить задачу: "уничтожить человечество", то ИИ победит людей. Но все современные подобия ИИ, к счастью, требуют громадных ресурсов.

Двигаться нужно туда, на что у автора программы хватает знаний и умений, с учётом возможного повышения квалификации. ИИ - это сложная задача, которая не имеет ничего общего с распознаванием номеров или лиц.

[olegy123]

Сегодня у меня база 1 724 384 вопросов - ответов, есть возможность значительно увеличить её.

Это что? Обучить ИИ - он начнет также ответы к месту вставлять. Правда не понимая предмета разговора. Обучить понимание слов - это задача иного порядка.

Добавлено спустя 1 минуту 31 секунду:
Автор делает эту работу инструментами прошлого века.

[Лекс Айрин]

По поводу матершиника ИИ - так его люди научили ругаться, даже попугай побывав в нехороших местах - имеют "плохой французкий" язык.. дети тоже.

Не спорю... но отключать даже не попытавшись исправить положение...

Добавлено спустя 6 минут 22 секунды:

Грубо говоря если ИИ поставить задачу: "уничтожить человечество", то ИИ победит людей.

К счастью, это не далеко не так. Да и смысл уничтожать человечество, если после этого он окажется никому не нужен и "умрет" когда выключится электричество и закончится заряд в бесперебойнике? Терминатор, в своей основной посылке, в корне неверное поле для выводов.

[azsx]

Автор делает эту работу инструментами прошлого века

Что именно не так и что посоветуете?

Добавлено спустя 7 минут 41 секунду:
оффтопик
Читаю топик. В топике суть: пока космические корбали бороздят просторы вселенной, опытные программисты на основе теории графов мастерят лингвистический анализ и отлаживают робота, который может ответить на вопросы жизни, вселенной и ваще.
В это время я (сдуру) преобразовал в базе спецсимволы как в хтмле. Исправил только что. Ещё мне надо ошибки орфографические и синтаксические проверить (1,7*10^6 * 2). Ещё я сдуру когда парсил упустил из виду, что если титл повторяет начало вопроса (а иногда они ваще одинаковые) то надо титл сокращать. Потом буду править. Потом ещё слова сокращать (других вариантов поиска не предложили). Жуть короче, проще с терминатором побороться

[Лекс Айрин]

Что именно не так и что посоветуете?

По большому счету, -- копай дальше))) Все наши разговоры лишь повод задуматься, а не руководство к действию.

Лично я не уверен, что использование только корней, да еще вне контекста, будет достаточным. Но возможно, ты сумеешь меня (и не только) переубедить в этом.
Теперь стоит остановить внимание на стресс-тестах -- это особым образом задаваемые вопросы рассчитанные на ситуацию, когда бот вынужден задавать стандартные вопросы. Задаваемые человеком вопросы противоречивы и неполны, они обычного человека выбивают из равновесия и проявляют наличие/отсутствие у собеседника эмоциональной сферы.
Конечно, в обычном диалоге тест Тьюринга машины давно прошли, а вот такой еще не факт, что с ходу удастся. И не стоит рассчитывать на то, что пользователи не станут "взламывать" систему. Троллей полно.

[Deimos]

грамматический анализатор, теория графов. Круто, чо... Приведите, пожалуйста, по моей задаче пример из теории графов

http://www.cyberforum.ru/pascal/thread89458.html

[sts]

как раз в тему, обработка естественных языков
https://habrahabr.ru/company/wunderfund/blog/330194/

[vitaly_l]

как раз в тему, обработка естественных языков
https://habrahabr.ru/company/wunderfund/blog/330194/

"Обзор исследований в области глубокого обучения"... У него ресурсов не хватит на глубокое обучение, там нужны гигантские вычислительные мощности.

[azsx]

У него ресурсов не хватит на глубокое обучение

Виталий, спасибо, хоть вы меня понимаете.
зы
Про бинарный поиск понял.

[sts]

"Обзор исследований в области глубокого обучения"... У него ресурсов не хватит на глубокое обучение, там нужны гигантские вычислительные мощности.

с чего это? "глубокого обучения" это название технологии и суперкомпьютер тут необязателен, да для распознавания объектов на видео, нужна мощная видюха, а тут банальный текст.

[vitaly_l]

с чего это? "глубокого обучения" это название технологии и суперкомпьютер тут необязателен, да для распознавания объектов на видео, нужна мощная видюха, а тут банальный текст.

Глубокое обучение - это нейронные сети "второго поколения", которые могут сами анализировать что искать, в то время как нейронные сети "первого поколения", требуют помощи людей. Так вот, нейронные сети глубокого обучения требуют в три раза больше ресурсов нежели сети которые им предшествовали. Соответственно, у него не хватит ресурсов, но вы можете попробовать и самостоятельно убедиться.

Всё не так просто как на словах. 1 000 000 * 1 000 000 * 1 000 000 * 1 000 000 * 1 000 000 * 1 000 000 итераций - слишком сложная задача для сервера (на взгляд скромного художника).

Возможно программисты думают иначе? Поделитесь мы оценим.

.

[sts]

это 20 лет назад было проблемой а сейчас домашний комп чуть ли не 10тыс раз мощнее, повторюсь Deep learning это подход а не просто очень много данных и процессоров, вон авто пилот рулит как раз на таких сетях
https://www.youtube.com/watch?v=VuweCfAGZjU
https://www.youtube.com/watch?v=ESE3XWV_tVY

[vitaly_l]

это 20 лет назад было проблемой а сейчас домашний комп чуть ли не 10тыс раз мощнее, повторюсь Deep learning это подход а не просто очень много данных и процессоров, вон авто пилот рулит как раз на таких сетях
https://www.youtube.com/watch?v=VuweCfAGZjU
https://www.youtube.com/watch?v=ESE3XWV_tVY

http://forsite-company.ru/services_and_ ... 3114839123

[sts]

и что?

[vitaly_l]

и что?

Если вы знаете как это сделать быстрее, то покажите автору топика алгоритм ( и мне тоже - покажите... ).