Логика поиска конкретных слов из кучи

Общие вопросы программирования, алгоритмы и т.п.

Модератор: Модераторы

Re: Логика поиска конкретных слов из кучи

Сообщение sts » 06.06.2017 12:24:42

а что ссылки на обзор не достаточно? ключевые слова там все есть.
тут все просто, есть два варианта, либо программист в ручную закодит парсинг слов со всеми исключениям (корни суффиксы префиксы; глаголы, существительные, прилагательные), закодит логику связи между ними, закодит фильтрацию ошибочных символов и т.п. и в итоге получит туже самую сеть только в виде массивов констант и кусков кода, быструю, раз в 10, не более (если учесть значительную часть разнообразия входящих данных),
либо напишет "платформу" (как раз ту самую сеть) которая умеет по входящим данным строить те же самые массивы констант и куски кода только в виде абстрактных коэффициентов.
если и найдете исходники первого варианта то он наверняка чем-то не устроит а доработать их себе дороже, а второй вариант легко дорабатывается обучающими данными, как то так.
sts
постоялец
 
Сообщения: 406
Зарегистрирован: 04.04.2008 12:15:44
Откуда: Тольятти

Re: Логика поиска конкретных слов из кучи

Сообщение vitaly_l » 06.06.2017 12:43:47

sts писал(а):если и найдете исходники первого варианта то он наверняка чем-то не устроит а доработать их себе дороже, а второй вариант легко дорабатывается обучающими данными, как то так.

всё верно,

но второй вариант есть "только" на сервере гуглей и подобных монстров, А первый слишком сложен, даже для команды учёных и специалистов в данной области, имеющих государственную поддержку. Поэтому существует третий вариант, который прост в реализации, т.к. реализуем на простом сервере со стандартной БД. Третий вариант и делает ТС.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Логика поиска конкретных слов из кучи

Сообщение sts » 06.06.2017 12:52:33

опять двадцать пять, причем здесь сервер гуглей? у гулей и сайт на куче датацентров развернут, но это не значит что нельзя веб сервер развернуть на домашнем компе и он не сможет обслуживать форум с десятком активных пользователей.
sts
постоялец
 
Сообщения: 406
Зарегистрирован: 04.04.2008 12:15:44
Откуда: Тольятти

Re: Логика поиска конкретных слов из кучи

Сообщение vitaly_l » 06.06.2017 13:14:28

sts писал(а):то не значит что нельзя веб сервер развернуть на домашнем компе и он не сможет обслуживать форум с десятком активных пользователей.

Сервер - развернуть можно, ИИ на нейронных сетях глубокого обучения, на этом сервере - развернуть тоже можно, через несколько лет эта сеть обучится первому слову. За то время пока сеть будет учиться первому слову, топикстартер - изучит досконально все слова русского мата.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Логика поиска конкретных слов из кучи

Сообщение azsx » 06.06.2017 13:17:54

Моё отношение к нейроным сетям: так как людей 7,5 миллиардов и их нечем занять -- людей десятками тысяч сажают на обучение выборок. С такими человеко-часами любой алгоритм был бы прекрасен.
Да, баловаться глубокими нейросетями -- у меня нет денег.
ИИ к моей задаче не относятся никак от слово совсем.
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Логика поиска конкретных слов из кучи

Сообщение olegy123 » 06.06.2017 13:21:20

azsx писал(а):Что именно не так и что посоветуете?

Сейчас если познакомить ИИ с текстами Пушкина - он тебе выдаст текст схожи по стилистике.. "Дуб" и "Лукоморья" может будут связными словами. И при запросе "где Лумоморье?" ИИ даст ответ "у Дуба".. Само понятие "Дуба" и "Лукоморья" у ИИ нет.

vitaly_l писал(а):У него ресурсов не хватит на глубокое обучение, там нужны гигантские вычислительные мощности.

Не обязательно. Приведу как "мат". Чтобы на нем хорошо разговаривать не нужно знать больше 500 слов. Поэтому он "удобный".

Проблема ИИ не в том что нужно "глубокое обучение" и большие мощности, а в том что ему не хватает предметных знаний. В соседней ветке ZCAD там сейчас идет обсуждение стандартиризации предметных знаний для проектирования... Вот если те знание прикрутить к ИИ и возможно тогда в реале как в ильме будет - "Здесь будет очень до ... ядерных осадков, тебе тогда и матрица приснится!"

Добавлено спустя 6 минут 9 секунд:
Когда я это понял - тогда у другана просил этим заняться - wiki для машин. задолго до открытия самого wikipedia, просил бабки на это, но он тогда сказал что это чушь.

Добавлено спустя 1 минуту 48 секунд:
Недавно слышал, что Европа хочет создать "wiki для машин" типа "m2m".
olegy123
долгожитель
 
Сообщения: 1643
Зарегистрирован: 25.02.2016 12:10:20

Re: Логика поиска конкретных слов из кучи

Сообщение azsx » 06.06.2017 13:29:42

olegy123, что такое пассаж. Это неделимое выражение в "корпусе" как в ИИ его называют.
Условно, берём 1*10^9 текстов из сети интернет и разбиваем их по 2 словам. Там будут много раз встречаться фразы "у лукоморья дуб зелёный" и редко "у синхрофазатрона ель красная". Статистикой, дешёво по ресурсам (как компа, так и железа) я получу неделимые популярные выражения. То есть смогу предсказать, что когда вы говорите "где Лумоморье?" я отвечу "у Дуба". Не?
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Логика поиска конкретных слов из кучи

Сообщение vitaly_l » 06.06.2017 13:30:20

olegy123 писал(а):Чтобы на нем хорошо разговаривать не нужно знать больше 500 слов. Поэтому он "удобный".

Чтобы грамотно общаться русским матом, нужно знать гораздо больше чем 500 слов. Потому что, одним словом из русского мата, можно описать всё изложенное в данном топике. И всем сразу станет понятно что именно здесь обсуждали. Именно поэтому, коренному населению - запрещают общаться на непонятном языке, т.к. русские с помощью ОДНОГО слова из мата - мгновенно передают сотни терабайт информации.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Логика поиска конкретных слов из кучи

Сообщение sts » 06.06.2017 13:32:43

azsx писал(а):Да, баловаться глубокими нейросетями -- у меня нет денег.

обучить сеть на два порядка быстрее чем вы нормально напишете все ручками, а для текста достаточно обычного проца.
olegy123 писал(а):Не обязательно

да эти два товарища ваще жгут не по детски
такое ощущение что никто ссылок не смотрел.
sts
постоялец
 
Сообщения: 406
Зарегистрирован: 04.04.2008 12:15:44
Откуда: Тольятти

Re: Логика поиска конкретных слов из кучи

Сообщение vitaly_l » 06.06.2017 13:36:57

sts писал(а):а для текста достаточно обычного проца

Вы обучали?
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Логика поиска конкретных слов из кучи

Сообщение azsx » 06.06.2017 13:56:53

обучить сеть на два порядка быстрее

Вы обучали?
зы
Если что я ссылки смотрю, в том числе и по ИИ смотрел. Просто пока это всё не то.
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Логика поиска конкретных слов из кучи

Сообщение olegy123 » 06.06.2017 13:59:19

azsx писал(а):Статистикой, дешёво по ресурсам (как компа, так и железа) я получу неделимые популярные выражения. То есть смогу предсказать, что когда вы говорите "где Лумоморье?" я отвечу "у Дуба". Не?

Скорее да.. но при "где Дуб" - тут статистика по Лумоморье скорее даст не верный результат..

sts писал(а):да эти два товарища ваще жгут не по детски
такое ощущение что никто ссылок не смотрел.

смотрели, там машина подрезает и сигналит "спасибо"?
olegy123
долгожитель
 
Сообщения: 1643
Зарегистрирован: 25.02.2016 12:10:20

Re: Логика поиска конкретных слов из кучи

Сообщение azsx » 06.06.2017 14:01:38

olegy123 , а как бы вы, человек, ответили на вопрос: где Дуб?
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Логика поиска конкретных слов из кучи

Сообщение Лекс Айрин » 06.06.2017 14:16:48

azsx, в лесу, в дубраве, в поле, за окном...
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: Логика поиска конкретных слов из кучи

Сообщение sts » 06.06.2017 14:21:21

vitaly_l писал(а):Вы обучали?

баловался давно, тоже хотел сделать отвечалку на вопросы технического характера, типа - не работает с такойто ошибкой - надо залезть тудато сделать тото, и это было гораздо быстрее чем писать вручную, но лень победила, не довел до ума.

Добавлено спустя 57 секунд:
т.е. технические вопросы со стороны неподкованного человека

Добавлено спустя 1 минуту 46 секунд:
типа - модель вики требует знания ключевых слов - а хотелось чтобы "угадывала" по обывательским формулировкам
sts
постоялец
 
Сообщения: 406
Зарегистрирован: 04.04.2008 12:15:44
Откуда: Тольятти

Пред.След.

Вернуться в Общее

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9

Рейтинг@Mail.ru