Решено: Как автоматически обрабатывать комментарии?

Любые обсуждения, не нарушающие правил форума.

Модератор: Модераторы

Решено: Как автоматически обрабатывать комментарии?

Сообщение azsx » 24.06.2016 11:16:39

У меня есть несколько сайтов, на них пишут комментарии.

----------------------------------------
Я хочу перестать читать чужие комменты совсем. И при этом не уехать в Магадан (не попасть в бан комнадзора).
----------------------------------------

Что сейчас сделано.
Было уведомление по смс если хостеры пишут в письме слово "комнадзор". Можно восстановить, но я смски редко читаю.
Есть просмотр всех комментов на одной странице. Быстренько перейти что-то ответить (часто пишут нормально) или стереть нафиг. Вручную через wincsp я стираю; читаю новые комментарии я на одной странице; отвечаю прямо на странице источнике.

В чем проблема?
1. Если хостер написал "на вас накатал абузу комнадзор исправьте" - надо удалить коммент за сутки. Иначе, бан аккаунта.
2. Я против политики и религии и всех холиваров на своих сайтах. Мне сетевые войны не нужны от слова совсем.
3. Мне хочется всё автоматизировать.

Что я хочу.
Я хочу написать программу в паскале, которая после запуска на десктопе (или консоли) скачивает комменты с разных хостингов и сайтов по ftp или ssh и проводит их анализ. Физически все новые комментарии хранятся в одном месте в текстовом файле. Таким образом программа должна скачать текстовой файл, автоматически провести анализ комментариев на соответствие всему законодательству РФ, стереть неугодные комментарии (тоже в текстовом файле), залить всё обратно. Заодно орфографические и синтаксические ошибки исправить, автоматически. И так каждые 10 минут.

В чем сложность?
Совсем не понятно какие базы брать или у комнадзора своя есть. Логично, насобирать список стоп слов (матершинные слова, наркотики, политические термины и личности, суициды). Я понимаю только где маты взять. Ну наркотики списком.

Так же, для некоторых сайтов возможно поставить запрет на размещение телефонного номера в контактах. Ссылки у меня еще при первой проверки запрещены. Может что-то еще ставить на запрет автоматом?

Всё - больше ничего умного в голову не приходит.

То есть окончательный вопрос в том, как разбить на подзадачи анализ комментария, чтобы он соответствовал законодательству рф и не вызывал срача в комментах, то есть не был провокационным.
----------
ВАжно, забыл уточнить меня интересует анализ только комментариев с моих личных сайтов. Не со всего интернета.
-------------------------
Решено: забил, сделал перебором словарика. Всем спасибо.
Последний раз редактировалось azsx 02.07.2016 11:55:41, всего редактировалось 3 раз(а).
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматически обрабатывать комментарии?

Сообщение pupsik » 24.06.2016 11:47:52

тут наборы словарей мелькали.

п.с.
А вот то что вы хотите. Это не в потрепаться тему :)
pupsik
энтузиаст
 
Сообщения: 1154
Зарегистрирован: 20.08.2014 16:20:13

Re: Как автоматически обрабатывать комментарии?

Сообщение azsx » 24.06.2016 11:55:45

Это не в потрепаться тему

а куда?
зы
я наборов словарей не видел. То есть смысл просто делать проверку по словарю и сливать любой комментарий, в котором даже намек на нарушение есть?
Как представляю словарь я. Например:
Если есть слово: Пучкин(0 или много символов) - то коммент стирается. А, например, опечатка, Пуьин, - пусть просто исправиться.
Если есть фраза: смеси (любые слова) телефон или вибер или любые циферки - то коммент стирается. А, например, по отдельности эти слова более менее ничего страшного.
Вот суицид - на него какой словарь брать? На сеппаратизм какой словарь? хз. Вот я не могу понять для себя тех задание, разбить на подзадачи анализ комментариев.
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматически обрабатывать комментарии?

Сообщение SSerge » 24.06.2016 11:56:34

Боже мой, azsx собрался породить Скайнет. :shock:

Добавлено спустя 1 минуту 24 секунды:
azsx писал(а):Вот суицид - на него какой словарь брать?


Никакой словарь не поможет. Всегда можно составить текст так, что тупые фильтры анализатора будут обойдены. А смысл и провокационность останется.
SSerge
энтузиаст
 
Сообщения: 971
Зарегистрирован: 12.01.2012 05:34:14
Откуда: Барнаул

Re: Как автоматически обрабатывать комментарии?

Сообщение azsx » 24.06.2016 12:02:12

да не, они однотипно пишут.
у меня всякие смеси, соли бывает постят, я сам смысл понимаю как ловить таких негодяев, только словаря нет. А вот всё остальное - хз. Вот pupsik пишет - слишком много букв в первом посте. Сокращаю пост:
Как разработать правило, которое будет искать комментарий призывающий к суициду. Или к сеппаратизму?
Я нутром чую, что на ихних сормах какой то не сложный анализатор, саму идею бы понять как комнадзор анализирует.
Последний раз редактировалось azsx 24.06.2016 12:04:51, всего редактировалось 2 раз(а).
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматически обрабатывать комментарии?

Сообщение pupsik » 24.06.2016 12:02:58

а куда?
http://freepascal.ru/forum/viewforum.php?f=43
По поводу словарей. Как бы это сказать: они оптимизированы для быстрого поиска.
в котором даже намек на нарушение есть
если есть то в корзину его, а потом вам отчет показать. И не проверять.
Вот суицид - на него какой словарь брать? На сеппаратизм какой словарь?
эх..х... по поводу этих вещей и подобных проводится анализ и это не только словари будут задействованы.
Скайнет
вряд ли его возможности потребуются. А вот помудрить прийдется :)
pupsik
энтузиаст
 
Сообщения: 1154
Зарегистрирован: 20.08.2014 16:20:13

Re: Как автоматически обрабатывать комментарии?

Сообщение azsx » 24.06.2016 12:04:58

Всегда можно составить текст так, что тупые фильтры анализатора будут обойдены. А смысл и провокационность останется.

может вы не знаете, но если вы слишком заувалировано будете призывать к суициду, то и сайт по абузе никто не заблочит. Нет, абузы от комнадзора приходят на комментарии, которые явно и прямо призывают к чему то нехорошему или продают.

Добавлено спустя 2 минуты 45 секунд:
По поводу словарей. Как бы это сказать: они оптимизированы для быстрого поиска.

это сжаты регулярными выражениями или есть какие-то неведомые мне оптимизации? Поток комментариев небольшой, комп домашний справиться даже если надо будет каждый раз выборку на гигагбайтных таблицах делать (50 гб grep по выборке у меня обрабатывается за 10 минут).
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматически обрабатывать комментарии?

Сообщение SSerge » 24.06.2016 12:13:20

azsxАбузы Роскомнадзора инициируются жалобами сознательных граждан, направленных через соответствующую форму на их сайте. А там уже кто надо прочитает и решит. Не верю в существование поискового робота РКН, всё гораздо проще...
SSerge
энтузиаст
 
Сообщения: 971
Зарегистрирован: 12.01.2012 05:34:14
Откуда: Барнаул

Re: Как автоматически обрабатывать комментарии?

Сообщение pupsik » 24.06.2016 12:16:17

Не верю в существование поискового робота РКН
в принципе: паук может и быть. При необходимости - ручная проверка (что менее вероятней).
По поводу "сознательных граждан" - тут уж никакой анализатор не поможет. Они могут нервы потрепать.
pupsik
энтузиаст
 
Сообщения: 1154
Зарегистрирован: 20.08.2014 16:20:13

Re: Как автоматически обрабатывать комментарии?

Сообщение azsx » 24.06.2016 12:17:37

Абузы Роскомнадзора инициируются жалобами сознательных граждан, направленных через соответствующую форму на их сайте. А там уже кто надо прочитает и решит.

я знаю другие примеры. Когда на дохлом сайте пишут незаконный коммент и весьма быстро приходит абуза хостеру. Хотя по регламенту комнадзор сперва абузы от сознательных граждан рассматривает долго у себя, потом решение принимает. Короче, не верю я вам.
---
Важно, забыл уточнить меня интересует анализ только комментариев с моих личных сайтов. Не со всего интернета.
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматически обрабатывать комментарии?

Сообщение pupsik » 24.06.2016 12:25:24

Когда на дохлом сайте пишут незаконный коммент и весьма быстро приходит абуза хостеру.
а что мешает порядочному гражданину накатать комент, а потом накатать куда надо? Это что долго?
В принципе, паук в течении часа может аналогично сделать.
pupsik
энтузиаст
 
Сообщения: 1154
Зарегистрирован: 20.08.2014 16:20:13

Re: Как автоматически обрабатывать комментарии?

Сообщение azsx » 24.06.2016 12:40:19

pupsik у меня есть мнение, что проверяют автоматически. При любом варианте это отвлечение, вопрос как автоматически соблюдать законодательство при одобрении комментариев.
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматически обрабатывать комментарии?

Сообщение pupsik » 24.06.2016 13:03:16

По поводу программы:
1. Анализировать тематику (вот ваш суицид, мат и т.д.)
2. Заменять мат на вменяемый текст.
3. Проверять орфографию, грамматику .

что проверяют автоматически.
а что там проверять то? П.1 - этого вполне достаточно. Получил страницу. Проверил вхождения по словарю. Поставил галочку. Секунда дела.

п.с.
Только эти 3 пункта легко описать. А вот включать они могут или просто pos, или целую систему.
pupsik
энтузиаст
 
Сообщения: 1154
Зарегистрирован: 20.08.2014 16:20:13

Re: Как автоматически обрабатывать комментарии?

Сообщение Лекс Айрин » 24.06.2016 13:23:05

azsx писал(а):вопрос как автоматически соблюдать законодательство при одобрении комментариев.


отключить их совсем.
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: Как автоматически обрабатывать комментарии?

Сообщение pupsik » 24.06.2016 13:28:15

Лекс Айрин бытует мнение что дядя гугл и иные могут не понять отсутствие коментов :wink:
pupsik
энтузиаст
 
Сообщения: 1154
Зарегистрирован: 20.08.2014 16:20:13

След.

Вернуться в Потрепаться

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 18

Рейтинг@Mail.ru