Как автоматизировать модерацию комментариев?

Любые обсуждения, не нарушающие правил форума.

Модератор: Модераторы

Как автоматизировать модерацию комментариев?

Сообщение azsx » 26.04.2017 12:53:50

Я очень люблю Россию, но из-за законов, которые принимают наши депутаты мне надо модерировать комментарии. 63 страницы в word 11 шрифтом.
Если у вас есть свободная минутка, напишите, пожалуйста, как бы вы реализовали решение такой задачи.
Модерирования большого потока комментариев, как можно более упрощённо для человека.
зы
нанять работника не предлагать, я сам!
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматизировать модерацию комментариев?

Сообщение vitaly_l » 26.04.2017 12:56:21

azsx писал(а):из-за законов, которые принимают наши депутаты мне надо модерировать комментарии. 63 страницы

Это что за закон?

Добавлено спустя 1 минуту 9 секунд:
А вообще по ключевым словам. Если есть то читаешь, если нет, то можно забить.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Как автоматизировать модерацию комментариев?

Сообщение azsx » 26.04.2017 13:21:44

Если есть то читаешь, если нет, то можно забить.

Получается, что список таких слов можно составить только постоянно читая комменты. Например, траввва закладка (номер телефона цифрами) -- это абуза от роснарконадзора. И так далее, надзоров немеряно...
Также маты, экстремизм, персональные данные -- это то, что надо не пропускать по стоп словам совсем (даже не читая).
Что ещё кроме стоп слов?
Это что за закон?

Это будет оффтопик
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматизировать модерацию комментариев?

Сообщение vitaly_l » 26.04.2017 13:34:27

azsx писал(а):Это что за закон?
Это будет оффтопик

Ну напишите в личку, раз так боитесь испортить идею топика.

Кстати, если не ключевые слова, то дальше только ИИ (точнее его самообучаемая эмуляция). Но на обучение тоже нужно время.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Как автоматизировать модерацию комментариев?

Сообщение azsx » 26.04.2017 13:40:30

ИИ не потяну. Ключевые слова идея хорошая, только проблематична в реализации.
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматизировать модерацию комментариев?

Сообщение olegy123 » 26.04.2017 14:17:47

Добавлено спустя 5 минут 38 секунд:
А.. понял , наоборот.. вы по другую сторону
есть spamassassin
его кормите правильными сообщениями и не правильными, есть blacklist слов(можно этим словам вес дать), возможно прикрепить regex анализ - в итоге на каждое сообщение получаете вес..
так побеждают спам..
olegy123
долгожитель
 
Сообщения: 1643
Зарегистрирован: 25.02.2016 12:10:20

Re: Как автоматизировать модерацию комментариев?

Сообщение azsx » 26.04.2017 15:08:40

есть spamassassin

реально думаете поможет?
У меня http комментарии, ну просто...
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматизировать модерацию комментариев?

Сообщение serbod » 26.04.2017 15:16:09

Проще вывести сайт из юрисдикции РФ. Можно не весь, просмотр и написание комментариев вынести на отдельный хост.
Аватара пользователя
serbod
постоялец
 
Сообщения: 449
Зарегистрирован: 16.09.2016 11:03:02
Откуда: Минск

Re: Как автоматизировать модерацию комментариев?

Сообщение vitaly_l » 26.04.2017 18:19:29

serbod писал(а):Проще вывести сайт из юрисдикции РФ. Можно не весь, просмотр и написание комментариев вынести на отдельный хост.

О кстати, действительно, все комментарии, можно оформить с помощью API: VK, OK или FB - тогда все комментарии будут храниться на их сервере, и у вас туда вообще не будет доступа. соответственно, и отвечать за мат на сайте по идее должны они, т.к. вы не сможете редактировать БД на их сервере.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Как автоматизировать модерацию комментариев?

Сообщение azsx » 26.04.2017 19:42:50

Оба варианта не подходят, но я рад любым идеям.
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматизировать модерацию комментариев?

Сообщение Лекс Айрин » 26.04.2017 19:58:16

А если использовать блеклист и премодерацию попадающих под него комментариев? Имхо, это, заодно, и приведет к более вдумчив комментам (попал под раздачу -- будешь писать более аккуратно). При том, что не думаю, что от тебя требуют моментальной реакции на ненормативную лексику. Конечно, все равно придется просматривать и остальное, но уже чуть менее внимательно.
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: Как автоматизировать модерацию комментариев?

Сообщение Mirage » 27.04.2017 00:37:30

Модерировать на предмет чего? Что должен делать алгоритм?
Банить по списку стоп-слов? Банить за негативный контент? Банить за контент, имеющий признаки экстремизма? Пробивать по базе законов и банить все незаконное?
Mirage
энтузиаст
 
Сообщения: 881
Зарегистрирован: 06.05.2005 20:29:07
Откуда: Russia

Re: Как автоматизировать модерацию комментариев?

Сообщение olegy123 » 27.04.2017 00:58:02

azsx писал(а):реально думаете поможет?

есть
Text::SpamAssassin - defender of blogs, wikis, and message boards
http://search.cpan.org/~robn/Text-SpamA ... ssassin.pm
Код: Выделить всё
    use Text::SpamAssassin;

    my $sa = Text::SpamAssassin->new(
        sa_options => {
            userprefs_filename => 'comment_spam_prefs.cf',
        },
    );

    $sa->set_text($content);

    my $result = $sa->analyze;
    print "result: $result->{verdict}\n";

Автоматизирует.
Но если хотите на 100% обезопасить - то лучше ручная модерация сообщений.
olegy123
долгожитель
 
Сообщения: 1643
Зарегистрирован: 25.02.2016 12:10:20

Re: Как автоматизировать модерацию комментариев?

Сообщение azsx » 27.04.2017 03:24:58

Лекс Айрон, спасибо, использую блеклист.
olegy123, спасибо, попробую через неделю.
Mirage, я хочу иметь возможность не читать комментарии, совсем. При этом быть уверенным, что комментарии не нарушают законодательство РФ, чтобы получить бан ip по абузе ли штраф с визитами в прокуратуру. Как не основное, всякие вредные для seo и здравого смысла тексты блокировать. Что я спрашиваю, я ищу какой-то алгоритм (методику проверки, идею) кроме списка стоп слов. Вот идея, пользоваться сторонним сервисом. Как накидают идей -- так улучшу свой алгоритм.
У меня сейчас:
1. блокируются комментарии, который имеют в теле урл.
2. список стоп слов (фраз): маты, адулт, фарма, политика и пополняю иногда. Но, например, ставлю в бан xrumer, то есть коммент с этим словом должен блокироваться. А если кто то пишет как от хрумера избавиться? Далее, большая часть комментариев с упоминанием Украины -- это жёсткая политика, на грани экстремизма. Но нельзя же блокировать слово Украина. Думал, блокировать по двум словам, которые встречаются одновременно, но это значительно увеличит размер базы. Сейчас база измеряется тысячами слов. Так как сегодня мой алгоритм по сути завязан на стоп словах -- мне постоянно приходится читать комменты и добавлять новые стоп слова.
3. В некоторых сайтах в комментариях блокируются контакты.
Пока не знаю блокировать ли комментарии на чужом для сайта языке, но это технический вопрос.
зы
на моих комментариях нет ни регистрации, ни премодерации, ни капчи. Поэтому спама особенно много.
azsx
энтузиаст
 
Сообщения: 959
Зарегистрирован: 16.11.2015 06:38:32

Re: Как автоматизировать модерацию комментариев?

Сообщение ev » 27.04.2017 07:46:43

если я правильно помню законодательство, то просто так " бан ip по абузе ли штраф с визитами в прокуратуру" не получить
если хостер не тормоз, то сначала будет предупреждение/запрос на удаление материала

на моих комментариях нет ни регистрации, ни премодерации, ни капчи

почему? ведь это ощутимо снизит поток спама
ev
долгожитель
 
Сообщения: 1763
Зарегистрирован: 27.04.2005 23:19:06
Откуда: Москва

След.

Вернуться в Потрепаться

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 10

Рейтинг@Mail.ru