POST запросы в цикле с изменением параметра

Вопросы программирования и использования среды Lazarus.

Модератор: Модераторы

Re: POST запросы в цикле с изменением параметра

Сообщение Снег Север » 27.04.2019 22:00:27

Vadim писал(а):Если сервер в состоянии обрабатывать только 2,5 запроса, то можно насадить хоть 100500 прокси, общее время останется таким же, т.к. оно зависит от сервера.

Чего??? Кто вам такое сказал?
На серверах очень часто ставят ограничение по количеству запросов в секунду с одного IP, а со 100500 разных IP все они будут обработаны по столько же в секунду параллельно. :D
Аватара пользователя
Снег Север
долгожитель
 
Сообщения: 2059
Зарегистрирован: 27.11.2007 16:14:47

Re: POST запросы в цикле с изменением параметра

Сообщение Moneo » 27.04.2019 22:32:41

Vadim писал(а):Попробуйте всё-таки взять себя в руки и объяснить Вашу трудность.

возьмите себя в руки и найдите вопрос в самом первом сообщении данной темы, он там есть и всего кроме вас его поняли.
Moneo
новенький
 
Сообщения: 21
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение Лекс Айрин » 27.04.2019 23:18:14

Снег Север, не факт. Есть ещё и защита, которая вообще может блокировать доступ, если запросов пришло слишком много. И вообще, прокси вполне может выдавать адрес клиента -- нужен анонимайзер.
И все же очень похоже на подготовку к взлому. Только в этом случае есть смысл в большом количестве адресов, с которых идёт запрос. Есть ещё протоколы распределенного доступа. ТС стоит учесть, что в случае каких-либо проблем это и будет расцениваться как атака на отказ от обслуживания. А найти концы в принципе не так уж и сложно.
Думаю, задача в принципе не решаема законными способами. Стоит обратиться к администратору ресурса для предоставления более широкого доступа.
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: POST запросы в цикле с изменением параметра

Сообщение Moneo » 28.04.2019 00:52:07

Лекс Айрин писал(а):в случае каких-либо проблем это и будет расцениваться как атака на отказ от обслуживания

из-за 30 запросов в секунду сервер не ляжет )
Moneo
новенький
 
Сообщения: 21
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение zoltanleo » 28.04.2019 01:51:04

Комрады, парень пришел со скруля, где создал две темы (раз, два) по одному и тому же вопросу.

Суть его проблемы в том, что он желает быстро получать с некоего сервера инфу, парсить ее и логировать. Для этого он делает это в неск. доп. потоках. Но уперся в ограничение на кол-во запросов в единицу времени (вероятно срабатывает защита от DDOS-атаки), на что ему был дан совет использовать прокси.
Аватара пользователя
zoltanleo
постоялец
 
Сообщения: 297
Зарегистрирован: 17.10.2013 10:55:01

Re: POST запросы в цикле с изменением параметра

Сообщение Vadim » 28.04.2019 04:28:32

Снег Север писал(а):Чего??? Кто вам такое сказал?
На серверах очень часто ставят ограничение по количеству запросов в секунду с одного IP, а со 100500 разных IP все они будут обработаны по столько же в секунду параллельно.

Так я и пытаюсь добиться от ТС информации по серверу, а он ведёт себя как партизан на допросе в гестапо. ;-) :-)
"Очень часто ставят" совсем не тоже самое, что "стоит в данном случае". Вы не согласны? ;-)

Добавлено спустя 44 минуты 6 секунд:
Moneo писал(а):возьмите себя в руки

Хорошо, как скажете. Но только после того, как Вы признаетесь, что позорно тупанули с моим примером про браузер... ;-)
Vadim
долгожитель
 
Сообщения: 3661
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: POST запросы в цикле с изменением параметра

Сообщение Лекс Айрин » 28.04.2019 05:41:52

Moneo, а потом тебе захочется ещё быстрее скачивать. Ты пойми людей, им ведь тоже не хочется проблем. Даже если использовать прокси, где ты найдешь их с десяток? А представь, что таких умников как ты много?
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: POST запросы в цикле с изменением параметра

Сообщение Снег Север » 28.04.2019 07:28:15

Vadim писал(а):"Очень часто ставят" совсем не тоже самое, что "стоит в данном случае". Вы не согласны?

Не надо умножать сущности сверх необходимого. Начинать надо всегда с самого простого и логичного.
Аватара пользователя
Снег Север
долгожитель
 
Сообщения: 2059
Зарегистрирован: 27.11.2007 16:14:47

Re: POST запросы в цикле с изменением параметра

Сообщение Vadim » 28.04.2019 10:24:47

Снег Север писал(а):Не надо умножать сущности сверх необходимого. Начинать надо всегда с самого простого и логичного.

А вот если не умножать, то прокси ему не поможет по одной простой причине. ТС хочет, чтобы этот прокси был в его программе на клиенте. Так что без умножения ну никак не обойтись... ;-) Но тут то и начинаются препятствия именно у ТС...
Vadim
долгожитель
 
Сообщения: 3661
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: POST запросы в цикле с изменением параметра

Сообщение Ichthyander » 28.04.2019 11:52:41

Алгоритма может быть навскидку 2:
1. Один поток без задержки (или с маленькими), который отправляет запросы, меняя прокси из подготовленного списка прокси.
2. Множество [копий] потоков, у каждого по своему прокси.
3. Комбинированный вариант.
Готовые инструменты для чего? Использовать HTTPClient нативный, если сервер обычный HTTP, если HTTPS, то синапс или инди.
Есть готовые классы для создания пула потоков, но я бы не замарачивался с этим, просто грамотно использовать синхронизацию
Аватара пользователя
Ichthyander
постоялец
 
Сообщения: 496
Зарегистрирован: 04.04.2007 08:32:43
Откуда: Астрахань

Re: POST запросы в цикле с изменением параметра

Сообщение Moneo » 29.04.2019 15:49:27

есть готовые классы для создания пула потоков, но я бы не замарачивался с этим, просто грамотно использовать синхронизацию

Я пишу на выходе в разные файлы, в синхронизации значит не нуждаюсь, мне только нужно соблюсти задержки между запросами для одного IP адреса. Как по мне первый вариант вы написали тоже самое что и последовательную отправку запросов, а вот второй я уже частично реализовал, осталось раздобыть больше прокси. Может кто знает методику сбора прокси руками (то есть не парсинг листов из открытых сайтов, а сбор из сети непосредственно)?

Vadim писал(а): ТС хочет, чтобы этот прокси был в его программе на клиенте.

что вы такое говорите господин? Я вообще не понял как это может быть. У клиента будет веб интерфейс вообще, а пока что это лишь подготовка основы, то есть базы что в будущем буду рендерить в вебе по запросу из веб интерфейса.

Лекс Айрин писал(а):а потом тебе захочется ещё быстрее скачивать

я не собираюсь ложить сервер, тем более одного компьютера для этого будет недостаточно при любом раскладе. Ограничусь 10-15 адресами для более быстрой выгрзуки информации.

Vadim писал(а):пытаюсь добиться от ТС информации по серверу

ничего про сервер я не знаю, кроме того что он начинает сыпать ошибки уже после 2 запросов в секунду на один IP адрес. Этой информации хватило чтобы решиться на затею с подменой IP.
Moneo
новенький
 
Сообщения: 21
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение Лекс Айрин » 29.04.2019 20:14:41

Moneo, я знаю. Купить у хакеров. Потому что все законные способы не дадут нужного количества прокси. Причем, анонимных прокси, которые не передадут сайту адрес клиента. Пойми, ты хочешь то, что подподает под ddos атаку. Это наказуемо. И ты, судя по всему, это прекрасно осознаешь. Ладно если ты только для себя в ограниченном количестве делать собрался, а если это передаваемая другим программа?
Плюс, твои действия могут характеризоваться как подготовка к взлому сайта. Что тоже не самый лучший вариант.
Тут из нормальных способов только договор с администраторами.
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: POST запросы в цикле с изменением параметра

Сообщение olegy123 » 30.04.2019 08:25:38

Moneo писал(а):Я хочу сделаю нормальную скорость парсинга, менять значения параметров я умею :D . Сейчас эта скорость 2.5 запроса в секунду, при подсчетах все запросы что надо отправятся через 722 часа. Ограничения я так полагаю идут с стороны сервера на IP адрес запросов в секудну или тайм аут какой-то. Решение отправка через смену IP адресов. Вопрос есть ли готовый инструмент для отправки пост запросов с сменой параметра через смену IP адресов или бесплатный инструмент для сбора IP адресов или же надо писать самому сбор прокси серверов.

Это легально или нет?
Если легально - то покупай VDS/VPS(лучше линух он дешевле - от 200р/м) с кучей реальных IP( каждый IP ~ 100р./м). Сажай прогу и тяни данные.
Сейчас проксики уже не в моде, хотя можно работать по спискам со сайтов. Но дрявый ли проксик или нет - ты не знаешь.. хотя можно вначале стрелять по своим мишеням.
Хотя если у тебя есть доступ к магистральному провадеру - то жизнь удалась, можно сводить с ума SMS считалки, Yuotub статистику, он-лайн голосования на выборах.


Если не легально - то смотря что будешь тянуть и у кого. Кто может возбудится от сего акта.. Если агрессия будет совершена против США и их шестерок, членов НАТО - то спокойнее будет работать в России. Правда если твоя цена за твою голову будет высока - могут тут тебя продать.
Если против тоталито-рашки, то в принципе везде - но более желательно там где не экстрадируют в гулаг: Израиль, Англия..
Если против цивилизованного прогнившего мира - то желательно разместить там где правят малярия и холера.
olegy123
энтузиаст
 
Сообщения: 1441
Зарегистрирован: 25.02.2016 12:10:20

Пред.

Вернуться в Lazarus

Кто сейчас на конференции

Сейчас этот форум просматривают: Yandex [Bot] и гости: 7

Рейтинг@Mail.ru