POST запросы в цикле с изменением параметра

[Снег Север]

Если сервер в состоянии обрабатывать только 2,5 запроса, то можно насадить хоть 100500 прокси, общее время останется таким же, т.к. оно зависит от сервера.

Чего??? Кто вам такое сказал?
На серверах очень часто ставят ограничение по количеству запросов в секунду с одного IP, а со 100500 разных IP все они будут обработаны по столько же в секунду параллельно.

[Moneo]

Попробуйте всё-таки взять себя в руки и объяснить Вашу трудность.

возьмите себя в руки и найдите вопрос в самом первом сообщении данной темы, он там есть и всего кроме вас его поняли.

[Лекс Айрин]

Снег Север, не факт. Есть ещё и защита, которая вообще может блокировать доступ, если запросов пришло слишком много. И вообще, прокси вполне может выдавать адрес клиента -- нужен анонимайзер.
И все же очень похоже на подготовку к взлому. Только в этом случае есть смысл в большом количестве адресов, с которых идёт запрос. Есть ещё протоколы распределенного доступа. ТС стоит учесть, что в случае каких-либо проблем это и будет расцениваться как атака на отказ от обслуживания. А найти концы в принципе не так уж и сложно.
Думаю, задача в принципе не решаема законными способами. Стоит обратиться к администратору ресурса для предоставления более широкого доступа.

[Moneo]

в случае каких-либо проблем это и будет расцениваться как атака на отказ от обслуживания

из-за 30 запросов в секунду сервер не ляжет )

[zoltanleo]

Комрады, парень пришел со скруля, где создал две темы (раз, два) по одному и тому же вопросу.

Суть его проблемы в том, что он желает быстро получать с некоего сервера инфу, парсить ее и логировать. Для этого он делает это в неск. доп. потоках. Но уперся в ограничение на кол-во запросов в единицу времени (вероятно срабатывает защита от DDOS-атаки), на что ему был дан совет использовать прокси.

[Vadim]

Чего??? Кто вам такое сказал?
На серверах очень часто ставят ограничение по количеству запросов в секунду с одного IP, а со 100500 разных IP все они будут обработаны по столько же в секунду параллельно.

Так я и пытаюсь добиться от ТС информации по серверу, а он ведёт себя как партизан на допросе в гестапо.
"Очень часто ставят" совсем не тоже самое, что "стоит в данном случае". Вы не согласны?

Добавлено спустя 44 минуты 6 секунд:

возьмите себя в руки

Хорошо, как скажете. Но только после того, как Вы признаетесь, что позорно тупанули с моим примером про браузер...

[Лекс Айрин]

Moneo, а потом тебе захочется ещё быстрее скачивать. Ты пойми людей, им ведь тоже не хочется проблем. Даже если использовать прокси, где ты найдешь их с десяток? А представь, что таких умников как ты много?

[Снег Север]

"Очень часто ставят" совсем не тоже самое, что "стоит в данном случае". Вы не согласны?

Не надо умножать сущности сверх необходимого. Начинать надо всегда с самого простого и логичного.

[Vadim]

Не надо умножать сущности сверх необходимого. Начинать надо всегда с самого простого и логичного.

А вот если не умножать, то прокси ему не поможет по одной простой причине. ТС хочет, чтобы этот прокси был в его программе на клиенте. Так что без умножения ну никак не обойтись... Но тут то и начинаются препятствия именно у ТС...

[Ichthyander]

Алгоритма может быть навскидку 2:
1. Один поток без задержки (или с маленькими), который отправляет запросы, меняя прокси из подготовленного списка прокси.
2. Множество [копий] потоков, у каждого по своему прокси.
3. Комбинированный вариант.
Готовые инструменты для чего? Использовать HTTPClient нативный, если сервер обычный HTTP, если HTTPS, то синапс или инди.
Есть готовые классы для создания пула потоков, но я бы не замарачивался с этим, просто грамотно использовать синхронизацию

[Moneo]

есть готовые классы для создания пула потоков, но я бы не замарачивался с этим, просто грамотно использовать синхронизацию

Я пишу на выходе в разные файлы, в синхронизации значит не нуждаюсь, мне только нужно соблюсти задержки между запросами для одного IP адреса. Как по мне первый вариант вы написали тоже самое что и последовательную отправку запросов, а вот второй я уже частично реализовал, осталось раздобыть больше прокси. Может кто знает методику сбора прокси руками (то есть не парсинг листов из открытых сайтов, а сбор из сети непосредственно)?

ТС хочет, чтобы этот прокси был в его программе на клиенте.

что вы такое говорите господин? Я вообще не понял как это может быть. У клиента будет веб интерфейс вообще, а пока что это лишь подготовка основы, то есть базы что в будущем буду рендерить в вебе по запросу из веб интерфейса.

а потом тебе захочется ещё быстрее скачивать

я не собираюсь ложить сервер, тем более одного компьютера для этого будет недостаточно при любом раскладе. Ограничусь 10-15 адресами для более быстрой выгрзуки информации.

пытаюсь добиться от ТС информации по серверу

ничего про сервер я не знаю, кроме того что он начинает сыпать ошибки уже после 2 запросов в секунду на один IP адрес. Этой информации хватило чтобы решиться на затею с подменой IP.

[Лекс Айрин]

Moneo, я знаю. Купить у хакеров. Потому что все законные способы не дадут нужного количества прокси. Причем, анонимных прокси, которые не передадут сайту адрес клиента. Пойми, ты хочешь то, что подподает под ddos атаку. Это наказуемо. И ты, судя по всему, это прекрасно осознаешь. Ладно если ты только для себя в ограниченном количестве делать собрался, а если это передаваемая другим программа?
Плюс, твои действия могут характеризоваться как подготовка к взлому сайта. Что тоже не самый лучший вариант.
Тут из нормальных способов только договор с администраторами.

[olegy123]

Я хочу сделаю нормальную скорость парсинга, менять значения параметров я умею . Сейчас эта скорость 2.5 запроса в секунду, при подсчетах все запросы что надо отправятся через 722 часа. Ограничения я так полагаю идут с стороны сервера на IP адрес запросов в секудну или тайм аут какой-то. Решение отправка через смену IP адресов. Вопрос есть ли готовый инструмент для отправки пост запросов с сменой параметра через смену IP адресов или бесплатный инструмент для сбора IP адресов или же надо писать самому сбор прокси серверов.

Это легально или нет?
Если легально - то покупай VDS/VPS(лучше линух он дешевле - от 200р/м) с кучей реальных IP( каждый IP ~ 100р./м). Сажай прогу и тяни данные.
Сейчас проксики уже не в моде, хотя можно работать по спискам со сайтов. Но дрявый ли проксик или нет - ты не знаешь.. хотя можно вначале стрелять по своим мишеням.
Хотя если у тебя есть доступ к магистральному провадеру - то жизнь удалась, можно сводить с ума SMS считалки, Yuotub статистику, он-лайн голосования на выборах.


Если не легально - то смотря что будешь тянуть и у кого. Кто может возбудится от сего акта.. Если агрессия будет совершена против США и их шестерок, членов НАТО - то спокойнее будет работать в России. Правда если твоя цена за твою голову будет высока - могут тут тебя продать.
Если против тоталито-рашки, то в принципе везде - но более желательно там где не экстрадируют в гулаг: Израиль, Англия..
Если против цивилизованного прогнившего мира - то желательно разместить там где правят малярия и холера.