Чтобы посмотреть можно ли получать исходные коды со всех страниц я хочу скачать чо нибудь с сервиса http://commoncrawl.org/
В нем есть небольшой недостаток (нифига не понятно): не совсем удобно реализован парсинг страниц. Сперва надо зарегистрироваться на амазон, а уже потом качать не более 5 гб в один поток...
Почитал в интернетах, пишут, что при регистрации в амазоне кто вводит им карточку всегда попадают на проблему списывания сумм с карточки. У кого то перегруз по ресурсам, кому-то надо было удалять бесплатный аккаунт, он забыл, у кого-то ваще вопреки всякой логике деньги буржуи сперли. Вопросы:
0. Может у кого есть акк на амазоне, посмотрите, там можно качать хтмл код сайтов?
1. Кто регистрировался на амазоне, сопрут там деньги или нет?
Бесплатный Амазон сразу деньги сопрет?
Модератор: Модераторы
К примеру один из конечных файлов (после его распаковки пол гектара текста, начинающегося с "WARC/1.0")
s3://commoncrawl/crawl-data/CC-MAIN-201 ... arc.wet.gz
Скорость максимальная для моего соединения 10 Мбит/с.
s3://commoncrawl/crawl-data/CC-MAIN-201 ... arc.wet.gz
Скорость максимальная для моего соединения 10 Мбит/с.
У вас нет необходимых прав для просмотра вложений в этом сообщении.
azsx писал(а):что при регистрации в амазоне кто вводит им карточку всегда попадают на проблему списывания сумм с карточки.
И, в чем проблема? Смотри лицензионное соглашение, может регистрация платная. В ряде сервисов списывают 1$ чтобы проверить, что карточка живая и твоя, а потом возвращают. Смотреть надо внимательнее. Если надо очень, возьми Qiwi кошелек, заведи виртуальную карточку и ее укажи.
Sharfik писал(а):Смотреть надо внимательнее.
Там бывают сюрпризы, как не смотри. Я задал вопрос по графикам расходов. Переписка была чуть не пол месяца. Закончилось ничем, хотя чел со мной был полностью согласен, ошибка в Амазоне. Чел в итоге написал, что отдал мои комменты техподдержке. На бесплатном периоде реальная техподдержка недоступна, поэтому я общаться начал не пойми с кем через форму "задать вопрос или как-то похоже".
resident я не могу скачать, у меня ссылки s3 не открываются 
зы
так то я понял, что это может быть то, что мне нужно, но дорого.
зы
так то я понял, что это может быть то, что мне нужно, но дорого.
