Открыть текстовый файл размером в 3 Гб

Вопросы программирования и использования среды Lazarus.

Модератор: Модераторы

Re: Открыть текстовый файл размером в 3 Гб

Сообщение stanilar » 26.05.2015 00:34:45

Лекс Айрин писал(а):3 гига для обмена между приложениями? Вы меня таки рассмешили.


А без разницы, хоть МБ, хоть ГБ. Дело то в проходе к решению задачи.
stanilar
постоялец
 
Сообщения: 289
Зарегистрирован: 09.03.2010 19:09:02

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Лекс Айрин » 26.05.2015 11:08:28

stanilar, не скажите... я бы сказал, что использование таких файлов говорит скорее о неправильно поставленной задаче. Обработка такого файла занимает слишком много времени чтобы быть реально полезной. Если это лог, то проще делить его по датам, а то и часам. Если это справка, то по темам. Если это текст программы, то проще использовать контейнерную обработку без темпори файлов и деление по модулям.
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: Открыть текстовый файл размером в 3 Гб

Сообщение stanilar » 28.05.2015 01:24:04

Лекс Айрин, лучше сказать, что задача переросла свое текущее решение.

Кстати, как Вы, в общем случае, собираетесь передавать информацию между базами? Через файл?
stanilar
постоялец
 
Сообщения: 289
Зарегистрирован: 09.03.2010 19:09:02

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Vadim » 28.05.2015 07:16:21

stanilar писал(а):Через файл?

Не у всех плохой интернет. Лучше уж не бегать с файлами туды-сюды. ;-)
Vadim
долгожитель
 
Сообщения: 4112
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Лекс Айрин » 28.05.2015 10:14:56

stanilar писал(а):лучше сказать, что задача переросла свое текущее решение.

Если задача смогла перерасти текущее решение, то это косяк... новое решение лучше бы искать заранее.
stanilar писал(а):Кстати, как Вы, в общем случае, собираетесь передавать информацию между базами? Через файл?

А я так и сделал, когда возникла необходимость.
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: Открыть текстовый файл размером в 3 Гб

Сообщение resident » 28.05.2015 10:37:27

Лекс Айрин писал(а):А я так и сделал, когда возникла необходимость.

Шифровали файл?
resident
энтузиаст
 
Сообщения: 605
Зарегистрирован: 13.03.2013 16:58:51

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Лекс Айрин » 28.05.2015 10:49:27

resident, к счастью, обошлось. И без этого геморроя полно.
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Vadim » 28.05.2015 12:00:24

Лекс Айрин писал(а):без этого геморроя полно.

Эт точно. :-)
Vadim
долгожитель
 
Сообщения: 4112
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Alex2013 » 31.05.2015 05:41:37

Отображение файла в память (на память) ...
https://ru.wikipedia.org/wiki/%D0%9E%D1 ... 1%82%D1%8C
http://delphi.support.uz/index.php?type=tema&id=122
Alex2013
долгожитель
 
Сообщения: 3145
Зарегистрирован: 03.04.2013 11:59:44

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Vadim » 01.06.2015 05:49:51

Alex2013 писал(а):Отображение файла в память

А если памяти не хватает?
Vadim
долгожитель
 
Сообщения: 4112
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Mikhail » 01.06.2015 11:08:02

Vadim писал(а):
Alex2013 писал(а):Отображение файла в память

А если памяти не хватает?

Тогда частями.
Mikhail
энтузиаст
 
Сообщения: 565
Зарегистрирован: 24.10.2013 16:06:47

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Vadim » 01.06.2015 11:21:12

Mikhail
Так ReadLn() тоже частями работает. Но телодвижений нужно меньше...
Vadim
долгожитель
 
Сообщения: 4112
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Alex2013 » 02.06.2015 03:22:12

Vadim писал(а):
Alex2013 писал(а):Отображение файла в память

А если памяти не хватает?

Разве что адресного пространства.
Реально в памяти только небольшой буфер ...
Обращение например как к массиву ...
А вообще текстовый файл для роботы в режиме "file of char" (или как с не типезированным файлом) нужно всего лишь нужно проиндексировать по строкам....

Читать для просмотра можно вообще по блокам и потом по символам "дочитывать" до начала (или конца) строки по границам блока ...

Но проще всего найти исходник старого въювера или редактора для ДОС и посмотреть как работали с файлами во времена когда даже 10метров текста были неподъемным грузом ...

Да кстати чем вам компоненты в закладке SynЕdit не подходят ? Там если не ошибаюсь нормальная работа с большими файлами ...
Alex2013
долгожитель
 
Сообщения: 3145
Зарегистрирован: 03.04.2013 11:59:44

Re: Открыть текстовый файл размером в 3 Гб

Сообщение Mikhail » 02.06.2015 11:30:28

Какая обработка требуется, кроме перекодировки?
Mikhail
энтузиаст
 
Сообщения: 565
Зарегистрирован: 24.10.2013 16:06:47

Пред.

Вернуться в Lazarus

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 224

Рейтинг@Mail.ru
cron