Reiser FS

Обсуждаются как существующие проекты (перевод документации, информационная система и т.п.), так и создание новых.

Модератор: Модераторы

Как я отношусь к ReiserFS ?

А что это ?
2
13%
Не использую
7
44%
Использую ReiserFS и доволен ей, ничего нового не нужно
4
25%
Использую ReiserFS и доволен ей, жду релиза Reiser4
3
19%
 
Всего голосов : 16

Сообщение unC0Rr » 02.12.2007 21:47:18

debi12345 писал(а):Сыпящийся винт не в тему, против него никакая ФС не поможе
================
У нас 10...20 таких машин. Ничего, вынуждены работать, из-за соображений окупаемости техники - БИОСы не понимают размер больше 2G,приходится брать жуткое старье . Преимущество Ext3 здесь (не обнулять фалы БД ни при каких условиях ) - чувствуется в полной мере.


O_o недолго файлам БД мучаться осталось....
unC0Rr
новенький
 
Сообщения: 59
Зарегистрирован: 02.02.2006 03:44:44

Сообщение ev » 02.12.2007 22:36:57

Ничего, вынуждены работать, из-за соображений окупаемости техники - БИОСы не понимают размер больше 2G,приходится брать жуткое старье.

ух... надо на помойку такое старье выкидывать ;)
ev
долгожитель
 
Сообщения: 1763
Зарегистрирован: 27.04.2005 23:19:06
Откуда: Москва

Сообщение debi12345 » 02.12.2007 22:53:58

O_o недолго файлам БД мучаться осталось....
=================
Ничего страшного. Наши операторши Дили, Нилуфар и пр знают, как запускать "fsck /dev/hd.." из однопользовательского режима.
Один раз в год ( за все эти машины ! ) вытаскиваем данные утиллитой PGFSCK ( ей пофигу повреждение структуры БД ) - и вставляем их в новую БД...
Повторюсь, главное здесь - чтобы файлы не были обнулены.
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5752
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Сообщение debi12345 » 02.12.2007 23:03:07

Кое-что по теме :

http://www.citforum.ru/operating_system ... fs07.shtml

===================

Журналирование только метаданных

Интересно то, что ext3 выполняет журналирование совсем иначе, чем ReiserFS и другие журналируемые файловые системы. В ReiserFS, XFS и JFS журналируются метаданные их и не предусмотрено какое либо журналирование самих данных. При при журналировании метаданных (metadata-only journaling) метаданные хранятся так надежно, что, скорее всего вам не придется пользоваться fsck. Однако, неожиданные перезагрузки и сбои в электропитании могут приводить к утере данных, которые в момент сбоя записывались на диск. Ext3 использует несколько творческих решений для избежания таких проблем.

Сначала поясним ситуацию с журналированием только метаданных. Например, вы редактировали файл /tmp/myfile.txt в момент, когда машина неожиданно блокировалась. В случае с журналируемыми системами, журналирующими только метаданные (например, ReiserFS, XFS или JFS), метаданные вашей файловой системы утрачены не будут и запуска fsck не потребуется.

Однако, в случае такого сбоя имеется высокая вероятность, что в файле /tmp/myfile.txt останется один мусор, а то и просто он станет нечитабельным.

Причина в следующем. "Обычные" журналируемые файловые системы, подобные ReiserFS, XFS и JFS опекают метаданные, но для повышения производительности заботу о данных не проявляют. В нашем примере происходила модификация некоторых блоков и соответствующих им метаданных, но синхронизация была неожиданно прервана. "Непротиворечивость" файловых блоков будет восстановлена, чего нельзя сказать об их "наполнении".
Журнализация в ext3

Теперь, когда имеется общее понимание проблемы, посмотрим, как ext3 осуществляет журналирование. В коде журнализации для ext3 используется специальный API, называемый Уровень журналирования блочного устройства (Journaling Block Device layer или JBD). JBD был разработан для журнализации на любых блочных устройств. Ext3 привязана к JBD API. При этом код файловой системы ext3 сообщает JBD о необходимости проведения модификации и запрашивает у JBD разрешение на ее проведение. Журналом управляет JBD от имени драйвера файловой системы ext3. Такое соглашение очень удобно, так как JBD развивается как отдельный, универсальный объект и может использоваться в будущем для журналирования в других файловых систем.

Имеется два важных момента в управлении журналом ext3 через JBD, вытекающих из хранения журнала в inode файле (в базовом варианте). Первое, в зависимости от ключей монтирования файловой системы ext3, этот файл можно "видеть" или "не видеть" (расположен в /.journal). Второе, такое хранение журнала делает возможным переход к ext3 через простое добавление единственного файла (и замену драйвера) без использования несовместимых расширений к метаданным ext2. Это ключ к пониманию "обратной совместимости" файловой системы ext3 с ext2 метаданными и "прямой совместимости" ext2 с ext3 драйвером.
Различные подходы к journaling

Нетрудно догадаться, что имеется несколько способов ведения журнала. Например, разработчик файловой системы может спроектировать журнал, который хранит промежуточные байты, подлежащие модификации в файловой системе. Преимущество такого подхода в том, что журнал хранил бы большое число крошечных модификаций очень эффективным способом, так как требуется запись только отдельных байтов и ничего больше.

JBD использует иной подход. Вместо регистрации промежуточных байтов сохраняются полностью измененные блоки файловой системы. Драйвер Ext3, аналогично, хранит полные точные копии модифицируемых блоков (1КБ, 2КБ или 4КБ) в памяти до завершения операции ввода/вывода. Это может показаться расточительным. Полные блоки содержат не только изменившиеся данные, но и не модифицированные.

Подход, используемый JBD, называется "физическим журналированием", что отражает использование JBD "физических блоков" как основную единицу ведения журнала. Подход, когда хранятся только изменяемые байты, а не целые блоки, называется "логическим журналированием" (используется XFS). Поскольку ext3 использует "физическое журналирование", журнал в ext3 имеет размер больший, чем в XFS. За счет использования в ext3 полных блоков, как драйвером, так и подсистемой журналирования нет сложностей, которые возникают при "логическом журналировании". Кроме того, использование полных блоков позволяет исполнение некоторой дополнительной оптимизации, например объединение нескольких ожидающих обработки операции ввода/вывода в пределах моноблока в одной структуре оперативной памяти. Это позволяет ext3 записывать на диск несколько смежных модификаций одной операцией. Как дополнение, при операциях записи существенно сокращается нагрузка на CPU.
Защита данных в Ext3

Теперь можно поговорить о том, как файловая система ext3 обеспечивает журналирование и данных, и метаданных. Фактически в ext3 имеются два метода достижения гарантии непротиворечивости.

Первоначально ext3 разрабатывалась для журналирования и всех данных, и метаданных. В этом режиме (называется "data=journal" mode), JBD журналирует все изменения в файловой системе, связанные как с данными, так и с метаданными. При этом JBD может использовать журнал для отката и восстановления метаданных и данных. Недостаток "полного" журналирования в достаточно низкой производительности и расходе большого объема дискового пространства под журнал.

Недавно для ext3 был добавлен новый режим журналирования, который сочетает высокую производительность и гарантию непротиворечивости структуры файловой системы после сбоя (как у "обычных" журналируемых файловых систем). Новый режим работы обслуживает только метаданные. Однако драйвер файловой системы ext3 по-прежнему отслеживает обработку целых блоков данных (если они связаны с модификацией метаданных), и группирует их в отдельный объект, называемый тразакцией (transaction). Транзакция будет завершена только после записи на диск всех данных. "Побочный" эффект такой "грубой" методики (называемой "data=ordered" mode) - ext3 обеспечивает более высокую вероятность сохранности данных (по сравнению с "продвинутыми" журналируемыми файловыми системами) при гарантии непротиворечивости метаданных. При этом происходит журналирование изменений только структуры файловой системы. Ext3 использует этот режим по умолчанию.

Заключение

В настоящее время многие пытаются определиться, какая из поддержанных в Linux журналируемых файловых систем является "лучшей". По большому счету, все определяется тем, для каких целей и каких приложений файловую систему планируется использовать; каждая имеет свои достоинства и недостатки. Безусловное преимущество пользователей Linux - возможность выбора между файловыми системами нового поколения. Вместо приклеивания ярлыка "лучшей" файловой системы, следует понять силу и слабость каждой и принять обоснованное решение.

Ext3 имеет множество преимуществ. Она разработана для максимальной простоты развертывания. Она основана на годами проверенном коде ext2 и получила "по наследству" замечательный инструментарий fsck. Ext3 в первую очередь предназначена для приложений, не имеющих встроенных возможностей по гарантированию сохранности данных. В целом, ext3 - замечательная файловая система и достойное продолжение ext2. В моей следующей статье будет описана установка и работа с ext3.

=================

Еще ссылки :

http://linux.yaroslavl.ru/docs/conf/fs/ ... s8_ru.html
http://www.ibm.com/developerworks/linux ... aling.html
http://citforum.univ.kiev.ua/operating_ ... fs11.shtml
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5752
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Сообщение Alexander » 04.12.2007 02:28:53

debi12345 писал(а):У нас 10...20 таких машин. Ничего, вынуждены работать, из-за соображений окупаемости техники - БИОСы не понимают размер больше 2G,приходится брать жуткое старье . Преимущество Ext3 здесь (не обнулять фалы БД ни при каких условиях ) - чувствуется в полной мере.


А это что за машины такие ? 486 или P1 ? Я в своём P1 использовал 40г
в режиме 32г. Потом перешил бивиса по информации с www.nix.ru (благо
плата точно соответствовала описанию там) заменив несколько байтов
и все 40 стали видны. И память 128мб SDRAM133 у него видилась. А
проц был тоже 133 без mmx :) И вообще то не знал что есть барьер
в 2г. Помню были - 32мб(кажется), 540мб, 8г, 32г, 120г

К сожалению из России будет дорого пересылать железки,
а так тут уже в помойку бывает летят P2-3 и 17' CRT мониторы.

debi12345 писал(а):Кое-что по теме :


Да, это обсуждение неожиданно привело меня к большему уважению к Ext3.
Это не значит, что уйду от Reiserа, но в спецефических случаях...
Спасибо !
Аватара пользователя
Alexander
энтузиаст
 
Сообщения: 690
Зарегистрирован: 18.12.2005 19:10:00
Откуда: оттуда

Сообщение debi12345 » 04.12.2007 15:17:26

А это что за машины такие ? 486 или P1 ? Я в своём P1 использовал 40г
в режиме 32г. Потом перешил бивиса по информации с www.nix.ru (благо
плата точно соответствовала описанию там) заменив несколько байтов
и все 40 стали видны. И память 128мб SDRAM133 у него видилась. А
проц был тоже 133 без mmx Smile И вообще то не знал что есть барьер
в 2г. Помню были - 32мб(кажется), 540мб, 8г, 32г, 120г

Несколько лет назад по технологии "побольше откат в карман" было закуплено жуткое б/у "белое" барахло с американских мусорок. Основной BIOS на винте сидит, где-то в служебке, очень специфичен и апдэйту не подлежит (даже y2000 баг не закрывается- Linux выправляет ). Приходится теперь мучаться с таким "наследством", хотя на 90% уже обновили. Тут проблема окупаемости - глупо ставить 500$ P4 на захолустное рабочее место, на котором такая сумма дохода не наберется за весь период эксплуатации ( приходит один клиент в день ). И закрыть такое место нельзя - территориальный охват населения (у нас все делается ради "не напрягать население" ).

Проблему размера пришлось решать дома, для установки винта 160Г на P3 IntelBX-133, под HPT370 RAID контроллер. Пришлось моддингом биоса материнки заниматься - обновлять (под LBA-48) часть биоса, отвечающую за этот контроллер. Опасная операция !

К сожалению из России будет дорого пересылать железки,
а так тут уже в помойку бывает летят P2-3 и 17' CRT мониторы.

Эх, хорошо у вас там с нефтедолларами - можете лежать на печи и нифига не делать.
А у нас каждая копейка на счету - приходится экономить и шевелиться. С нашими ценами, даже 100$ - приличные деньги ( б/у 17' CRT с неподсевшей трубой - тянет на 60$ ).

Да, это обсуждение неожиданно привело меня к большему уважению к Ext3.
Это не значит, что уйду от Reiserа, но в спецефических случаях...

Лично у меня на сервере несколько разделов с разными файловыми системами.
Под БД - ext3 ( плюс она имеет сильную оптимизацию под одновременные запись/чтение, обычное дело для БД ).
Под большой архив мелочевки - само-сборный Reiser4.

Кстати, что случилось с сайтом "WWW.NAMESYS.COM" ?
Жаль, если такой амбициозный проект накроется. Идеи-то супереские - плагины к ФС,...
Непонятно, почему Торвальдс не разрешил засунуть уже достаточно стабильный код Reiser4 в ядро - ведь люди стараются.
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5752
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Сообщение edward » 04.12.2007 18:14:21

1) Транзакции ФС - далеко не на уровне секторов :) Если дописать в конец файла данные и изменить запись о размере файла - это уже минимум два сектора.

=======================

А это и есть на уровне секторов (блоков).
Это как в анекдоте:
--- Отец дай денег!
--- Посмотри в шкафе, только все не бери, возьми четыре пачки
Последний раз редактировалось edward 04.12.2007 18:19:44, всего редактировалось 1 раз.
edward
незнакомец
 
Сообщения: 2
Зарегистрирован: 04.12.2007 18:02:03
Откуда: Зеленоград

Сообщение edward » 04.12.2007 18:18:53

Кое-что по теме :

http://www.citforum.ru/operating_system ... fs07.shtml

===================

Статья старая, 2001 года..
ReiserFS вроде уже поддерживает журналирование данных,
правда не по умолчанию (надо указать опцию монтирования
data=journal)
edward
незнакомец
 
Сообщения: 2
Зарегистрирован: 04.12.2007 18:02:03
Откуда: Зеленоград

Сообщение debi12345 » 04.12.2007 21:09:52

Нет, reiser4 пока не поддерживает "full data journaling".
( сам прошерстил исходники, чтобы убедиться )
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5752
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Сообщение Alexander » 04.12.2007 21:40:28

edward, добро пожаловать !

Вот сразу и решился вопрос о данных.

debi12345 писал(а):Основной BIOS на винте сидит, где-то в служебке


А это Compaq ? А биос ROMPAQ ? Тогда не в служебке, а на разделе винта.
Сам я с ними не занимался но однажды работал в конторе, где продавали
втч такие "белые" двухпроцессорные компаки со встроенными колонками.
Когда я не понял как войти в биос спросил менеджера и он сказал
вышесказанное - скачивать бивиса надо и ставить в раздел.

И почему не использовать малый винт как /boot/, а нормальный как
всё остальное ? Ведь ОСи не нужен биос, она сама винты определяет.

debi12345 писал(а):Эх, хорошо у вас там с нефтедолларами - можете лежать на печи и нифига не делать.


Ну это как сказать. Не все попали в их струю. Далеко не все. Можно сказать
только некоторые. разница в доходах колоссальна.

debi12345 писал(а):Кстати, что случилось с сайтом "WWW.NAMESYS.COM" ?
Жаль, если такой амбициозный проект накроется. Идеи-то супереские - плагины к ФС,...
Непонятно, почему Торвальдс не разрешил засунуть уже достаточно стабильный код Reiser4 в ядро - ведь люди стараются.


См. выше (про доходы втч).
Аватара пользователя
Alexander
энтузиаст
 
Сообщения: 690
Зарегистрирован: 18.12.2005 19:10:00
Откуда: оттуда

Сообщение ev » 04.12.2007 22:04:15

Кстати, что случилось с сайтом "WWW.NAMESYS.COM" ?

сервер лежит
админ еще пару недель в отпуске :)
ev
долгожитель
 
Сообщения: 1763
Зарегистрирован: 27.04.2005 23:19:06
Откуда: Москва

Пред.

Вернуться в Разное

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 10

Рейтинг@Mail.ru