UrBackup 文件备份系统日志与存储详情介绍

发布时间：2022-11-01 10:53:18 所属栏目：Unix 来源：

导读：　　日志

　　UrBackup通常将所有与备份相关的事情记录到几个日志工具中。每条日志都有一定的级别，分别为error、warning、info和debug。每个日志输出都可以根据这个级别进行过滤，例如，只显示错误。服务器和客

　　日志

　　UrBackup通常将所有与备份相关的事情记录到几个日志工具中。每条日志都有一定的级别，分别为error、warning、info和debug。每个日志输出都可以根据这个级别进行过滤，例如，只显示错误。服务器和客户端都有单独的日志。在备份过程中，UrBackup服务器尝试记录属于某个特定备份的所有日志，并在最后将该日志发送到客户端。这些是您在客户端界面上看到的日志。同样的日志也可以通过“日志”一节中的web界面查看。他们也可以发送一个邮件中描述的小节。

　　不能被授权给某个客户端或可能导致过多日志流量的所有内容都记录在一个普通的日志文件中。服务器，默认情况下。在Linux上是/var/log/urbackup.log，在Windows上是C: program files\UrBackupServer\urbackup.log。客户端默认有/var/log/urbackup_client.log和C:\\Progam files\UrBackup\debug.log。默认情况下，这些文件只包含级别为warning或更高的日志消息。在Windows中，与日志文件相同的目录下有args.txt文件。在这里将warn更改为debug、info或error，以获得一组不同的日志消息。为了使更改生效，您需要重新启动服务器。在Linux上，这取决于发行版。在Debian上，修改/etc/default/urbackupsrv中的设置。

　　存储

　　UrBackup服务器的存储系统被设计成能够尽可能多地保存备份，从而尽可能多地使用存储分区上的空间。考虑到这一点，最好的做法是为备份存储使用单独的文件系统，或者为“urbackup”用户设置配额。如果一些文件系统接近完全占用(碎片和糟糕的性能)，它们的行为就会很糟糕。对于这样的文件系统，您应该总是限制UrBackup可以使用的配额，最多为所有可用空间的95%。如果可能的话，您还可以在UrBackup中设置一个软配额，使UrBackup删除备份以保持在这个配额内。

　　UrBackup会在凌晨3点至5点自动删除旧文件和映像备份。当客户端有更多的增量/全量文件/映像备份，超过配置的最大增量/全量文件/映像备份数量时，将删除相应的备份。相应的备份将被删除，直到备份的数量再次低于这些限制。

　　如果管理员打开了自动关机功能，那么这个清理过程将在服务器启动时启动(因为服务器很可能在夜间关闭)。删除备份和随后更新统计信息会对系统性能产生巨大影响。

　　在夜间删除备份时，UrBackup还试图强制执行全局和客户端特定的软配额。只有当客户端已经有超过配置的最小增量/全量文件/映像备份数量的备份时，才能够删除备份。

　　如果服务器在备份期间耗尽存储空间，它将删除备份，直到再次有足够的可用空间。与文件备份相比，映像备份更受青睐，并且最先删除最老的备份。只有当拥有备份的客户端的存储中至少有配置的最小数量的增量/全量文件/映像备份和其他文件/映像备份时，备份才会被删除。如果没有发现这样的备份，UrBackup将取消当前的备份，并产生致命错误。如果出现这种错误，管理员应该监视存储空间，并增加存储或配置增量/全量文件/映像备份的最小数量，使其更低。

　　UrBackup的数据库处于支持高并发的模式。由于清理过程有时会被数据库阻塞，因此建议将数据库切换到允许较少并发性但对清理过程的某些操作来说速度较快的模式。在UrBackup运行时，这是不可能的，所以你应该调整备份窗口，这样你就可以确保在某个点上没有备份运行。然后，您可以通过调用来停止服务器单独运行清理

　　urbackupsrv cleanup --amount x

　　在GNU/Linux或Windows上：

　　cleanup.bat x

　　其中x为备份存储上可释放的空间百分比或字节数/兆字节数/千兆字节数，例如“20G”或“10%”。如果只删除旧备份，请使用“0%”。

　　有时，例如，通过使用数据库备份，在存储目录中有UrBackup不知道的备份，即，在数据库中没有这些备份的条目。或者数据库中有一些条目不在存储目录中(不再存在)。

　　在这些情况下的命令：

　　urbackupsrv remove-unknown

　　在GNU/Linux或Windows上：

　　remove_unknown.bat

　　删除urbackup数据库中不存在的urbackup存储目录中的文件和文件夹。

　　这也将检查所有的符号链接，并在必要时纠正它们。

　　因为UrBackup可以选择首先将所有传入的数据保存到临时文件中，然后将它们复制到并行备份中的最终位置，所以即使备份存储空间很慢，性能仍然很好。这意味着您可以使用具有压缩和去重数据删除功能的全功能文件系统，而不会有那么大的性能损失。在最坏的情况下，服务器会在夜间写入映像备份(在白天已经将映像的内容保存到临时文件中)。

　　下面将展示哪些文件系统适合UrBackup。

　　Ext4/XFS

　　Ext4和XFS都可以在Linux中使用，它们可以处理存储映像备份所需的大文件。它们没有压缩或去重复。压缩可以通过在它们之上使用fuse文件系统来实现，比如fusecompress。还有一些块级的去重数据删除fuse层，但我建议不要使用它们，因为它们看起来不太稳定。您必须使用内核用户/组级配额支持来限制UrBackup存储的使用。

　　NTFS

　　如果您在Windows下运行UrBackup服务器，NTFS几乎是唯一的选择。它支持大文件、压缩以及硬链接，因此比标准的Linux文件系统XFS和Ext4更适合UrBackup。

　　btrfs

　　Btrfs是与ZFS相比的下一代Linux文件系统。支持压缩和离线块级去重数据删除。UrBackup有一个特殊的快照备份模式，使增量备份和删除文件备份比btrfs更快。通过使用btrfs, UrBackup还对增量文件备份执行廉价(就CPU和内存需求而言)的块级去重数据删除。UrBackup还有一种特殊的写时复制原始映像备份格式，允许“永远增量”式的映像备份。

　　ZFS

　　ZFS是源自Solaris的文件系统。它可以作为Linux的熔断模块(zfs-fuse)和内核模块(ZFSOnLinux)使用。有一些许可证问题阻碍了ZFS直接与Linux集成。如果你想要最好的性能和稳定性，最好的选择是使用FreeBSD(例如，作为FreeNAS)。ZFS具有一些简洁的特性，如压缩、块级去重数据删除、快照和内置raid支持，这些特性使其非常适合备份存储。UrBackup还有一种特殊的写时复制原始映像备份格式，允许“永远增量”风格的映像备份，适用于ZFS。

　　下面显示了示例存储安装ZFS通过互联网或通过允许离线备份磁带人工离线存储和使用Linux文件系统的存储设置btrfs使用btrfs快照机制加快文件备份创建和销毁和更有效地保存文件备份。

　　ZFS

　　注意：假设UrBackup运行在支持ZFS的UNIX系统上，例如Linux或BSD。我们将使用所有的ZFS特性，比如压缩、重复数据删除和快照。假设服务器有两个专用备份硬盘(sdb、sdc)和一个可热插拔硬盘插槽(sdd)。假设在/dev/sde中也有一个缓存设备来加速去重数据删除。即使是一个快速的u盘也可以加速去重数据删除，因为它有比普通硬盘更好的随机访问性能。最好使用ssd硬盘。

　　首先设置服务器，使临时目录(/tmp)位于一个足够大的性能文件系统上。如果您有一个raid设置，您可以将/tmp设置为条带设备上。现在我们将在/media/BACKUP中创建一个备份存储文件系统。从这两个硬盘驱动器创建ZFS-pool“backup”。两者是镜像的。将相同大小的硬盘放入可热插拔硬盘槽位。我们也会镜像它：

　　zpool create backup mirror /dev/sdb /dev/sdc /dev/sdd cache /dev/sde -m /media/BACKUP

　　启用去重数据删除和压缩。无论如何，都不需要将配额设置为去重复片段(这就是为什么我们需要缓存设备)。

　　zfs set dedup=on backup

　　zfs set compression=on backup

　　现在我们想实现祖父、父亲、儿子或类似的备份方案，我们可以把硬盘放在防火保险箱里。每次我们想要一个非现场备份时，我们都要移除热的可切换设备并插入一个新的。然后我们运行：

　　zpool replace backup /dev/sdd /dev/sdd

　　或者

　　zpool scrub

　　你可以看到re-silvering/scrub的进度与“zpool status”。一旦它完成了，你就准备把另一个硬盘带到某处。

　　现在，我们希望将备份保存在另一个位置的服务器上。首先，我们在另一个位置上创建ZFS备份池。然后我们传输全量的文件系统(otherserver是另一个服务器的主机名)：

　　zfs snapshot backup@last

　　zfs send backup@last | ssh -l root otherserver zfs recv backup@last

　　一旦完成，我们就可以增量同步两个文件系统：

　　zfs snapshot backup@now

　　ssh -l root otherserver zfs rollback -r backup@last

　　zfs send -i backup@last backup@now | ssh -l root otherserver zfs recv backup@now

　　zfs destroy backup@last

　　zfs rename backup@last backup@now

　　ssh -l root otherserver zfs destory backup@last

　　ssh -l root otherserver zfs rename backup@last backup@now

　　您还可以将这些全量的和增量的zfs流保存到另一个服务器上的文件中，而不是直接保存到zfs文件系统中。

　　使用ZFS进行写时复制原始映像备份，因为UrBackup 2.1.x ZFS存储也允许使用写时复制原始映像备份格式。这种格式没有大小限制，允许“永远增量”样式的映像备份。UrBackup将每个映像备份放入一个单独的数据集，并将映像存储为单个大文件。压缩和未使用的区域管理是由ZFS完成的。为了创建和删除ZFS快照，UrBackup安装了一个setuid可执行文件urbackup_ snapshot_helper。然而，目前ZFSOnLinux依次调用mount，当urbackup_ snapshot_helper以非特权用户运行时将失败。因此，您必须以root用户运行UrBackup服务器(urbackupsrv run -u root)。你应该创建一个单独的ZFS数据集，将映像备份存储在其中，例如插槽/映像。UrBackup server将从/etc/urbackup/dataset中读取数据集，并从/etc/urbackup/backupfolder中读取备份存储路径。如设置。

　　mkdir -p /etc/urbackup

　　echo "tank/images" > /etc/urbackup/dataset

　　echo "/mnt/BACKUP/urbackup" > /etc/urbackup/backupfolder

　　然后以root用户运行测试是否一切正常：

　　urbackup_snapshot_helper test

　　您应该能够享受更快的增量文件备份，使用更少的存储空间和“永远增量”风格的映像备份。

　　其他注意事项：UrBackup使用“file hole punching”来删除增量备份后映像文件中未使用的区域。FreeBSD目前不支持此功能，因此在FreeBSD上进行增量映像备份后，它将无法删除那些未使用的区域。但是，它将它们设置为零，因此，如果启用了ZFS压缩，未使用的区域将不会占用太多空间。

　　类似地，UrBackup支持ZFS的写时复制文件备份。该方法与下一节中使用ceveat的btrfs相同，即相同的文件不能像btrfs那样在ZFS数据集之间重新链接，因为ZFS缺少了refink特性。相反，文件将被复制，也就是说，UrBackup不会加载文件两次，如果它已经有一个副本，但可能存储它两次，如果ZFS去重数据删除没有启用。使用ZFS的写时复制文件备份需要使用ZFS的写时复制映像备份的前面设置，另外设置文件备份存储的数据集，例如：

　　echo "tank/files" > /etc/urbackup/dataset_file

　　Btrfs

　　Btrfs是Linux的高级文件系统，能够在子卷的写快照上创建副本。要使UrBackup能够使用快照机制，Linux内核必须至少是3.6版本。

　　如果UrBackup检测到一个btrfs文件系统，它使用一个特殊的快照文件备份模式。它将每个客户机的每个文件备份保存在单独的btrfs子卷中。当创建一个增量文件备份时，UrBackup会创建最后一个文件备份的快照，并只删除、添加和更改更新快照所需的文件。这比普通方法快得多，在普通方法中UNIX 系统日志，UrBackup链接(硬链接)新的增量文件中的每个文件备份到最后一个文件中。它也使用较少的元数据(关于文件的信息，即目录条目)。如果一个新增/更改的文件被检测到与另一个客户端的文件相同或与另一个备份中的文件相同，UrBackup使用跨设备reflinks在文件系统上只保存一次该文件中的数据。使用btrfs还允许UrBackup备份在增量备份之间更改的文件，以一种只存储文件中更改的数据的方式。这大大减少了备份所需的存储量，特别是对于大型数据库文件(例如Outlook归档文件)。ZFS去重数据删除节省了更多的存储空间，但其代价要大得多，因为它大幅降低了读写性能，并提高了CPU和内存需求。

　　使用btrfs UrBackup还可以使用一种特殊的原始映像文件格式。这种格式没有大小限制，允许“永远增量”样式的映像备份。UrBackup将每个映像备份放到一个单独的子卷中，并将映像存储为单个大文件。压缩和未使用的区域管理是由btrfs完成的。

　　为了创建和删除btrfs快照，UrBackup安装了一个setuid可执行文件urbackup_ snapshot_helper。UrBackup还使用这个工具来测试是否可能实现跨设备链接。只有UrBackup能够创建跨设备reflink，并且能够创建和销毁btrfs快照时，才开启btrfs模式。urbackup_snapshot_helper需要单独告知UrBackup备份文件夹的位置。该路径从/etc/urbackup/backupfolder中读取。因此，如果/media/backup/urbackup是urbackup保存路径的文件夹，下面的命令将正确创建这个文件：

　　mkdir /etc/urbackup

　　echo "/media/backup/urbackup" > /etc/urbackup/backupfolder

　　然后你可以通过运行来测试UrBackup是否会使用btrfs特性

　　urbackup_snapshot_helper test

　　如果测试失败，则需要检查内核是否足够新，备份文件夹是否在btrfs卷上。

　　您应该能够享受更快的增量文件备份，使用更少的存储空间和“永远增量”风格的映像备份。

（编辑：PHP编程网 - 钦州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!