martes, 19 de enero de 2021

Cliente de Proxmox Backup Server

 Proxmox Backup server es un sistema cliente/servidor. En anteriores entrada comentamos lo correspondiente al servidor.

A continuación veremos el resultado de este sistema.

El cliente es algo tan sencillo, y a la vez complejo, como un comando de la terminal linux.

Este es el  proxmox-backup-client.

la sintáxis esta bien descripta y documentada en: https://pbs.proxmox.com/docs/backup-client.html 

 pasando los parametros y opciones en esta sintáxis: [[username@]server[:port]:]datastore

por ejemplo:

 # proxmox-backup-client backup root.pxar:/ --repository backup-server:store1

 La mayor de las virtudes de PBS es la tecnología de deduplicación y backup incremental.

como se explica aqui

La deduplicación de copias de seguridad minimiza el espacio requerido para el almacenamiento, porque detecta los datos que se repiten y almacena los datos idénticos tan solo una vez.

En el proceso de la deduplicación, los datos de copia de seguridad se dividen en bloques. La singularidad de cada uno de esos bloques se comprueba en una base de datos especial, que hace el seguimiento de las sumas de comprobación de los bloques almacenados. Los bloques únicos se envían a su almacenamiento y los duplicados se omiten.

El Proxmox Backup Server gestiona la deduplicación en destino, o sea en el mismo PBS.

Después de que ha concluido una copia de seguridad en un almacenamiento de deduplicación, el sistema de almacenamiento realiza una deduplicación en el ámbito del almacenamiento. Por lo general, este proceso se desarrolla de la siguiente manera:

  1. Los bloques de datos pasan del archivo de copia de seguridad a un archivo especial, el almacén de datos de deduplicación, que se encuentra en el mismo almacenamiento. Los bloques duplicados se almacenan tan solo una vez.
  2. Los valores de comprobación y los enlaces a los bloques de datos se guardan en la base de datos de deduplicación, de manera que los datos se puedan reensamblar fácilmente (rehidratados).

El resultado es que el almacén de datos contiene bloques de datos únicos. Cada bloque tiene una o más referencias de las copias de seguridad. Las referencias se guardan en la base de datos de deduplicación.

A continuación iré agregándo captura de pantalla de distintos escenarios en la infraestructura ya comentada en entradas anteriores

 

Fuentes:

https://pbs.proxmox.com/docs/backup-client.html

https://www.acronis.com/es-es/articles/deduplication/

 

 

martes, 5 de enero de 2021

Proxmox Backup Server - Administrar Storage


 

Gestión de discos


Proxmox Backup Server viene con un conjunto de utilidades de disco, a las que se accede mediante el subcomando disc. Este subcomando permite inicializar los discos, crear varios sistemas de archivos y obtener información sobre los discos.

Lista de discos

Para ver los discos conectados al sistema, navegue a Administration -> Disks en la interfaz web


 o utilice el subcomando disc list:


 Se observa que ya inicializamos con GPT el disco donde iran los backup de los cliente.

Para comenzar, creamos un zfs store en nuestr dísco secundario


y comprobamos por linea de comando

             # proxmox-backup-manager disk list

 

             # proxmox-backup-manager disk zpool list

chequeamos en la terminal el punto de montaje

                            # df -h


Para utilizar la unidad será necesario crear una plantilla Datastore.

Un Datastore se refiere a la ubicación en la que se almacenan las copias de seguridad. La implementación actual utiliza un directorio dentro de un sistema de archivos Unix estándar (ext4, xfs o zfs) para almacenar los datos de la copia de seguridad.

Los Datastore se identifican mediante un simple ID. Puede configurarlo al configurar el datastore. La información de configuración de los datastore se almacena en el archivo /etc/proxmox-backup/datastore.cfg. 



Configuración del datastore

Puede configurar múltiples datastore. Es necesario configurar como mínimo un datastore. Este se identifica con un nombre simple y apunta a un directorio en el sistema de archivos. Cada datastore también tiene asociada una configuración de retención de cuántas instantáneas de copia de seguridad para cada intervalo de horas, días, semanas, meses y años, así como un número de copias de seguridad independientes del tiempo para mantener en ese almacén. Las copias de seguridad y la recolección de basura también pueden configurarse para que se ejecuten periódicamente en base a un programa configurado (véase Eventos de calendario) por cada datastore.


 



Name: se refiere al nombre del datastore.
Backing path: es el camino al directorio en el que quieres crear el datastore.
 GC Schedule: se refiere al tiempo y los intervalos en los que la recolección de basura se lleva a cabo.
 Prune Schedule: se refiere a la frecuencia con la que se realiza la copia
 Prune Options: establecen la cantidad de copias de seguridad que desea conservar (consulte Prune y eliminar copias de seguridad).
 Comment: se puede utilizar para añadir alguna información contextual a la tienda de datos.

lunes, 4 de enero de 2021

Proxmox Backup Server. Solución integral para copias de seguridad

 Proxmox, conocido por sus productos Proxmox Virtual Environment y Proxmox Mail Gateway, ha lanzado la primera versión de la distribución Proxmox Backup Server.

Esta se presenta como un software de respaldo cliente-servidor de clase empresarial que respalda máquinas virtuales, contenedores y hosts físicos.

Está especialmente optimizado para la plataforma Proxmox Virtual Environment y permite realizar copias de seguridad y replicar datos de forma segura.
Proporciona una gestión sencilla con una línea de comandos y una interfaz de usuario basada en web y está licenciada bajo la Licencia Pública General GNU Affero v3 (GNU AGPL, v3).
Proxmox Backup Server admite copias de seguridad incrementales, deduplicación de datos, compresión y cifrado autenticado.

 
En este primer artículo sobre PBS mostraremos cómo instalar Debian Buster x64 y luego configurar los repositorios de PBS.

Veamos algunas características del mismo

Proxmox Backup se divide en una parte de servidor y otra de cliente. La parte del servidor puede ser instalada con un instalador gráfico o en Debian desde el repositorio de paquetes proporcionado.

Requisitos del sistema
 Es recomendable usar hardware para servidor de alta calidad cuando se ejecuta Proxmox Backup en producción. Para disminuir aún más el impacto de un host fallido, puede configurar la sincronización periódica, eficiente e incremental de la base de datos desde otras instancias del Proxmox Backup Server.

Requisitos mínimos del servidor, para la evaluación
Estos requisitos mínimos son sólo para fines de evaluación y no deben utilizarse en producción.

CPU: 64bit (x86-64 or AMD64), 2+ Cores
Memoria (RAM): 2 GB RAM
Hard drive: mayor a 8GB.
Placa de red (NIC)


Requisitos de sistema recomendados para el servidor
CPU: CPU moderna de AMD o Intel de 64 bits, con al menos 4 núcleos
Memoria: mínimo 4 GiB para el sistema operativo, la caché del sistema de archivos y los demonios del Proxmox Backup Server. Añade al menos otro GiB por cada espacio de almacenamiento TiB.
Almacenamiento del sistema operativo:
32 GiB, o más, de espacio de almacenamiento libre
Utilice un RAID de hardware con una caché de escritura protegida por batería (BBU) o una configuración ZFS redundante (ZFS no es compatible con un controlador RAID de hardware).
Almacenamiento de copias de seguridad:
Utilice sólo SSDs, para obtener los mejores resultados
Si se usan discos duros: Se recomienda encarecidamente utilizar una caché de metadatos, por ejemplo, añadir un espejo de dispositivo especial ZFS.
Tarjetas de interfaz de red (NIC) redundantes de Multi-GBit/s

el primer paso, luego de bajar la iso de la versión preferida para instalación de Debian será su instalación. En este caso utilizaré debian-10.7.0-amd64-netinst.iso


A continuación las configuraciones necesarias de particionado, conexión de red, zona horaria, usuario root, etc.


 




Solo elegimmos instalar el servidor ssh para facilitar el trabajo remoto desde terminal.


 finalizado, reiniciamos el sistema y tendremos debian 10, por el momento. Pasamos a instalar PBS



Ahora veremos cómo instalar PBS en un servidor Debian Buster. Para ello bajamos la llave gpg.
# wget http://download.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg


Repositorio de copias de seguridad sin suscripción de Proxmox
Como su nombre indica, no necesita una clave de suscripción para acceder a este repositorio. Puede ser usado para pruebas y para uso fuera de la producción. No se recomienda utilizarlo en servidores de producción, porque estos paquetes no siempre están muy probados y validados.


Recomendamos configurar este repositorio en /etc/apt/sources.list
# PBS pbs-no-subscription repository provided by proxmox.com,
# NOT recommended for production use
deb http://download.proxmox.com/debian/pbs buster pbs-no-subscription


Adicionalmente podemos agregar el repositorio Testing de PBS.
deb http://download.proxmox.com/debian/pbs buster pbstest

luego actualizamos la de los repositorios y ya estamos


 Instalación del servidor
El servidor de respaldo almacena los datos actuales respaldados y proporciona una interfaz gráfica de usuario basada en la web para varias tareas de administración, como la administración de discos.
 

Nota
Siempre es necesario un servidor de respaldo. No es posible usar el Proxmox Backup sin la parte del servidor.
La imagen de disco (archivo ISO) proporcionada por Proxmox incluye un sistema Debian completo ("buster" para la versión 1.x) así como todos los paquetes necesarios para el servidor de Proxmox Backup.
El instalador le guiará a través del proceso de instalación y le permitirá particionar el disco o discos locales, aplicar las configuraciones básicas del sistema (por ejemplo, zona horaria, idioma, red) e instalar todos los paquetes necesarios. El ISO proporcionado le permitirá comenzar en pocos minutos, y es el método recomendado para usuarios nuevos y existentes.
Alternativamente, el servidor Proxmox Backup puede instalarse sobre un sistema Debian existente.

Instalar el Servidor de Copias de Seguridad de Proxmox en Debian
PBS es un conjunto de paquetes Debian que pueden ser instalados sobre una instalación estándar de Debian. Después de configurar los repositorios de paquetes de Debian explicado anteriormente, es necesario ejecutar:


# apt-get update
# apt-get install proxmox-backup-server


Los comandos anteriores mantienen el núcleo actual (Debian) e instalan un conjunto mínimo de paquetes requeridos.

se nos requerirá configurar postfix.

Y ya tendremos BPS instalado


Si se quiere instalar el mismo conjunto de paquetes que el instalador, es recomendable lo siguiente:
# apt-get update
# apt-get install proxmox-backup

 


Esto instalará todos los paquetes necesarios, el kernel Proxmox con soporte ZFS, y un conjunto de paquetes comunes y útiles.
Finalmente acceder a la interfaz web del PBS con el navegador web, usando HTTPS en el puerto 8007. Por ejemplo en https://<ip-or-dns-name>:8007



Proximamente estaré publicando cómo configurar los datastore y los clientes a resguardar.






miércoles, 10 de junio de 2020

Restaurar Backup diferenciales en proxmox V5

Esto va a ser bastante breve.
ustedes entiendan que siempre me hablo a mi mismo.

vamos con imágenes, que es lo ilustrativo.

Escenario:
Un CT que pierde su consistencia
Tenemos configurado copias diferenciales de resguardo:
apagamos el CT

Eliminamos el CT en producción
Restauramos el full backup

Restauramos el primer diff
Restauramos el segundo diff
Todo esto es más sencillo si hacemos un merge de los diff.
algo que tengo que investigar.

jueves, 9 de enero de 2020

Proxmox, backup full y diferencial

Proxmox Virtual Environment, o Proxmox VE, es un entorno de virtualización de servidores de código abierto. Está en distribuciones GNU/Linux basadas en Debian con una versión modificada del Kernel.


 A continuación vamos a ver cómo configurar un sistema de copias de seguridad diferenciales.

Los usuarios de ProxmoxVE saben que el sistema de backup del mismo solo realiza copias totales de cada VM o LXC lo que deviene en el desperdicio de una importante cantidad de espacio en disco, o medios extraibles.

Sin embargo, gracias al trabajo de Kamil Trzciński, es posible patchear ProxmoxVE para que realice backup diferenciales.

¿Qué es un backup diferencial?
La copia incremental ( o diferencial incremental ) es la más avanzada en sistemas de backup, ya que únicamente copia los ficheros creados o modificados desde el último backup realizado, ya sea de una copia completa o incremental, reduciendo de este modo los archivos a copiar y el tiempo empleado en el proceso de backup.

 una vez que tenemos nuestro host proxmox configurado y con sus VM y LXC corriendo, cabe ocuparnos de las copias de seguridad.
para ellos vamos a parchar proxmox de manera que acepte realizar copias diferenciales.

Se preguntaran a esta altura por qué no es una opción propia de Proxmox. Pués bien, la respuesta de los autores es:
Es decir: Quieren mantener esta herramienta tan sencilla como sea posible.
Nada más que agregar. Si no lo hacés vos, lo hago yo.

El Proxmox del ejemplo es:  Virtual Environment 5.4-7
chequear su versión para aplicar el patch correspondiente

Hay dos formas de obtener el script para patchear Proxmox
1) con wget
wget https://github.com/ayufan/pve-patches/blob/master/pve-5.4-5-diff-backup-addon

2) con git
git clone https://github.com/ayufan/pve-patches

una vez que tenemos el script le damos atributo de ejecutable y lo corremos

./pve-5.4-5-diff-backup-addon apply

como se observa en la imágen, el patch ya esta aplicado por lo que no produce ningún efecto.
En la primer instalación el mensaje será de un parchado satisfactorio.

A continuación instalamos xdelta3.
dpkg -i pve-xdelta3_3.0.6-1_amd64.deb


En Proxmox tenemos la posibilidad de trabajar tanto en la GUI como directamente en la terminal de Linux.
Veamos el backup configurado para algunas de los contenedores y vm




Nos queda seteado para 1 backup full y 2 diferenciales, de lunes a viernes.

podemos ver el contenido de nuestro directorio de backup
se observa que del container y la vm configurados para copia de seguridad ya existe el primer backup diferencial. Y vaya la diferencia en tamaño!!

lo mismo podemos observar en la terminal, con el agregado que se observan los log del sistema, interesantes de leer para entender el proceso completo.

Finalmente editamos el cron de proxmox para que quede similar a esta entrada:

vi /etc/pve/vzdump.cron
Agregando la opción --fullbackup

Nota:
En el ejemplo /mnt es el punto de montaje de un servidor NFS ubicado en una locación externa al proxmox. Decidí utilizar las propiedades de Debian para tal fin, antes que las propias de proxmox.


El patch tiene un script para chequear los backup
Y el blog del autor tiene ejemplos de restauración de los backup diferenciales.

Fuentes:
https://www.ayufan.eu/projects/proxmox-ve-differential-backups/#disqus_thread
https://github.com/ayufan/pve-patches



sábado, 19 de octubre de 2019

Backup en la nube de amazon con rsync desde ubuntu server

Continuando con la configuración de un sistema de backup de 100GB en la nube, luego de lo que ya hicimos en esta entrada: https://jaskolowski.com.ar/2019/10/amazon-web-services-100gb-de-espacio-en.html

Vamos a usar nuestro espacio en la nube automatizando un proceso de backup del servidor web.

 Utilizando el botón "conect" nos aparece la información de cómo usar el servidor ssh de nuestra vm

Por lo que simplemente deberemos logearnos remotamente con algo parecido a esto:

y comprobamos que el servidor rsync esta listo para recibir nuestros datos


enviamos nuestro backup a la nube de amazon

Crontab será de gran ayuda para automatizar esta tarea.


Fuentes:
https://medium.com/faun/bulk-upload-of-files-from-your-local-machine-to-aws-ec2-instance-with-remote-sync-rsync-2fe9a9456cad