Skip to content

Kopia - HTTP/S Server

Verschoben Kopia
  • Ok, weiter geht's 🙂 Kopia hat auch einen eingebauten Server Modus. Das entspricht dann dem REST-Server von Restic.

    Da es auch eine arm64 Version gibt, klatschen wir das mal schnell auf einen ROCKPro64 zum Testen.

    Kopia Installation

    Wir suchen uns hier die richtige Version aus und kopieren den Download Pfad. In meinem Fall brauchen wir dann das hier.

    root@debian:~# wget https://github.com/kopia/kopia/releases/download/v0.6.0-rc1/kopia_0.6.0-rc1_linux_arm64.deb
    

    Danach installieren

    root@debian:~# dpkg -i *.deb
    Selecting previously unselected package kopia.
    (Reading database ... 161388 files and directories currently installed.)
    Preparing to unpack kopia_0.6.0-rc1_linux_arm64.deb ...
    Unpacking kopia (0.6.0~rc1) ...
    Setting up kopia (0.6.0~rc1) ...
    

    Repository erzeugen

    Wir brauchen mal irgendeinen Pfad zum Testen

    root@debian:~# mkdir kopia
    

    Wir erzeugen ein Repository

    root@debian:~# kopia repository create filesystem --path kopia
    Enter password to create new repository: 
    Re-enter password for verification: 
    Initializing repository with:
      block hash:          BLAKE2B-256-128
      encryption:          AES256-GCM-HMAC-SHA256
      splitter:            DYNAMIC-4M-BUZHASH
    Connected to repository.
    
    NOTICE: Kopia will check for updates on GitHub every 7 days, starting 24 hours after first use.
    To disable this behavior, set environment variable KOPIA_CHECK_FOR_UPDATES=false
    Alternatively you can remove the file "/root/.config/kopia/repository.config.update-info.json".
    
    Policy for (global):
    
    Retention:
      Annual snapshots:    3           (default)
      Monthly snapshots:  24           (default)
      Weekly snapshots:    4           (default)
      Daily snapshots:     7           (default)
      Hourly snapshots:   48           (default)
      Latest snapshots:   10           (default)
    
    Files policy:
      No ignore rules.
      Read ignore rules from files:
        .kopiaignore                   (default)
    
    Error handling policy:
      Ignore file read errors:       false       (default)
      Ignore directory read errors:  false       (default)
    
    Scheduled snapshots:
      None
    
    Compression disabled.
    
    To change the policy use:
      kopia policy set --global <options>
    or
      kopia policy set <dir> <options>
    

    Tool htpasswd

    Für das Tool htpasswd brauchen wir

    apt install apache2-utils
    

    Danach legen wir einen User mit Passwort an.

    root@debian:~# htpasswd -c htpasswd frank@frank-MS-XX
    New password: 
    Re-type new password: 
    Adding password for user frank@frank-MS-XX
    

    Server starten

    root@debian:~# kopia server --htpasswd-file htpasswd --address 192.168.3.2:51515
    SERVER ADDRESS: http://192.168.3.2:51515
    
    Open the address above in a web browser to use the UI.
    serving patched index
    

    Server Webinterface

    kopia_login.png

    Den Server kann man jetzt über einen Webbrowser erreichen

    67d50fe3-bf02-4653-a06f-d84de6dae0c3-image.png

    Was mich aber mehr interessiert, ich möchte den Server ja von extern erreichen um dort Backups anzulegen.

    Kopia HTTP/S von extern erreichen

    Ich hatte von meinem Test gestern Version 0.5.2 installiert, die kann das nicht. Also purgen und die Version 0.6.0-rc1 installieren. Diese ist im Github als Latest Releases markiert.

    wget https://github.com/kopia/kopia/releases/download/v0.6.0-rc1/kopia_0.6.0-rc1_linux_amd64.deb
    sudo dpkg -i *.deb
    

    Ok, installiert und dann Version kontrollieren

    frank@frank-MS-XX:~$ kopia --version
    0.6.0-rc1 build: cfa30f2e45e7a9ec421757ced6361428412014bb
    

    Passt 🙂

    Zum Server connecten

    frank@frank-MS-XX:~$ kopia repo connect server --url=http://192.168.3.2:51515 --override-username=frank --override-hostname=frank-MS-XX
    Enter password to open repository: 
    
    Connected to repository API Server.
    
    NOTICE: Kopia will check for updates on GitHub every 7 days, starting 24 hours after first use.
    To disable this behavior, set environment variable KOPIA_CHECK_FOR_UPDATES=false
    Alternatively you can remove the file "/home/frank/.config/kopia/repository.config.update-info.json".
    

    Ok, das sollte die Verbindung aufgebaut haben.

    Snapshot anlegen

    frank@frank-MS-XX:~$ kopia snapshot create $HOME/Downloads
    Snapshotting frank@frank-MS-7C37:/home/frank/Downloads ...
     * 0 hashing, 64 hashed (7.4 GB), 0 cached (0 B), 0 uploaded (0 B), 0 errors  
    Created snapshot with root k69751246cde8eb9180fb27e54da88220 and ID c936bac0515e9b740c1e67f64e3ea352 in 2m54s
    

    Webinterface

    Im Interface kann man dann oben rechts auswählen, welche Snapshots man angezeigt haben möchte.

    Snapshot durchsuchen

    Man kann sich sofort den Snapshot anzeigen lassen und nach Dateien suchen usw.

    Sehr praktisch 😳

    Fazit

    Nach einigen wenigen Minuten, ein kleines Kurzfazit. Das Ding hat ganz viel Potential und gefällt mir aktuell sehr gut. Auch wenn man das sicherlich noch etwas ausführlicher testen muss.

  • Zur Steuerung welche Dateien und Ordner gesichert werden sollen, erstellt man ein File mit dem Namen .kopiaignore

    Downloads
    Kopia_TEST
    VirtualBox\ VMs/
    .cache
    

    Danach werden diese Dateien und Ordner nicht mehr gesichert.

  • Ich hatte ein paar Probleme, die ich mir teilweise nicht erklären kann 🤔

    Ich möchte den Kopia Server gerne über systemd steuern.

    SystemD

    [Unit]
    Description=Kopia Server
    After=syslog.target
    After=network.target
    
    [Service]
    Type=simple
    User=kopia
    Group=kopia
    ExecStart=/usr/bin/kopia server --tls-cert-file /home/kopia-server/fullchain.pem --tls-key-file /home/kopia-server/privkey.pem --htpasswd-file /home/kopia-server/.htpasswd --address <IPv4>:51515
    Restart=always
    RestartSec=5
    
    [Install]
    WantedBy=multi-user.target
    

    Danach

    systemctl daemon-reload
    systemctl start kopia-server
    

    Mit

    systemctl status kopia-server
    

    kann man sich den Status anzeigen lassen.

    Client Rechner

    Auf dem Client, der das Backup zum Server schicken soll, machen wir dann folgendes.

    USER@HOSTNAME:~$ kopia repo connect server --url=https://<DOMAIN>:51515 --override-username=USER --override-hostname=HOSTNAME
    Enter password to open repository: 
    
    Connected to repository API Server.
    
    NOTICE: Kopia will check for updates on GitHub every 7 days, starting 24 hours after first use.
    To disable this behavior, set environment variable KOPIA_CHECK_FOR_UPDATES=false
    Alternatively you can remove the file "/home/frank/.config/kopia/repository.config.update-info.json".
    

    Danach steht die Verbindung und wir können Backups hochschieben.

    kopia snapshot create $HOME
    

    Damit wird das Homeverzeichnis gesichert. Das initiale Backup, hat 30 Minuten gebraucht.

    created snapshot with root kb9e50ff5xxxxxxxxxx265d40a5d0861 and ID cda5c0ffxxxxxxxxxxxxxxa4cb4a367b in 30m28s
    

    Ein späteres Backup, sieht so aus.

    USER@HOSTNAME:~$ kopia snapshot create $HOME
    Snapshotting USER@HOSTNAME:/home/frank ...
     * 0 hashing, 51 hashed (324.8 MB), 8524 cached (6.6 GB), 0 uploaded (0 B), 0 errors 100.0%
    Created snapshot with root kc20a4xxxxxxxxxxxx745c6c7b37c and ID d7a96eaxxxxxxxxxxx0961018eacffa in 3m12s
    

    Nach 3 Minuten durch. Zu diesem Zeitpunkt hat sich aber auch nicht wirklich was geändert!

    Fazit

    Das Tool macht immer noch einen sehr guten Eindruck. Die Geschwindigkeit ist sehr gut. Die Anleitung ist leider unzureichend. Da gibt es so viele Möglichkeiten, da braucht es sehr lange, bis man da mal durchsteigt. Zum Glück, ist das was man normalerweise braucht, recht überschaubar. Bis zum produktiven Einsatz braucht das aber bei mir noch eine Menge mehr Tests.

    Was ich noch testen möchte

    • Verzeichnis mounten
    • Backup testweise wieder herstellen (zumindestens teilweise)

    Der Test läuft mit Standard Einstellungen, also z.B. ohne Kompression. Das sollte man dann auch mal testen..

    Bitte achtet auf gleiche Versionen auf dem Clienten, wie auf dem Server. Ich meine da ein paar Probleme festgestellt zu haben...

  • MongoDB - Erste Erfahrungen

    Linux
    2
    0 Stimmen
    2 Beiträge
    67 Aufrufe
    FrankMF

    So frisch von der MongoDB Front und wieder viel gelernt, weil beim Üben macht man Fehler 🙂

    Oben war ja mongodump & mongorestore von der KI empfohlen. Hier das wie ich es gemacht habe.

    mongodump frank@redis-stack:~$ mongodump -u frank -p '<password>' --host 192.168.3.9 --authenticationDatabase admin -d portfolio -o mongodump/ 2024-04-06T09:29:25.174+0200 writing portfolio.stockList to mongodump/portfolio/stockList.bson 2024-04-06T09:29:25.175+0200 writing portfolio.users to mongodump/portfolio/users.bson 2024-04-06T09:29:25.175+0200 done dumping portfolio.stockList (8 documents) 2024-04-06T09:29:25.176+0200 writing portfolio.total_sum to mongodump/portfolio/total_sum.bson 2024-04-06T09:29:25.177+0200 done dumping portfolio.total_sum (1 document) 2024-04-06T09:29:25.177+0200 writing portfolio.old_total_sum to mongodump/portfolio/old_total_sum.bson 2024-04-06T09:29:25.177+0200 writing portfolio.stocks to mongodump/portfolio/stocks.bson 2024-04-06T09:29:25.177+0200 done dumping portfolio.users (4 documents) 2024-04-06T09:29:25.178+0200 writing portfolio.settings to mongodump/portfolio/settings.bson 2024-04-06T09:29:25.178+0200 done dumping portfolio.settings (1 document) 2024-04-06T09:29:25.179+0200 done dumping portfolio.old_total_sum (1 document) 2024-04-06T09:29:25.179+0200 done dumping portfolio.stocks (34 documents) mongorestore mongorestore -u frank -p '<password>' --host 192.168.3.9 --authenticationDatabase admin -d portfolio mongodump/meineDatenbank/

    Hier wird die Datensicherung mongodump/meineDatenbank/ in die neue Datenbank portfolio transferiert.

    Grund für das Ganze? Mich hatte der Datenbank Name meineDatenbank gestört.

    Benutzerrechte

    Jetzt der Teil wo man schnell was falsch machen kann 🙂 Ich hatte also die neue Datenbank, konnte sie aber nicht lesen. Fehlten halt die Rechte. Ich hatte dann so was hier gemacht.

    db.updateUser("frank", { roles: [ { role: "readWrite", db: "meineDatenbank" }, { role: "readWrite", db: "portfolio" }]})

    Ging auch prima, kam ein ok zurück. Nun das Problem, ich hatte beim Einrichten, den User frank als admin benutzt. Durch den oben abgesetzten Befehl (frank ist ja admin), wurden die neuen Rechte gesetzt und die Rechte als Admin entzogen!! Das war jetzt nicht wirklich das was ich gebrauchen konnte. LOL

    Ich hatte jetzt keine Kontrolle mehr über die DB. Das war aber nicht so wirklich kompliziert, das wieder zu ändern. Die Authentication temporär abstellen. Also /etc/mongod.conf editieren und

    #security: security.authorization: enabled

    eben mal auskommentieren. Den Daemon neustarten und anmelden an der DB.

    mongosh --host 192.168.3.9

    Danach neuen User anlegen

    db.createUser({ user: "<name>", pwd: "<password>", roles: [ { role: "userAdminAnyDatabase", db: "admin" } ] })

    mongod.conf wieder ändern und neustarten. Danach hat man wieder eine DB mit Authentifizierung und einen neuen Admin. Ich bin diesmal, man lernt ja, anders vorgegangen. Es gibt nun einen Admin für die DB und einen User zum Benutzen der Datenbanken! So wie man es auch auf einem produktiven System auch machen würde. Wenn ich jetzt mal was an den Benutzerrechten des Users ändere, kann mir das mit dem Admin nicht mehr passieren. Hoffe ich 🙂

  • Kopia 0.7.x released

    Kopia
    1
    0 Stimmen
    1 Beiträge
    198 Aufrufe
    Niemand hat geantwortet
  • Kopia - Verbessertes UI in Arbeit

    Kopia
    4
    0 Stimmen
    4 Beiträge
    364 Aufrufe
    FrankMF

    Nächste tolle Neuerung, man kann die Datensicherung jetzt sofort mounten. Sich alles ansehen usw.

    Bildschirmfoto vom 2020-09-08 21-56-39.png

  • Kopia - Administrative Aufgaben

    Kopia
    1
    0 Stimmen
    1 Beiträge
    243 Aufrufe
    Niemand hat geantwortet
  • Kopia - HTTP/S Server aufsetzen

    Angeheftet Kopia
    1
    0 Stimmen
    1 Beiträge
    349 Aufrufe
    Niemand hat geantwortet
  • Kopia - Mit Snapshots arbeiten

    Kopia
    2
    0 Stimmen
    2 Beiträge
    344 Aufrufe
    FrankMF

    Solltet Ihr mal snaps mit dem Status incomplete haben und möchtet diese loswerden

    :~$ kopia snap ls -i USER@HOST:/home/frank 2020-09-10 16:31:45 CEST k89770cab1061e00ada49efc41075ed34 incomplete:canceled 728.8 MB drwxr-xr-x files:8891 dirs:3033 (incomplete) 2020-09-10 16:40:05 CEST k27f028b63299983167cb0b4a0c85df80 incomplete:canceled 153.8 MB drwxr-xr-x files:1052 dirs:324 (incomplete)

    So was passiert z.B. wenn die Internetleitung rumzickt. Jarek meint, das wäre nicht schlimm, beim nächsten Snapshot wird das gefixt und die Daten genutzt, die schon verarbeitet wurden.

  • Kopia - Mounten einer Sicherung

    Verschoben Kopia
    1
    0 Stimmen
    1 Beiträge
    199 Aufrufe
    Niemand hat geantwortet
  • Redis Replication

    Angeheftet Verschoben Redis
    4
    1 Stimmen
    4 Beiträge
    421 Aufrufe
    FrankMF

    Um die Verbindung zu testen, kann man folgende Befehle nutzen.

    redis-cli -h 10.1.1.0 -p 6379 -a <PASSWORD>

    und

    telnet 10.1.1.0 6379