SOFTWARE-DEFINIERTER STORAGE FÜR X86-64
SOFTWARE-DEFINED STORAGE FOR X86-64

Weniger Speicher.
Dieselben Dateien.
Gebaut mit Rust.

Less storage.
The same files.
Built with Rust.

fastdup macht aus deiner x86-64-Hardware eine Storage-Appliance: identische Inhalte wiederverwenden, neue Daten komprimieren und ähnliche Versionen optional weiter reduzieren. Zugriff per SMB und FUSE, Verwaltung im Browser.

Turn your x86-64 hardware into a storage appliance: reuse identical content, compress new data, and optionally reduce similar versions further. Access files over SMB and FUSE; manage everything in your browser.

Forschungsprototyp · Für Evaluation mit einer zusätzlichen Kopie wichtiger Daten.

Research prototype · Evaluate with a separate copy of important data.

RPM v0.8.1Rocky Linux 10x86-64Rust
https://fastdup-appliance:8080
fastdup WebUI mit Repository-Zustand, Durchsatz und Kapazität
WebUI-Vorschau · BeispieldatenWebUI preview · sample data

Neu in v0.8.1 · 19.09.2026: Ein warmer Cache schrumpft nicht mehr zwischen zwei Backup-Jobs, solange niemand den Speicher braucht. Aus v0.8.0: Veeam-Backup über SMB und SMB Fast Clone sind auf der Test-Appliance bestätigt, Ingest verliert keinen Durchsatz mehr über die Laufzeit. Repository-Format-Epoch 3 — Pools aus 0.7.x werden nicht migriert. Release-Details ↗

New in v0.8.1 · 19 September 2026: A warm cache no longer shrinks between backup jobs while nothing else needs the memory. From v0.8.0: Veeam backup over SMB and SMB Fast Clone are confirmed on the test appliance, and ingest no longer degrades with uptime. Repository format epoch 3 — pools from 0.7.x are not migrated. Release details ↗

Standard x86-64softwaredefinierte Appliancesoftware-defined appliance
1.489,4 MiB/s1,489.4 MiB/sSMB über Loopback · Median, normale ReduktionSMB over loopback · median, normal reduction
23,84:1 gesamt23.84:1 total50 Linux-Versionen · inklusive aller Metadaten50 Linux versions · including all metadata
HTTPS WebUIalles im Browser: Einrichten, Überwachen, Warteneverything in the browser: setup, monitoring, maintenance
IN EINFACHEN WORTEN
IN PLAIN WORDS

Dateien bleiben Dateien. Der Platzbedarf sinkt.

The same files. A smaller footprint.

Wer den Rest dieser Seite bewerten will, braucht zuerst eine Antwort auf die einfachste Frage: Wofür ist das gut? Drei Absätze genügen.

Before judging the rest of this page, you need an answer to the simplest question: what is this good for? Three paragraphs are enough.

DAS PROBLEMTHE PROBLEM Dieselben Daten liegen immer wieder auf der Platte The same data sits on disk again and again

Backups, Snapshots, VM-Images und Software-Stände speichern zum großen Teil identische Inhalte. Jede weitere Vollsicherung belegt erneut vollen Platz, obwohl sich zwischen zwei Ständen oft nur wenige Prozent ändern. Der Kapazitätsbedarf wächst mit der Aufbewahrungsdauer, nicht mit der tatsächlichen Datenmenge.

Backups, snapshots, VM images, and software builds largely store identical content. Every additional full backup takes up the full space again, even though only a few percent typically change between two states. Capacity grows with retention, not with the amount of actual data.

DIE IDEETHE IDEA Vorhandene Inhalte wiederverwenden Reuse content already stored

fastdup zerlegt jede Datei beim Schreiben in Blöcke und berechnet für jeden Block einen Fingerabdruck. Ist ein Block bereits vorhanden, wird er nicht erneut geschrieben, sondern nur referenziert. Was danach übrig bleibt, wird komprimiert. Dieses Verfahren heißt Deduplizierung und läuft im Schreibpfad, nicht als nachgelagerter Aufräumjob.

On write, fastdup splits every file into blocks and computes a fingerprint for each one. If a block already exists, it is referenced instead of written again. Whatever remains is then compressed. This is called deduplication, and it happens in the write path rather than as a later cleanup job.

FÜR ANWENDUNGENFOR APPLICATIONS Von außen ein ganz normales Dateisystem From the outside, an ordinary filesystem

Backup-Software, Skripte und Nutzer sehen Ordner und Dateien — über eine SMB-Freigabe im Netz oder einen lokalen Mountpoint auf der Appliance. Von der Deduplizierung merken sie nichts. Verwaltet wird alles im Browser: Datenträger auswählen, Freigaben anlegen, Auslastung beobachten, warten.

Backup software, scripts, and users see folders and files — over an SMB share on the network or a local mountpoint on the appliance. They notice nothing of the deduplication. Everything is managed in the browser: select drives, create shares, watch utilization, run maintenance.

GEMESSEN · 50 LINUX-VERSIONENMEASURED · 50 LINUX VERSIONS

72,05 GiB Dateien → 3,02 GiB Repository. Im Linux-6.12-Test benötigt Online-Similarity 72,35 % weniger Platz als Exact Dedup und normale Kompression allein. Alle Container, Indizes und Metadaten sind eingerechnet. Der Schreibdurchsatz sinkt dabei um 42,25 %.

72.05 GiB of files → 3.02 GiB repository. In the Linux 6.12 test, online similarity uses 72.35% less space than Exact Dedup and normal compression alone. All containers, indexes, and metadata are included. Write throughput falls by 42.25%.

Einmalige, bereits komprimierte oder verschlüsselte Inhalte bieten meist wenig Einsparpotenzial. Wiederkehrende Inhalte und die Änderungen zwischen Versionen entscheiden über das Ergebnis.

Unique, already compressed, or encrypted content usually offers little room for savings. Repeated content and the changes between versions determine the result.

BRING YOUR OWN HARDWARE

Deine Hardware. Deine Platten. Deine Dedup-Appliance.

Your hardware. Your drives. Your dedup appliance.

fastdup ist keine Hardware-Appliance mit festem Chassis. Installiere Rocky Linux 10 auf einem geeigneten x86-64-System, stelle einen schnellen Metadata-Tier und einen separaten DATA-Tier bereit und verwandle die Maschine per RPM in einen FUSE-/SMB-Speicher mit transparenter Datenreduktion.

fastdup is not tied to a fixed appliance chassis. Install Rocky Linux 10 on a suitable x86-64 system, provide a fast metadata tier and a separate DATA tier, and turn the machine into FUSE/SMB storage with transparent data reduction by installing one RPM.

01x86-64-Kistex86-64 boxServer, Workstation oder Lab-Systemserver, workstation, or lab system
02Rocky Linux 10 + RPMkeine Rust-/Node-Toolchain nötigno Rust or Node toolchain required
03fastdup ApplianceFUSE · SMB · WebUI · Scrub · GC

Für den produktiven Schreibbetrieb verlangt fastdup zwei physisch getrennte XFS-Dateisysteme. Gerätespiegelung oder RAID bleiben bewusst Aufgabe des Block-Layers.

Production writes require two physically separate XFS filesystems. Device mirroring or RAID deliberately remains the block layer's responsibility.

BENCHMARKS · 05.09.2026

Messwerte mit dem passenden Kontext.

Measurements with context.

Identische Kopien und veränderte Versionen stellen unterschiedliche Anforderungen. Deshalb zeigen wir Durchsatz und Speicherbedarf für beide Workloads getrennt.

Identical copies and changed versions have different needs. We report throughput and storage use separately for both workloads.

1.489,41,489.4MiB/s

SMB-Schreibdurchsatz

SMB write throughput

Normale Reduktion · Median aus drei Läufen mit je drei identischen ISO-Uploads.

Normal reduction · median of three runs, each with three identical ISO uploads.

23,84:123.84:1DATA + metadata

50 Linux-Versionen

50 Linux versions

Gesamte Reduktion mit Online-Similarity: 72,05 GiB logisch auf 3,02 GiB physisch.

Total reduction with online similarity: 72.05 GiB logical to 3.02 GiB physical.

72,35 %72.35%Linux 6.12 A/B

Weniger Gesamtplatz

Less total space

Gegenüber normaler Reduktion; dafür 42,25 % geringerer Schreibdurchsatz.

Compared with normal reduction, at 42.25% lower write throughput.

Normal und Advanced im Vergleich
Workload / Messung Normal Advanced
SMB · Gesamt-MiB/s, Median 1.489,4 1.313,6
SMB · Ersparnis inkl. Metadaten 67,828 % 67,913 %
Linux TAR · Repository gesamt 10,93 GiB 3,02 GiB
Linux TAR · Reduktionsfaktor 6,59:1 23,84:1
Linux TAR · Copy+fsync, MiB/s 202,48 116,92
Normal and Advanced compared
Workload / measurement Normal Advanced
SMB · total MiB/s, median 1,489.4 1,313.6
SMB · savings incl. metadata 67.828% 67.913%
Linux TAR · total repository 10.93 GiB 3.02 GiB
Linux TAR · reduction factor 6.59:1 23.84:1
Linux TAR · copy + fsync, MiB/s 202.48 116.92

SMB v0.6.1 · 06.09.2026: Zehn vCPUs, getrennte XFS-Tiers, Loopback ohne Signing oder Verschlüsselung. Drei Läufe je Modus, jeweils drei serielle ISO-Uploads auf ein frisches Repository. Speicherbelegung nach 12 Sekunden bei drei vorhandenen Dateien. Advanced: 11,8 % weniger Durchsatz, 5,0 MiB zusätzliche Ersparnis. Maximal beobachtetes RSS: 542,0 / 655,4 MiB (Normal / Advanced). Alle sechs Läufe ohne Daemon-Swap und mit erfolgreichem Cleanup; kein vollständiger Hash-Readback.

SMB v0.6.1 · 6 September 2026: Ten vCPUs, separate XFS tiers, loopback without signing or encryption. Three runs per mode, each with three serial ISO uploads to a fresh repository. Storage measured after 12 seconds with all three files live. Advanced: 11.8% lower throughput, 5.0 MiB additional savings. Peak observed RSS: 542.0 / 655.4 MiB (Normal / Advanced). All six runs passed with zero daemon swap and successful cleanup; no full hash readback.

Linux: 50 unkomprimierte TAR-Streams von 6.12.1 bis 6.12.50; je Modus ein frisches Repository und ein durchgehender Mount. Alle Metadaten enthalten, keine Ziel-Readbacks. Früherer Entwicklungsbuild als die SMB-Serie. Die Werte sind workloadspezifisch und keine Netzwerk- oder SLA-Zusage.

Linux: 50 uncompressed TAR streams from 6.12.1 to 6.12.50; one fresh repository and one continuous mount per mode. All metadata included, no target readbacks. An earlier development build than the SMB series. Results are workload-specific, not a network or SLA guarantee.

VEEAM · 19.09.2026
VEEAM · 19 SEPTEMBER 2026

Veeam-Backup über SMB läuft — gemessen, nicht zertifiziert.

Veeam backup over SMB works — measured, not certified.

Veeam Backup & Replication schreibt eine VMware-Backup-Sicherung auf eine fastdup-SMB-Freigabe. Fünf aufeinanderfolgende Sessions auf der Test-Appliance endeten mit Ergebnis Success. Veeam meldete durchgehend das Target als Bottleneck.

Veeam Backup & Replication writing a VMware backup job to a fastdup SMB share. Five consecutive sessions on the test appliance finished with result Success, and Veeam reported the target as the bottleneck throughout.

8 / 88 / 8Tasks erfolgreichtasks succeeded

Eine vollständige Session

One complete session

Full-Backup, 620,0 GiB verarbeitet, 283,4 GiB auf die Appliance übertragen.

Full backup, 620.0 GiB processed, 283.4 GiB transferred to the appliance.

653,3653.3MB/s

Übertragung, aggregiert

Aggregate transfer

283,4 GiB in einem Task-Fenster von 465,8 Sekunden, acht parallele Tasks.

283.4 GiB in a 465.8-second task window across eight parallel tasks.

0Fehlerfailures

SMB-Operationen

SMB operations

74.710 Writes, 768 Flushes, 803 Closes — keiner davon fehlgeschlagen.

74,710 writes, 768 flushes, 803 closes — none of them failed.

Fast Clone über SMB ist ebenfalls bestätigt. Mit der 4-KiB-Clone-Geometrie aus v0.7.1 funktionieren ausgerichtete Clones, Teil-Clone-Längen und aufeinanderfolgende Clones auf dieselbe Quelle. Die hier dokumentierte Session war ein Full-Backup und prüft damit den Schreibpfad, nicht Fast Clone; dafür gelten die separaten Clone-Läufe vom 09.09.2026.

Fast Clone over SMB is confirmed as well. With the 4 KiB clone geometry from v0.7.1, aligned clones, partial clone lengths and consecutive clones against the same source all work. The session documented here was a Full backup and therefore exercises the write path rather than Fast Clone; the separate clone runs of 9 September 2026 cover that.

Was das nicht ist: keine Veeam-Zertifizierung, keine von Veeam unterstützte Konfiguration, keine Support-Zusage und keine Performance-SLA. Gemessen wurde auf genau einer Test-Appliance.

What this is not: not a Veeam certification, not a Veeam-supported configuration, not a support statement, and not a performance SLA. It was measured on exactly one test appliance.

In Arbeit: Die Integration des Veeam Repository Agent in die Appliance, damit fastdup als Linux-Repository eingebunden werden kann und nicht nur als SMB-Freigabe. Das ist noch nicht Teil eines Release.

In progress: integrating the Veeam Repository Agent into the appliance, so fastdup can be added as a Linux repository rather than only as an SMB share. This is not part of a release yet.

REDUCTION

Jede Stufe spart dort, wo sie hilft.

Each stage saves where it can.

Die Standard-Pipeline arbeitet beim Schreiben. Online-Similarity lässt sich gezielt für passende Freigaben zuschalten.

The default pipeline runs on write. Enable online similarity for shares whose data benefits from it.

DEFAULT

SeqCDC + BLAKE3

Inhaltsabhängige Chunk-Grenzen erkennen wiederkehrende Bereiche auch nach Verschiebungen. Exact Dedup verwendet verifizierte vorhandene Inhalte erneut.

Content-defined chunk boundaries recognize repeated regions even after shifts. Exact Dedup reuses verified existing content.

DEFAULT

HOLE / FILL + Zstd

Leere und konstante Bereiche werden kompakt beschrieben. Neue Inhalte werden gruppiert komprimiert, wenn die definierte Sparschwelle erreicht wird; sonst bleibt RAW.

Sparse and constant regions use compact descriptions. New content is compressed in groups when it meets the savings threshold; otherwise it stays RAW.

WORKLOAD

Metadata Fast Clone

copy_file_range klont vorhandene Extents über Metadaten. Fast Clone über SMB ist mit Veeam auf der Test-Appliance bestätigt — eine Zertifizierung durch Veeam ist das nicht.

copy_file_range clones existing extents through metadata. Fast Clone over SMB is confirmed with Veeam on the test appliance — which is not a certification by Veeam.

OPT-IN

Online-Similarity

Neue unabhängige Chunks werden ohne Remount oder Offline-Rebuild als Kandidaten aufgenommen. Der permanente Index bleibt neu aufbaubare Beschleunigung.

New independent chunks become candidates without a remount or offline rebuild. The persistent index remains rebuildable acceleration.

OPT-IN

ZSTD_PREFIX + Sparse-XOR

Ähnliche Inhalte teilen genau eine unabhängig dekodierbare Basis. Begrenzte Trials vergleichen die Einsparung. Je Share: aus, an oder Repository-Standard erben.

Similar content uses exactly one independently decodable base. Bounded trials compare savings. Per share: disabled, enabled, or inherit the repository default.

RESEARCH

Zstd dictionaries

Inhaltsidentifizierte Dictionaries bleiben ein Forschungspfad. Similarity-Reorder wurde zugunsten guter Restore-Lokalität verworfen.

Content-identified dictionaries remain a research path. Similarity reordering was rejected in favor of restore locality.

Neue WebUI-Freigaben starten mit Advanced Reduction aus. Abschalten verändert nur die Auswahl neuer Encodings; vorhandene abhängige Daten bleiben lesbar. Bei fehlenden Kandidaten schreibt fastdup unabhängig weiter.

New WebUI shares start with Advanced Reduction disabled. Disabling it only changes new encoding selection; existing dependent data remains readable. Missing candidates fall back to independent encoding.

BUILT WITH RUST

Speichersicherheit beginnt bei der Sprache.

Memory safety starts with the language.

Storage-Kern und Management-Dienste sind in Rust geschrieben. Safe Rust verhindert ganze Klassen von Speicherfehlern, etwa Zugriffe auf bereits freigegebenen Speicher. So adressieren wir eine wesentliche Ursache von Sicherheitslücken in C/C++-Systemen.

The storage core and management services are written in Rust. Safe Rust prevents classes of memory errors, such as accessing freed memory, addressing a major source of vulnerabilities in C/C++ systems.

Die Statistik stützt unsere Sprachwahl; sie misst weder fastdup noch eine bestimmte Legacy-Appliance. Eng begrenztes unsafe, native Codec-Bibliotheken und Samba bleiben Teil des Systems. Rust allein garantiert keine Gesamtsicherheit oder Produktionsreife.

The statistic supports our language choice; it measures neither fastdup nor any specific legacy appliance. Narrow unsafe interfaces, native codec libraries, and Samba remain part of the system. Rust alone does not guarantee overall security or production readiness.

CONTROL PLANE
CONTROL PLANE

Speicher, Freigaben und Betrieb an einem Ort.

Storage, shares, and operations in one place.

Kein separater Management-Server und keine Gerätepfade per Copy-and-paste. Die lokale Control Plane zeigt nur erkannte Targets und schützt kritische Aktionen durch explizite Bestätigungen.

No separate management server and no copy-pasted device paths. The local control plane exposes only discovered targets and guards critical actions with explicit confirmation.

01

Speicher provisionieren

Provision storage

Metadata und DATA anhand stabiler Identitäten auswählen. Root-, Boot-, Swap- und überlappende Geräte werden ausgeschlossen.

Select metadata and DATA by stable identity. Root, boot, swap, and overlapping devices are excluded.

02

Shares bereitstellen

Publish shares

SMB-Freigaben, Benutzer und Gruppen, Nur-Lesen, Verschlüsselung, ABE (Nutzer sehen nur, wofür sie berechtigt sind) und logische Quotas — Grenzen auf die Nutzdatenmenge, nicht auf den belegten Platz.

Manage SMB shares, users and groups, read-only state, encryption, ABE (users only see what they are entitled to), and logical quotas — limits on logical data, not on space consumed.

03

Betrieb überwachen

Monitor operations

Durchsatz, Belegung und Cache-Wirkung im Blick. Die Top-Leiste zeigt Runtime-Ausfälle und Schreibpausen auch bei erreichbarem Agent. Cache-Trefferraten: letzte fünf Minuten oder seit Mount.

Track throughput, storage usage and cache effectiveness. The top bar shows Runtime outages and paused writes even while the agent is reachable. Compare cache hits over five minutes or since mount.

04

Sicher warten

Maintain safely

Einhängen, sauberes Aushängen, Offline-Scrub (Prüflauf über alle gespeicherten Daten), GC-Policy (Räumen nicht mehr referenzierter Blöcke), Wartungsfenster, Audit-Export und TLS-Verwaltung.

Mount, clean unmount, offline scrub (a verification pass over all stored data), GC policy (reclaiming blocks nothing references any more), maintenance windows, audit export, and TLS management.

01

Belegung und Laufwerksrollen

Storage usage and drive roles

Logische und physische Belegung vergleichen und sehen, welche Laufwerke Metadaten und Nutzdaten speichern.

Compare logical and physical usage and see which drives hold metadata and file data.

fastdup logische und physische Belegung mit Beispieldaten
02

SMB-Shares ohne Konfigurationsdateien

SMB shares without config files

Freigaben und logische Quotas ändern, ohne Samba-Konfiguration manuell zu editieren oder die Appliance neu zu starten.

Change shares and logical quotas without manually editing Samba configuration or rebooting the appliance.

fastdup Verwaltung von SMB-Freigaben
03

Cache-Wirkung und RAM-Ersparnis

Cache effectiveness and RAM savings

Weniger häufig genutzte Verified-Read-Einträge werden komprimiert, wenn sich das lohnt. Die Telemetrie zeigt die tatsächliche RAM-Belegung, enthaltene Nutzdaten und Kosten der Dekompression.

Less frequently reused Verified Read entries are compressed when it saves memory. Telemetry shows resident RAM, represented payload bytes, and the cost of decompression.

Verified Read cache compression telemetry with sample data

WebUI-Vorschau mit synthetischen Beispieldaten.

WebUI preview with synthetic sample data.

EINORDNUNG
WHERE IT FITS

Passt fastdup zu deinem Vorhaben?

Is fastdup a fit for your plan?

fastdup ist ein Forschungsprototyp und wird auch so beschrieben. Diese Gegenüberstellung soll die Entscheidung abkürzen — vor dem Download, nicht danach.

fastdup is a research prototype and is described as one. This comparison exists to shorten the decision — before the download, not after it.

Sinnvoll heute

A good fit today

  • Evaluierung und Proof of Concept auf vorhandener Hardware, ohne Appliance-Beschaffung
  • Evaluation and proof of concept on hardware you already own, with no appliance to procure
  • Abschätzen, wie stark der eigene Datenbestand tatsächlich reduziert — mit echten Dateien statt mit Herstellerangaben
  • Estimating how much your own data actually reduces — with real files instead of vendor figures
  • Zweitkopie oder Landing-Zone für Daten, die anderswo bereits gesichert sind
  • A second copy or landing zone for data that is already backed up elsewhere
  • Labor-, Test- und Entwicklungsdaten mit vielen ähnlichen Ständen, etwa Images und Build-Artefakte
  • Lab, test, and development data with many similar states, such as images and build artifacts
  • Storage-Entwicklung und Lehre: offene Formate, dokumentierte Entwurfsentscheidungen, nachvollziehbare Messungen
  • Storage development and teaching: open formats, documented design decisions, reproducible measurements

Heute nicht geeignet

Not a fit today

  • Als einzige Kopie wichtiger Daten — es gibt keinen eingebauten Schutz vor Geräteverlust
  • As the only copy of important data — there is no built-in protection against device loss
  • Als produktiver Primärspeicher für geschäftskritische Anwendungen
  • As production primary storage for business-critical applications
  • Bei Compliance-Vorgaben mit WORM, Retention Lock oder revisionssicherer Aufbewahrung
  • Where compliance requires WORM, retention lock, or audit-proof retention
  • Als von Veeam zertifiziertes Repository — Backup und Fast Clone funktionieren gemessen, zertifiziert ist die Integration nicht
  • As a Veeam-certified repository — backup and Fast Clone are measured to work, but the integration is not certified
  • Wenn Herstellersupport, Reaktionszeiten oder Kapazitätsgarantien vertraglich zugesichert sein müssen
  • When vendor support, response times, or capacity guarantees must be contractually assured
FaustregelRule of thumb

Wenn der Verlust des Repositories den Betrieb stören würde, gehört mindestens eine weitere, unabhängige Kopie dazu. Kommerzielle Appliances wie Dell PowerProtect Data Domain oder HPE StoreOnce bringen Integrationen, Retention, Cyber Resilience und Support mit, die fastdup nicht hat — und auch nicht behauptet zu haben.

If losing the repository would disrupt operations, at least one additional independent copy belongs in the picture. Commercial appliances such as Dell PowerProtect Data Domain or HPE StoreOnce bring integrations, retention, cyber resilience, and support that fastdup does not have — and does not claim to have.

Was du für einen Test brauchst

What you need for a test

Rechner
Machine
Ein x86-64-System mit AVX2/BMI2 — Server, Workstation oder Lab-Kiste. Die veröffentlichten Messungen liefen auf zehn logischen CPUs einer Notebook-CPU. AVX-512 ist nicht nötig, ein Spezial-Controller ebenfalls nicht.
An x86-64 system with AVX2/BMI2 — server, workstation, or lab box. The published measurements ran on ten logical CPUs of a notebook processor. AVX-512 is not required, and neither is a special controller.
Arbeitsspeicher
Memory
Der Bedarf hängt von Workload, Indizes und Parallelität ab. Rebuildbare Caches sind begrenzt; der Repository-Prozess läuft ohne Swap. Die Benchmark-Berichte nennen jeweils den Messaufbau.
Requirements depend on workload, indexes, and concurrency. Rebuildable caches are bounded; the repository process runs without swap. Each benchmark report describes its setup.
Zwei getrennte Datenträger
Two separate drives
Ein schneller Metadata-Tier für Verzeichnisse, Manifeste und Indizes und ein physisch getrennter DATA-Tier für die Kapazität — beide mit XFS. Beide werden bei der Initialisierung vollständig gelöscht.
A fast metadata tier for directories, manifests, and indexes, and a physically separate DATA tier for capacity — both on XFS. Both are erased completely during initialization.
Redundanz darunter
Redundancy underneath
RAID oder Spiegelung bleiben bewusst Aufgabe des Block-Layers. fastdup bringt selbst keine Geräteredundanz mit — wer sie braucht, richtet sie unterhalb ein.
RAID or mirroring deliberately remain the block layer's job. fastdup brings no device redundancy of its own — if you need it, configure it underneath.
Betriebssystem
Operating system
Rocky Linux 10 auf x86-64. Das RPM bringt Runtime, CLI, Control Plane, WebUI, systemd-Units und Samba-Modul mit; Node.js oder Rust sind auf dem Zielsystem nicht nötig.
Rocky Linux 10 on x86-64. The RPM ships the runtime, CLI, control plane, WebUI, systemd units, and Samba module; the target system needs neither Node.js nor Rust.
Zeit
Time
Paket prüfen und installieren, danach Einrichtung im Browser. Der aufwendigere Teil ist der eigene Testdatenbestand — er entscheidet, welche Reduktion du tatsächlich siehst.
Verify and install the package, then set up in the browser. The bigger effort is your own test data set — it determines the reduction you will actually see.
ROCKY LINUX 10 · X86-64

Installieren. Im Browser einrichten.

Install. Set up in your browser.

Das RPM bringt Runtime, Maintenance-CLI, Control Plane, WebUI, systemd-Policies und Samba-VFS-Modul mit. Node.js oder eine Rust-Toolchain sind auf dem Zielsystem nicht nötig.

The RPM includes the runtime, maintenance CLI, control plane, WebUI, systemd policy, and Samba VFS module. The target system needs neither Node.js nor a Rust toolchain.

  1. Paket installierenInstall the packageRPM herunterladen und mit DNF installieren.Download the RPM and install it with DNF.
  2. Management startenStart managementAgent und HTTPS-Control-Plane aktivieren.Enable the agent and HTTPS control plane.
  3. Im Browser einrichtenSet up in the browserPasswort ändern, zwei leere Geräte auswählen, Repository mounten und Share anlegen.Change the password, select two empty devices, mount the repository, and add a share.
root@rocky:~
curl -fLO https://github.com/ThatIsCraZy/fastdup/releases/download/v0.8.1/fastdup-0.8.1-1.el10.x86_64.rpm &&
curl -fLO https://github.com/ThatIsCraZy/fastdup/releases/download/v0.8.1/SHA256SUMS &&
sha256sum --check --ignore-missing SHA256SUMS &&
sudo dnf install ./fastdup-0.8.1-1.el10.x86_64.rpm &&
sudo systemctl enable --now fastdup-agent.service fastdup-control.service

WebUI: https://<appliance-host>:8080/WebUI: https://<appliance-host>:8080/
Vor der Provisionierung:Before provisioning:

Zwei leere, physisch getrennte Geräte bereitstellen. Die Initialisierung löscht Partitionstabellen und Inhalte der ausgewählten Geräte. Das Paket formatiert beim Installieren nichts automatisch.

Provide two empty, physically separate devices. Initialization erases partition tables and content on the selected devices. Package installation never formats anything automatically.

STATUS

Offen entwickelt. Ehrlich begrenzt.

Openly developed. Honestly limited.

fastdup ist ein Forschungsprototyp für Evaluation und Storage-Entwicklung, noch kein produktionsreifes Backup-Produkt.

fastdup is a research prototype for evaluation and storage development—not yet a production backup product.

Alle Grenzen in der README → Read all limits →
BEGRIFFE
GLOSSARY

Die Fachbegriffe dieser Seite, je ein Satz.

Every technical term on this page, in one sentence.

Deduplizierung
Deduplication
Gleiche Dateninhalte werden nur einmal physisch gespeichert; jedes weitere Vorkommen ist ein Verweis.
Identical content is physically stored once; every further occurrence is a reference.
Chunk / Chunking (CDC)
Chunk / chunking (CDC)
Die Zerlegung einer Datei in Blöcke. Bei Content-Defined Chunking richten sich die Grenzen nach dem Inhalt, damit Einfügungen nicht alles Folgende verschieben.
Splitting a file into blocks. With content-defined chunking the boundaries follow the content, so an insertion does not shift everything after it.
BLAKE3
BLAKE3
Das Prüfsummenverfahren, das jedem Block seinen Fingerabdruck gibt — schnell und für den Wiedererkennungs-Vergleich geeignet.
The checksum function that gives each block its fingerprint — fast and suited to the recognition lookup.
Zstd
Zstd
Ein Kompressionsverfahren, das auf das übrig gebliebene, nicht deduplizierte Datenmaterial angewendet wird.
A compression algorithm applied to the remaining, non-deduplicated data.
Metadata-Tier und DATA-Tier
Metadata tier and DATA tier
Zwei getrennte Datenträger: der eine hält Verzeichnisse, Manifeste und Indizes, der andere die eigentlichen Datenblöcke.
Two separate drives: one holds directories, manifests, and indexes, the other the actual data blocks.
FUSE
FUSE
Die Linux-Schnittstelle, über die fastdup als normales Dateisystem eingehängt wird, ohne Kernel-Modul zu sein.
The Linux interface through which fastdup mounts as an ordinary filesystem without being a kernel module.
SMB / Samba
SMB / Samba
Das Netzwerkprotokoll für Dateifreigaben, über das Windows-Clients und Backup-Software auf die Appliance zugreifen.
The network file-sharing protocol Windows clients and backup software use to reach the appliance.
Scrub
Scrub
Ein Prüflauf, der gespeicherte Daten gegen ihre Prüfsummen liest und stille Fehler sichtbar macht.
A verification pass that reads stored data against its checksums and surfaces silent corruption.
GC (Garbage Collection)
GC (garbage collection)
Das Freiräumen von Blöcken, auf die keine Datei mehr verweist — nötig, weil gelöschte Dateien nicht sofort Platz freigeben.
Reclaiming blocks no file references any more — needed because deleting a file does not immediately free space.
Fast Clone
Fast Clone
Eine Kopie innerhalb der Appliance, die nur Metadaten anlegt und auf vorhandene Daten verweist, statt sie erneut zu schreiben.
A copy inside the appliance that only creates metadata and points at existing data instead of writing it again.
WORM
WORM
Write Once Read Many: Daten sind nach dem Schreiben für eine festgelegte Frist unveränderbar. fastdup bietet das nicht.
Write once, read many: data cannot be altered for a defined period after writing. fastdup does not offer this.
Logische Quota
Logical quota
Eine Obergrenze auf die Nutzdatenmenge einer Freigabe — nicht auf den nach Reduktion tatsächlich belegten Platz.
A ceiling on a share's logical data volume — not on the space actually occupied after reduction.
MiB/s und Peak RSS
MiB/s and peak RSS
Durchsatz in Mebibyte pro Sekunde (1 MiB = 1.048.576 Byte) und der höchste Arbeitsspeicherbedarf eines Prozesses während eines Laufs.
Throughput in mebibytes per second (1 MiB = 1,048,576 bytes) and the highest memory a process used during a run.
Control Plane
Control plane
Der lokale Verwaltungsdienst, der die WebUI ausliefert und Aktionen wie Provisionieren, Mounten oder Warten ausführt.
The local management service that serves the WebUI and carries out actions such as provisioning, mounting, and maintenance.

WebUI ansehen. RPM installieren. fastdup testen.

See the WebUI. Install the RPM. Evaluate fastdup.

Release 0.8.1 für Rocky Linux 10 auf x86-64. Forschungsprototyp — bitte nicht als einzige Kopie wichtiger Daten einsetzen.

Release 0.8.1 for Rocky Linux 10 on x86-64. Research prototype — please do not use it as the only copy of important data.

RPM herunterladen Download RPM GitHub Repository