Datenbankgröße
30. Dezember 2015 10:35
Hallo,
Ihr habt alle gut Weihnachten verlebt und freut Euch auf den Jahreswechsel. Zuvor wollte ich noch für einiges Denken sorgen.
Eine unserer Datenbanken ist derzeit nach 6 Jahren auf ca. 420 GB angewachsen. Abgesehen von den 500 MB die in der mdf-Datei liegen, ist der Rest in der ndf-Datei auf dem SQLServer. Das Handling ist dadurch schwerfällig. Eine Vollsicherung dauert ca. 30 Minuten, was überhaupt kein Problem darstellt. Eine Rücksicherung dauert ca. 2 Stunden, was auch keine Schmerzen bereitet. Ein nachgelagertes BI-System wird täglich auf Basis dieser Datenbank neu aufgebaut. Dieser Vorgang dauert derzeit ca. 8 Stunden, so dass es zwar derzeit noch nachtsüber erfolgreich durchläuft, aber für die Zukunft werden wir wohl Probleme bekommen.
Habt ihr ebenfalls solche Probleme? Gibt es Möglichkeiten oder Ideen, die sicherlich aus der Richtung von Microsoft kommen sollten, Daten aus Vorjahren zu archivieren und die Datenbank dadurch zu verschlanken?
Vielen Dank und alles Gute für das neue Jahr
Ihr habt alle gut Weihnachten verlebt und freut Euch auf den Jahreswechsel. Zuvor wollte ich noch für einiges Denken sorgen.
Eine unserer Datenbanken ist derzeit nach 6 Jahren auf ca. 420 GB angewachsen. Abgesehen von den 500 MB die in der mdf-Datei liegen, ist der Rest in der ndf-Datei auf dem SQLServer. Das Handling ist dadurch schwerfällig. Eine Vollsicherung dauert ca. 30 Minuten, was überhaupt kein Problem darstellt. Eine Rücksicherung dauert ca. 2 Stunden, was auch keine Schmerzen bereitet. Ein nachgelagertes BI-System wird täglich auf Basis dieser Datenbank neu aufgebaut. Dieser Vorgang dauert derzeit ca. 8 Stunden, so dass es zwar derzeit noch nachtsüber erfolgreich durchläuft, aber für die Zukunft werden wir wohl Probleme bekommen.
Habt ihr ebenfalls solche Probleme? Gibt es Möglichkeiten oder Ideen, die sicherlich aus der Richtung von Microsoft kommen sollten, Daten aus Vorjahren zu archivieren und die Datenbank dadurch zu verschlanken?
Vielen Dank und alles Gute für das neue Jahr
Re: Datenbankgröße
30. Dezember 2015 10:57
Hallo,
420 GB ist für eine NAV-DB schon eine ordentliche Größe.
Die Frage ist, woher diese Größe kommt. Habt Ihr viele Mandanten oder viele Transaktionen?
Wenn Ihr nur einen oder wenige Mandanten habt, starte doch mal den NAV-Classic- Client auf der DB und gehe dann auf "Datei\Datenbank\Informationen\Tabellen". Dort filterst du die Spalte "Größe" auf "1000000..". Es ist jetzt die Frage, welche Tabellen hier auftauchen, sind es die üblichen Postentabellen, oder andere.
Zum BI-Tool aufbauen, würde ich versuchen, die Abfragen auf die NAV- DB anzupassen (Datumsfilter, Posten-Lfd. Nr.,..) um die Anzahl der Datensätze zu reduzieren. Denn eine Komprimierung bzw. Löschung alter Daten (was wg. der Aufbewahrungsfrist von meist 10 Jahren eh ein Problem ist) wird nicht die Anzahl der zu verarbeitenden Posten reduzieren.
Gruß Fiddi
420 GB ist für eine NAV-DB schon eine ordentliche Größe.
Die Frage ist, woher diese Größe kommt. Habt Ihr viele Mandanten oder viele Transaktionen?
Wenn Ihr nur einen oder wenige Mandanten habt, starte doch mal den NAV-Classic- Client auf der DB und gehe dann auf "Datei\Datenbank\Informationen\Tabellen". Dort filterst du die Spalte "Größe" auf "1000000..". Es ist jetzt die Frage, welche Tabellen hier auftauchen, sind es die üblichen Postentabellen, oder andere.
Zum BI-Tool aufbauen, würde ich versuchen, die Abfragen auf die NAV- DB anzupassen (Datumsfilter, Posten-Lfd. Nr.,..) um die Anzahl der Datensätze zu reduzieren. Denn eine Komprimierung bzw. Löschung alter Daten (was wg. der Aufbewahrungsfrist von meist 10 Jahren eh ein Problem ist) wird nicht die Anzahl der zu verarbeitenden Posten reduzieren.
Gruß Fiddi
Re: Datenbankgröße
30. Dezember 2015 11:09
Ein Punkt der die Datenbankgrösse vielleicht unnötig hochschraubt, ist das Änderungsprotokoll.
Eventuell kann man da ja was löschen.
Viele Grüße
Mike
Eventuell kann man da ja was löschen.
Viele Grüße
Mike
Re: Datenbankgröße
30. Dezember 2015 16:00
@fiddi
In der Datenbank ist genau ein Mandant (ja wirklich). Hier werden ca. 260.000 Bürger verwaltet. Die Größe ist durch die Mengen an Rechnungen und Bescheide berechtigt.
Das BI-Tool können wir nicht beeinflussen. Es lädt sich jede Nacht alle Posten aus den entsprechenden Tabellen neu. Es gibt zwar die Möglichkeit eines inkrementellen Aufbaus. Bei diesem werden dann aber bestimmte Tabellen nicht betrachtet, deren Daten der Kunde aber sehen möchte. Wir wissen auch von den Aufbewahrungspflichten. Nur für die Zukunft müsste es ja Möglichkeiten des Reduzierens geben, um die Frist von 10 Jahren zu halten. Oder?
@Mike24
Das Änderungsprotokoll wird in bestimmten Bereichen genutzt. Aber es verwendet gerade einmal 4 GB.
Danke für Eure Hinweise.
Das wär's erstmal für dieses Jahr.
In der Datenbank ist genau ein Mandant (ja wirklich). Hier werden ca. 260.000 Bürger verwaltet. Die Größe ist durch die Mengen an Rechnungen und Bescheide berechtigt.
Das BI-Tool können wir nicht beeinflussen. Es lädt sich jede Nacht alle Posten aus den entsprechenden Tabellen neu. Es gibt zwar die Möglichkeit eines inkrementellen Aufbaus. Bei diesem werden dann aber bestimmte Tabellen nicht betrachtet, deren Daten der Kunde aber sehen möchte. Wir wissen auch von den Aufbewahrungspflichten. Nur für die Zukunft müsste es ja Möglichkeiten des Reduzierens geben, um die Frist von 10 Jahren zu halten. Oder?
@Mike24
Das Änderungsprotokoll wird in bestimmten Bereichen genutzt. Aber es verwendet gerade einmal 4 GB.
Danke für Eure Hinweise.
Das wär's erstmal für dieses Jahr.
Re: Datenbankgröße
30. Dezember 2015 16:29
In der Datenbank ist genau ein Mandant (ja wirklich). Hier werden ca. 260.000 Bürger verwaltet. Die Größe ist durch die Mengen an Rechnungen und Bescheide berechtigt.
Versuche aber trotzdem nochmal den von mir beschriebene Weg zu gehen, um herauszufinden wo der Platz liegen bleibt. Evtl. sind da noch eine Menge Daten in irgendwelchen nach kurzer Zeit nutzlosen Protokolldateien oder Belegarchiven enthalten. Genauso sollten in den Belegtabellen (36,37,38,39) keine nicht mehr relevanten Daten (weil komplett fakturiert) enthalten sein.(sofern Ihr die verwendet).
Selbst bei 260.000 Bürgern ist das eine ganze Menge, sichert Ihr auch gedruckte/gescannte Belege in der DB?
Auf das Thema Datenbank-/Schlüsseloptimierung muss ich dich sicherlich nicht mehr hinweisen!?
Gruß Fiddi
Re: Datenbankgröße
8. Januar 2016 14:46
Erstmal ein gesundes neues Jahr für alle.
Ich habe mich auf die Suche nach großen Tabellen begeben. Die Tabellen 36 - 39 enthalten nur jeweils einige hunderte Datensätze.
Tabelle 17: 29.883.165
Tabelle 21: 11.882.590
Tabelle 45: 2.739.901
Tabelle 254: 4.454.227
Tabelle 271: 3.539.931
Tabelle 298: 1.540.964
Tabelle 300: 1.298.050
Tabelle 379: 23.724.028
Tabelle 380: 1.877.576
Tabelle 405: 7.037.176
Da wir nicht direkt mit Dynamics NAV arbeiten, sondern mit der Lösung newsystem der Firma INFOMA kommen noch mehrere Tabellen hinzu, die durch newsystem gepflegt werden. Auch hier liegen die zweistelligen Millionenwerte in "Posten"-Tabellen.
Belege werden nicht in der Datenbank gespeichert.
Ich habe mich auf die Suche nach großen Tabellen begeben. Die Tabellen 36 - 39 enthalten nur jeweils einige hunderte Datensätze.
Tabelle 17: 29.883.165
Tabelle 21: 11.882.590
Tabelle 45: 2.739.901
Tabelle 254: 4.454.227
Tabelle 271: 3.539.931
Tabelle 298: 1.540.964
Tabelle 300: 1.298.050
Tabelle 379: 23.724.028
Tabelle 380: 1.877.576
Tabelle 405: 7.037.176
Da wir nicht direkt mit Dynamics NAV arbeiten, sondern mit der Lösung newsystem der Firma INFOMA kommen noch mehrere Tabellen hinzu, die durch newsystem gepflegt werden. Auch hier liegen die zweistelligen Millionenwerte in "Posten"-Tabellen.
Belege werden nicht in der Datenbank gespeichert.