Sie sind aktuell nicht angemeldet.

Funktionen: Einloggen  |  Neu registrieren  |  Suchen

System.OutOfMemoryException bei DB Anfrage
Autor: Parallax
Datum: 11.04.23 09:25
Schönen guten Tag, ein Kunde von mir loggt Daten aus einem Versuchsaufbau in einer Datenbank mit. Bei der Datenbank handelt es sich um eine SQL Datenbank im Visual Studio. (Micrsoft SQL Server) Es handelt sich um 21 Messwerte, die er alle 0.5 Sekunden in eine Datenbank schreibt. Leider dauerte der letzte Versuch über einen Monat, was dazu führt, dass er nun rund 6 Millionen Records in diesem einem Projekt hat. In der HMI werden auf der "Database" Seite quasi alle Projekte abgerufen und in einem Datagrid angezeigt. Das funktioniert problemlos, dauert allerdings schon etwas länger (einige Sekunden). Klickt man nun auf ein Projekt werden alle Records dieses Projekts abgerufen und in einem weiteren Datagrid angezeigt. Nun braucht dieser Vorgang, logischerweise, sehr viel Zeit (über 30 Sekunden) und bricht dann mit dem Fehler System.OutOfMemoryException ab. Auch der Export als CSV funktioniert nicht mehr, da ich hier das Datagrid durchlaufe und alles in eine Textfile packe. Frage A) Gibt es irgendeine Möglichkeit die Datenbank so zu optimieren, dass diese mit derart großen Datenmengen zurecht kommt und dies in einem Datagrid anzeigen kann. (Im Server Manager funktioniert die Abfrage übrigens, auch wenn sie etwas Zeit braucht). Frage B) Hat irgendjemand eine Idee wie man das ganze sonst angehen können? Meine Lösung wäre beim Aufzeichnen der Daten alle 100.000 Records ein neues Projekt zu beginnen, das würde zwar die Daten pro Projekt verringern, die Datenmenge in der Datenbank bliebe jedoch die selbe. Eine weitere Möglichkeit wäre es für das Datagrid nur die ersten 1000 Zeilen abzurufen und dann mit einem Button jeweils die nächsten, usw... Dumm wird es nur mit dem CSV Export, da dieser bisher einfach alle Zeilen des Datagrids geschrieben hat. Meine letzte Möglichkeit wäre es die Datanbank komplett raus zu schmeißen und grundsätzlich alle 0.5 Sekunden in eine Textfile zu schreiben. Grüße, Parallax Am morgen nen Joint und der Tag is dein Freund

Re: System.OutOfMemoryException bei DB Anfrage
Autor: effeff
Datum: 12.04.23 19:12
a) MS SQL Server oder MS SQL Server Express? Ich vermute mal das zweite... b) "In der HMI werden auf der "Database" Seite quasi alle Projekte abgerufen und in einem Datagrid angezeigt." Wie werden die Daten im DataGrid angezeigt? Die Daten werden in einer DataTable gehalten, die Du an das DataGrid als Source gehängt hast? Und ich denke mal, Du meinst ein DataGridVIEW. c) "Auch der Export als CSV funktioniert nicht mehr, da ich hier das Datagrid durchlaufe und alles in eine Textfile packe." Niemand iteriert durch das DataGridView, sondern iteriert durch die DataTable oder eine DataView. d) "Meine Lösung wäre beim Aufzeichnen der Daten alle 100.000 Records ein neues Projekt zu beginnen" Ich würde eher dazu neigen, jeweils nur 100000 Datensätze aus der Datenbank abzurufen und visuell darzustellen. e) Ein Export in eine Textdatei kann Du auch mit dem DataReader machen: https://learn.microsoft.com/de-de/dotnet/framework/data/adonet/retrieving-data-using-a-datareader f) Wozu werden die Daten in eine Textdatei geschrieben? Um sie irgendwie auszuwerten? Das kannst Du doch auch direkt aus der Datenbank heraus. EALA FREYA FRESENA

Re: System.OutOfMemoryException bei DB Anfrage
Autor: Manfred X
Datum: 13.04.23 02:13
Einige ergänzende Hinweise: Meist macht es keinen Sinn, sehr große Datenmengen zu speichern. Die lassen sich zwar technisch bewältigen, aber es ist aufwändig, im Nachhinein Meß- oder Erhebungsfehler im Datenmaterial zu identifizieren, die die Auswertunhgen (Statistiken) verfälschen können. Effektiver ist es häufig, bereits beim Erheben der Daten Plausibilitätskontrollen durchzuführen und Rohdaten-Pakete in geeigneter Form vor dem Speichern zu filtern und zusammenzufassen. Ist die Datenbank bereits gefüllt, sind solche Schritte nachgelagert erforderlich. Zunächst wäre eine Abfrage durchzuführen, aus der sich ergäbe, welche Datenpakete sukzessive bearbeitet werden könnten (z.B. bestimmte Zeiträume, bestimmte Projekte, bestimmte Anzahl von [sortierten] Datensätzen). Dafür benötigt man nicht ständig neue Projekte, sondern die Abfragen und deren schrittweise Bearbeitung erfolgt in einer Schleife. Ob es zweckmäßiger ist, jedes bearbeitete Datenpaket zeilenweise in einer separaten CSV-Datei zu speichern oder statt dessen statistisch bereits aufgearbeitete Daten zu exportieren, wäre im Einzelfall nach Sachlage bzw. Fragestellung zu klären.

Re: System.OutOfMemoryException bei DB Anfrage
Autor: Parallax
Datum: 17.04.23 09:59
Hi, danke für die Antwort. Ich war etwas im Zeitdruck als ich den Post verfasst habe, deswegen war er etwas schlampig geschrieben. a) Ja, es handelt sich um MS SQL Server Express b) Korrekt, die Daten werden in eine DataTable geladen und diese dann an das DataGridView angehängt. c) Stimmt, ich iteriere auch durch die DataTable und exportieren diese. Wahrscheinlich würde das auch funktionieren, nur beim Klick auf das entsprechende Projekt versucht er die Daten im DataGridView anzuzeigen und damit löst er die OutOfMemoryException aus. d) Stimmt, eigentlich wäre die Anzeige überhaupt nicht nötig, da eh niemand mit diesen x-tausenden an Messwerten in der HMI was anfangen kann. Ich werde wahrscheinlich einen Filter mit einer Zeitspanne von wenigen Minuten einbauen und nur diese in der HMI anzeigen. Wichtig ist der Export, da hier die Daten dann weiterverarbeitet werden. e) Danke für den Link, werde ich probieren, dann muss ich nicht jede Zeile der DataTable manuell durchlaufen und und in einer Textfile schreiben. f) Was der Kunde damit genau tut, weiß ich nicht. Ich weiß nur dass er die Aufzeichnung alle 0.5 Sekunden benötigt, auch wenn sich die Messwerte hier über Stunden nicht verändern. Anscheinend muss er kurze Änderungen erfassen können. Ich bau das ganze so um und dann sollte das eigentlich passen. Grüße, Parallax Am morgen nen Joint und der Tag is dein Freund

Re: System.OutOfMemoryException bei DB Anfrage
Autor: Parallax
Datum: 17.04.23 10:02
Hallo Manfred, ich weiß auch nicht genau warum der Kunde in so kurzem Abständen die Daten aufzeichnen will, da der Versuch selbst eigentlich sehr langsam läuft und die Messwerte sich nur sehr sehr langsam ändern. Ich habe das auch schon gefragt, aber es ist gewünscht alle 0.5 Sekunden eine Aufzeichnung aller Sensordaten vorzunehmen. Ich denke das Problem resultiert aus der Anzeige dieser extrem großen Datenmengen. Ich werde die Anzeige abändern und dann sollte das eigentlich auch wieder funktionieren. Grüße, Parallax Am morgen nen Joint und der Tag is dein Freund

Sie sind nicht angemeldet! Um auf diesen Beitrag zu antworten oder neue Beiträge schreiben zu können, müssen Sie sich zunächst anmelden. Einloggen  |  Neu registrieren

Funktionen:  Zum Thema  |  Gesamtübersicht

Suchen