vb@rchiv
VB Classic
VB.NET
ADO.NET
VBA
C#
Zippen wie die Profis!  
 vb@rchiv Quick-Search: Suche startenErweiterte Suche starten   Impressum  | Datenschutz  | vb@rchiv CD Vol.6  | Shop Copyright ©2000-2025
 
zurück

 Sie sind aktuell nicht angemeldet.Funktionen: Einloggen  |  Neu registrieren  |  Suchen

ADO.NET / Datenbanken
hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1.500.000 Datensätzen) 
Autor: Gizmo85
Datum: 02.07.05 12:10

hallo,

ich arbeite erst seit kurzen mit vb.net und habe jetzt folgendes problem:

ich habe eine .dat-datei mit ca. 1,5 millionen datensätzen (sind zeilenweise mit je gleicher satzlänge abgelegt), die ich in eine datenbank übertragen lassen muss (wobei die daten je nach inhalt in verschiedene tabellen kommen und einige ausgefiltert werden - aber das steht hier nicht zur debatte) ...

nun habe ich dafür folgenden code verwendet (vereinfachte darstellung):

        Dim dbConnection As New OleDb.OleDbConnection(connstr)
        Dim dbCommand As New OleDb.OleDbCommand("", dbConnection)
        Dim hv As String
 
        FileOpen(1, pfad, OpenMode.Input)
        dbConnection.Open()
 
        Do While Not EOF(1)
            hv = LineInput(1)
            dbCommand.CommandText = "INSERT INTO [Tabelle] VALUES ('" & Mid(hv, _
              5, 10) & "'"
            dbCommand.ExecuteNonQuery()
        Loop
 
        dbConnection.Dispose()
        dbCommand.Dispose()
das einlesen und schreiben der daten funktioniert soweit auch ...
ABER: nach ca. 20.000 - 30.000 datensätzen hat das programm so viele ressourcen verbaucht, dass es abbricht ("nicht genügen systemressourcen") oder sich einfach aufhängt ...

ich habe auch schon folgendes probiert:

        Do While Not EOF(1)
            hv = LineInput(1)
            dbConnection.Open()
            dbCommand.CommandText = "INSERT INTO [Tabelle] VALUES ('" & Mid(hv, _
              5, 10) & "'"
            dbCommand.ExecuteNonQuery()
            dbConnection.Close()
        Loop
der ressourcen ist zwar dabei wesentlich geringer, aberdafür braucht das programm ein vielfaches mehr an zeit, um die daten einzulesen (zu lange bei etwa 1,5 millionen)
wenn dieser vorgang einmalig wäre, wäre es mir ja egal - aber die daten müssen etwa 1 mal pro woche neu eingelsen werden ...


weiß jemand rat, wie man dieses problem umgehen kann?
alle Nachrichten anzeigenGesamtübersicht  |  Zum Thema  |  Suchen

 ThemaViews  AutorDatum
hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1.500...887Gizmo8502.07.05 12:10
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...554ModeratorDaveS02.07.05 16:08
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...562Gizmo8502.07.05 16:30
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...615ModeratorDaveS02.07.05 16:40
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...564Micke03.07.05 20:29
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...459Gizmo8504.07.05 11:58
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...545ModeratorDaveS04.07.05 12:02
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...540Gizmo8505.07.05 12:45
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...510ModeratorDaveS05.07.05 13:37
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...498Gizmo8505.07.05 13:58
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...540ModeratorDaveS05.07.05 14:09
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...527Gizmo8505.07.05 14:19
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...525ModeratorDaveS05.07.05 14:27
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...561Gizmo8505.07.05 17:57
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...499ModeratorFZelle05.07.05 19:10
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...538the_haunted05.07.05 21:09
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...537ModeratorDaveS05.07.05 22:01
Re: hoher Ressourcenverbrauch beim einlesen von Daten (ca. 1...554the_haunted06.07.05 08:57

Sie sind nicht angemeldet!
Um auf diesen Beitrag zu antworten oder neue Beiträge schreiben zu können, müssen Sie sich zunächst anmelden.

Einloggen  |  Neu registrieren

Funktionen:  Zum Thema  |  GesamtübersichtSuchen 

nach obenzurück
 
   

Copyright ©2000-2025 vb@rchiv Dieter Otter
Alle Rechte vorbehalten.
Microsoft, Windows und Visual Basic sind entweder eingetragene Marken oder Marken der Microsoft Corporation in den USA und/oder anderen Ländern. Weitere auf dieser Homepage aufgeführten Produkt- und Firmennamen können geschützte Marken ihrer jeweiligen Inhaber sein.

Diese Seiten wurden optimiert für eine Bildschirmauflösung von mind. 1280x1024 Pixel