Ștergeți memoria cache sau memoria în Python (Programare, Python, Caching)

Carl Zheng a intrebat.
a intrebat.

Am un tabel foarte mare trebuie să calculez (10 miliarde + rânduri). Este prea mult timp pentru a le calcula pe toate deodată. Prin urmare, creez o listă de puncte de întrerupere, iar eu calculez și stochez la sfârșitul fiecărui pas. Cu toate acestea, fiecare pas costă mai mult timp. Cred că motivul este memoria sau memoria cache, aveți vreo idee cum să vă descurcați în această situație sau doar cum să ștergeți memoria cache sau memoria?

Reutilizez variabila pentru ieșire în buclă, astfel încât variabila nu va deveni din ce în ce mai mare.

Vă mulțumesc foarte mult.

Comentarii

  • Unde le stocați? Într-un fișier sau într-o bază de date? –  > Por Alex Hall.
  • Memoria cache este irelevantă, nu există software în afara poate sistemul de operare se joacă direct cu ea (memoria cache este determinată de hardware, nu de software). –  > Por Delioth.
  • Cum este implementat tabelul mare menționat? Este un tabel de bază de date sau un dicționar? –  > Por Imre Piller.
  • se stochează în SQL server. @AlexHall –  > Por Carl Zheng.
  • Este preluat de pe serverul SQL și transformat în pandas.DataFrame, apoi calculat și stocat în serverul SQL. @ImrePiller –  > Por Carl Zheng.
1 răspunsuri
Camilo

Obișnuiesc să rezolv acest lucru folosind o linie care resetează variabila la sfârșitul procesului, curățând memoria cache:

MyVariable = None