Speicherlimit zu klein
lima-city → Forum → Programmiersprachen → PHP, MySQL & .htaccess
auen
beitrag
byte
datei
datensatz
extra
gedacht
glueck
hlfte
lese
limit
memory
rahmen
stamm
thw
versuch
versuchen
vielen dank
warnung
wievielte zeile
-
Ich muss ne recht grosse txt mit datensätzen in eine mysql datenbank schreiben. die txt datei liegt auf einem anderen server. ich lese sie mit file() aus, aber offenbar ist sie ein bischen zu gross:
Fatal error: Allowed memory size of 16777216 bytes exhausted (tried to allocate 40 bytes) in /home/webpages/lima-city/infanteria/html/opi/cron/import_villages.php on line 77
-> sind glaub 16mb
auf nem anderen server gibts bei 25mb die warnung
kennt jemand einen freehoster(egal ob mit oder ohne werbung) der ein sehr grosses memorylimit hat? oder kann man das irgendwie umgehen indem man nur die hälfte der datei öffnet oder so? -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Wie wäre es, wenn du auf dem anderen Server die ".txt"-Datei einfach in die MySQL Datenbank einträgst?
Der MySQL-Server ist ja von außen sowieso zugänglich. -
Das prob ist dass es nicht mein server ist. keine angst, diese datei ist extra dazu da um aufgerufen zu werden und dient sozusagen als eine art API ;)
-
das is doch definitiv mehr als genug. hat außerdem sicherheitsrelevante gründe würd ich sagen
-
Also, wenn du die Datei immerhin auslesen kannst...dann versuch doch wirklich, erstmal einen Teil davon zu kopieren und arbeite dich schrittweise voran.. Solle möglich sein.
Die Datei "nur zur Hälfte öffenen" geht aber sicher nicht. Vielmehr musst du sie bis zu einem bestimmten Punkt auslesen, das Ganze abspeichern und dann von dort an weiter machen.
Beitrag geändert: 15.7.2007 14:35:35 von xenodez -
Das problem ist, ich weiss nicht wie man nur einen teil ausliest, wenn die datei auf einem externen server liegt. fopen funzt glaub nur auf dem eingenen server...
-
lad die .txt doch auf deinen rechner und kopier einfach ein teil raus, und füg ihn bei phpmyadmin ein un mach das so oft bis alles drin ist ^^
-
Ich brauche die datensätze etwa alle 24h neu ;). DA hab ich keine lust immer wieder jeden tag den kack manuell runterzuladen...
edit: ausserdem ists ne txt datei, die kann ich nicht einfach bei phpmyadmin reinkpieren, sondern ich lass ein script drüberlaufen, das dann das zeug ausenandernimmt und in die db speichert. aber daran liegts nicht. ;)
Beitrag geändert: 15.7.2007 17:40:51 von infanteria -
Wo ist das Problem? Einfach nicht file() verwenden sondern die Datei mit open, gets bzw. read, close usw. von Hand einlesen. Da kannst du so viel einlesen wie du brauchst, einen Teil verarbeiten, dann den nächsten einlesen usw. Am besten die Datei zeilenweise abarbeiten.
MfG,
thw -
Also hab mal geguckt allow_url_fopen ist hier erlaubt bei lima. werde mal testen obs geht ;). Weiss einfach nicht ob das der andere server irgendwie verbeieten kann oder so
-
was is, wenn du die datei zuerst komprimierst? oder würde das deinen rahmen sprengen, das du schonwieder selbst was machen musst?
aber dafür gibts doch auch ne funktion in php, um etwas zu in gzip oder so zu komprimieren.
ps: kann es sein, das es sich um "Die Stämme" handelt?
mfg -
Du liegst richtig, aber ich habe mal gedacht dass nicht die datei den rahmen sprent sondern das array. ich versuchs mal mit gzfile, vllt hab ich ja glück ;)
-
also gzfile funzt auch nicht. für fopen muss ich angeben können die wievielte zeile ich auslesen möcht. ist das irgendwie möglich? andernfalls bin ich wohl gescheitert an diesen riesendatein :(. Dann muss ich wirklich nen server finden der mir 100mb speicherlimite setzt oder nen eigenen aufsetzten
Edit:
====
Da mir offenbar keiner mehr helfen habe ich jetzt meinen eigenen webserver aufgesetzt, das memory limit auf 256M gesetzt, execution time 3600 und max input time auf 60, sollte wohl reichen xD
vielen dank für alle, die versucht haben mir zu helfen ;)
Beitrag geändert: 23.7.2007 13:16:31 von infanteria
Beitrag geändert: 23.7.2007 13:16:48 von infanteria -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
