Was ist fair?
lima-city → Forum → lima-city Allgemein → lima-city Allgemein
anbieter
anwendung
datenbank
datenmenge
datum
ende
frage
geeignete medium
jahr
jemand
leute
prinzip
problem
sagen
sekunde
server
url
verbindung
weben
webseite
-
Folgendes Problem: Ich schreibe gerade an einer kleinen Anwendung, welche Daten sammeln und diese in eine SQL-Datenbank packen soll. Nun könnte ich die Daten alle Lokal bei mir zuhause sammeln und sie dann gesammelt irgendwo hoch laden. Das hätte jedoch den Nachteil, dass ich die Daten halt erst veröffentlichen kann, wenn sie vollständig sind.
Nun ist die Frage: Dürfte man diese Daten bei Lima-City hochladen und veröffentlichen? Wäre das störend, wenn dies in Echtzeit passiert? Ab wann wird die Datenbankgröße kritisch?
Also es geht dabei nicht um Terrabytes, welche ich in die Datenbank packen will, sondern lediglich um (am bisherigen Datenaufkommen gemessen) schätzungsweise 0,5 bis 3MB am Tag. Das mag Anfangs nicht nach viel klingen, aber wenn das ganze ein paar Monate/Jahre läuft, kann da durchaus der eine oder andere GB zusammen kommen.
Die Frage ist also: Dürfte man sowas bei Lima bewerkstelligen? Ich habe leider keine Vorstellung davon, was da angemessen wäre oder nicht. Deshalb frage ich lieber vorher ein mal. -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
-
Für sowas haben wir den Downloadserver. Du musst dir bloß vorher entsprechenden Traffik ersteigern.
Eventuell solltest du auch darüber nachdenken, in welcher Form du die Daten hochladen willst. Wenn die Daten textbasiert sind, bietet es sich oft an sie mit einem Kompressionsprogramm zu verpacken, weil Texte gut komprimierbar sind. Das könnte jedenfalls praktischer sein als ein Datenbank-Dump. -
Also ich finde das nicht sonderlich "fair". Ich denke die Daten hochladen, und nach einer gewissen Zeit achivieren wäre ok. Darf man erfahren, um was für Daten es sich handelt? Dann könnte man es besser einschätzen.
Wie gesagt, bei so bei GB würd ich sagen, des wäre zu viel.
Alternativ wäre da evtl square7 ein Anbieter für dich, dort sind 7gb zugesichtert. Hat aber Werbung glaub ich, keine so gut Community, und naja, wems gefällt.
Liebe Grüße -
bladehunter schrieb:
Das Problem ist halt, dass es sich eben um Daten handelt, die auf einer Webseite dargestellt werden sollen. ( Nicht herutergeladen. ) Bei Downloads ist es halt schwierig, sie wirklich (möglichst) Sekündlich aktuell zu halten. ( Die Daten sollten schon auf keinen Fall älter als eine Minute sein. )
Für sowas haben wir den Downloadserver. Du musst dir bloß vorher entsprechenden Traffik ersteigern.
Momentan ist das ganze halt noch relativ in der Anfangsphase, dennoch würde ich die Daten halt gerne veröffentlichen. Die Frage die sich da stellt ist halt, ob ich damit bei euch anfangen kann, oder ob ich das ganze gleich bei einem entsprechenden kostenpflichtigen Hoster unterbringe.
ggamee schrieb:
Naja, der Gigabyte kommt halt mit der Zeit zusammen. ( Gerechnet: ~1,75/1024, da wäre das Ding nach ca. 585 Tagen ca. 1GB groß. ) Es ist - wie schon gesagt - nicht so, dass ich da plötzlich einen Gigabyte hoch jagen möchte, sondern das sind halt Daten, die sich so mit der Zeit ansammeln.
Wie gesagt, bei so bei GB würd ich sagen, des wäre zu viel.
ggamee schrieb:
Ich habe auch kein besonders großes Problem damit, das ganze bei einem kostenpflichtigen Hoster anzulegen. Früher oder später wandert das dann sowieso da hin. Nur ist das halt immer viel Geld, wenn man im Grunde noch nichts hat.
Alternativ wäre da evtl square7 ein Anbieter für dich, dort sind 7gb zugesichtert. Hat aber Werbung glaub ich, keine so gut Community, und naja, wems gefällt.
-
nun rück doch mal endlich damit raus was das für Daten sind, Lima ist für Messdaten oder Fotos einer Webcam bei sekündlicher aktualisierung ohnehin viel zu langsam.
-
fatfox schrieb:
Es sind Zahlen, Text, Farbwerte und Zeitangaben. Wie schon gesagt, ist die sekündliche Darstellung nur ein Wunschwert. Alle 30 Sekunden reicht im Grunde für den Anfang auch. Nur älter als eine Minute ist halt schon ziemlich veraltet.
nun rück doch mal endlich damit raus was das für Daten sind, Lima ist für Messdaten oder Fotos einer Webcam bei sekündlicher aktualisierung ohnehin viel zu langsam. -
Das hört sich für mich nicht so an, als wäre das Web wirklich das geeignete Medium dafür. Falls sich jemand für deine Daten interessiert, sollte er besser eine dauerhafte Client-Server-Verbindung aufbauen, um die Daten zu streamen.
-
bladehunter schrieb:
Warum sollte das Web nicht das geeignete Medium dafür sein? Die Daten sind dieselben, wie jeder sie praktisch in seinen Datenbanken speichert, nur, dass es auf Dauer halt recht viele werden.
Das hört sich für mich nicht so an, als wäre das Web wirklich das geeignete Medium dafür. Falls sich jemand für deine Daten interessiert, sollte er besser eine dauerhafte Client-Server-Verbindung aufbauen, um die Daten zu streamen.
Aber ich merke schon, dass das hier wohl kritisch ist. Also werde ich damit wohl erstmal zuhause bleiben und es letztenendes bei einem bezahlten Hoster unterbringen. -
kelserific schrieb:
bladehunter schrieb:
Warum sollte das Web nicht das geeignete Medium dafür sein? Die Daten sind dieselben, wie jeder sie praktisch in seinen Datenbanken speichert, nur, dass es auf Dauer halt recht viele werden.
Das hört sich für mich nicht so an, als wäre das Web wirklich das geeignete Medium dafür. Falls sich jemand für deine Daten interessiert, sollte er besser eine dauerhafte Client-Server-Verbindung aufbauen, um die Daten zu streamen.
Dir scheint es wichtig zu sein, dass deine Besucher immer sehr aktuelle Daten haben. Folglich scheint es auch sinnvoll zu sein, dass sich die Webseite im Browser des Besuchers kontinuierlich aktualisiert. Natürlich kann man sowas mit Ajax realisieren, aber das ist ein nicht unwesentlicher Overhead durch den ständigen Verbindungsauf- und Abbau.
Es wären höchstens Websockets denkbar. Damit habe ich noch keine Erfahrung, aber ich vermute, der Webserver muss das dann auch unterstützen. -
bladehunter schrieb:
Es geht hauptsächlich darum, dass die Benutzer keine alten Daten vorfinden, wenn sie die Seite besuchen. Es geht also weniger darum, ständig zu aktualisieren, sondern schlicht darum, dass - wenn die Seite aufgerufen wird - die Daten Vollständig und aktuell sind. Ob man das ganze mit Ajax (und Longpolling) kombiniert, um sie auch aktuell zu halten, ist am Ende wieder eine andere Geschichte, ( Wobei man bei Lima-City wahrscheinlich schon am Longpolling scheitert. ) denn die Darstellung ist (noch) gar nicht so sehr das Problem. Das Problem ist halt das Aufbewahren der Daten. Und da bietet sich halt SQL an. Ich dachte mir halt: Wenn ich bei Lima-City schon mal eine SQL Datenbank habe, könnte ich die ja auch nutzen.
Dir scheint es wichtig zu sein, dass deine Besucher immer sehr aktuelle Daten haben. Folglich scheint es auch sinnvoll zu sein, dass sich die Webseite im Browser des Besuchers kontinuierlich aktualisiert. Natürlich kann man sowas mit Ajax realisieren, aber das ist ein nicht unwesentlicher Overhead durch den ständigen Verbindungsauf- und Abbau.
Es wären höchstens Websockets denkbar. Damit habe ich noch keine Erfahrung, aber ich vermute, der Webserver muss das dann auch unterstützen.
Ich verstehe allerdings, dass sowas nun mal sehr kritisch ist, wenn es um große Datenmengen geht, vor allem, weil der Zweck wohl nicht ganz die Zielsetzung von Lima-City erfüllt. Ich habe mich nun mal klug gemacht, über reines SQL-Hosting und bin bei freemysql.net fündig geworden. Ich werde mich also mal schlau machen, ob die da irgendwelche Einwände haben. Ob ich das ganze am Ende bei Lima-City veröffentliche, wird sich dann zeigen. Aufgrund der sehr beschränkten Möglichkeiten bezweifel ich das allerdings.
Aber einen Versuch war es wert. Trotzdem vielen Dank. :-) -
Frage: Was, wenn du die älteren "Daten" einfach löscht? zb; dass die Datei "a" nach 2 Wochen gelöscht wird? Dann staut sich auf dem Webspace nichts altes an
-
michl27 schrieb:
Es geht leider darum, dass die Daten vollständig sind. Vor allem die anfänglichen Daten spielen am Ende eine große Rolle. ( Statistische Auswertung, Änderung von Daten nachvollziehen, etc. ) Denkbar wäre es, triviale Daten zu entfernen, aber das würde dann nichtmal 5% einsparen. Und ob es nun 1GB oder 973MB sind, ist denke ich nicht der Knackpunkt.
Frage: Was, wenn du die älteren "Daten" einfach löscht? zb; dass die Datei "a" nach 2 Wochen gelöscht wird? Dann staut sich auf dem Webspace nichts altes an -
Lima wirbt doch mit unlimit Websspace
Wenn dass ganze doch von der Größe her aus dem Ruder läuft, solltest du dir vieleicht überlegen, dir nen günstigen vServer anzuschaffen. Hab ich mit meiner HP auch gemacht
-
michl27 schrieb:
Es wird aber auch auf das Fair-Use-Prinzip hingewiesen. Bringt ja niemandem was, wenn alle mit ihrem Webspace rumsauen und am Ende nichts mehr geht, weil der Platz voll ist. Deshalb fragte ich erstmal nach, vor allem, weil es halt primär um das Speichern der Daten und nicht um das Erstellen einer Webseite geht.
Lima wirbt doch mit unlimit Websspace
michl27 schrieb:
Ein V-Server ist da unnötig. Ich habe mich nun für ein SQL-Hosting entschieden, die sollten darauf ausgelegt sein, größere Datenmengen in ihren Datenbanken zu lagern. Wenn ich das ganze dann veröffentliche, werde ich das ganze einfach bei einem payd-hoster unterbringen und gut ist's. Da muss ich mir nicht den Administrationsaufwand geben, den so ein Vserver mit sich bringt.
Wenn dass ganze doch von der Größe her aus dem Ruder läuft, solltest du dir vieleicht überlegen, dir nen günstigen vServer anzuschaffen. Hab ich mit meiner HP auch gemacht -
also ganz ehrlich:
wenn du ne richtige meinung willst, dann solltest auch ein wenig mehr präzisieren, welcher art die daten sind... wenn ich es mal so sage: 1gb daten sind im prinzip heutzutage eigentlich ein witz. für ne durchschnittliche HP bekommt man durchschnittlich 5-8 Projekte auf dem speicherplatz unter.
vielleicht stimmt ja auch dein konzept nicht^^ es gibt sachen ,die nciht so lange vorgehalten werden... oder warum alle 30 sekunden komplett neue view anlegen? aus dem kontext erschließt sich für mich kein projekt, bei dem ein derartiges vorgehen sinnvoll sein könnte... -
sebulon schrieb:
Es ist keine HP. Ich wüsste auch nicht, was es für eine Rolle spielt, welcher Art die Daten genau sind. Zudem habe ich ziemlich genau angegeben, um welche Art von Daten es sich handelt. Nochmal zum mitschreiben: ulong, ulong, char[10], char[40], char[1]. Und das ganze halt recht oft. ( In den letzten 24 Stunden 26928 Datensätze macht ~1,6MB am Tag also wäre ich in ca. zwei Jahren bei einem GB.)
also ganz ehrlich:
wenn du ne richtige meinung willst, dann solltest auch ein wenig mehr präzisieren, welcher art die daten sind... wenn ich es mal so sage: 1gb daten sind im prinzip heutzutage eigentlich ein witz. für ne durchschnittliche HP bekommt man durchschnittlich 5-8 Projekte auf dem speicherplatz unter.
sebulon schrieb:
Nehmen wir einfach mal an, es handelt sich um ein Browsergame mit 1975565 Nutzern. ( Datenquellen ) Die Daten müssen ständig aktuell sein. Und wenn die Leute auch in einem Jahr noch nachvollziehen wollen, was sie heute getan haben, müssen die Daten auch gespeichert bleiben. Oder um eine Web-Anwendung für Börsenspekulation. Oder um eine meteorologische Datenbank. Alles Anwendungen, wo jede Menge Daten zusammen kommen, welche auch über längeren Zeitraum gespeichert werden müssen und möglichst aktuell zu sein haben. Um ein paar Beispiele zu nennen.
vielleicht stimmt ja auch dein konzept nicht^^ es gibt sachen ,die nciht so lange vorgehalten werden... oder warum alle 30 sekunden komplett neue view anlegen? aus dem kontext erschließt sich für mich kein projekt, bei dem ein derartiges vorgehen sinnvoll sein könnte...
Und da bereits gesagt wurde, dass 1GB schon ziemlich hart für eine Datenbank bei bei Lima-City ist, habe ich die Datenbank nun ausgelagert. Das Problem ist also bereits gelöst, meine Frage geklärt und ich wüsste nicht, welchen Diskussionsbedarf es da noch gibt. Ich wollte wissen, ob sowas bei Lima-City machbar ist, die Antwort war "eher nicht", also lass ich es. -
Und ebenfalls alles Anwendungen die dem Fair Use Prinzip wiedersprechen und bei einem Freehoster nichts verloren haben.
Es geht gar nicht so arg um die Datenmenge die ist zweitrangig, es geht um die Häufigkeit der Aktualisierung , du brauchst eine Verbindung um alle Sekunde oder alle 30s die neusten daten anzulegen und wenn jemand deine Seite öffnet braucht er eine Verbindung um die Daten zu laden und anzuzeigen und muss dann (hoffentlich differenziell) alle Daten nachladen die neu hinzugekommen sind nach seiner letzten Aktualisierung und das erfolgt für jeden User der deine Seite aufrufen würde.
Wie man bereits schon mitbekommen hat leiden die Datenbanken aktuell schon unter, immer mal wieder auftretender, spontanen Funktionsunlust die sicher nicht zuletzt damit zu tun hat das irgendwer der Meinung ist er müsse ständig irgendwas aktuell halten.
Bladehunter hat Recht, schreib dir einen Serer der die Daten entgegen nimmt und auf Clientanfragen wartet, und einen Client der die Daten anfragt, entgegennimmt und darstellt. Das ist mit UDP also ohne Flusskontrolle schnell erledigt und der Output kann ja durchaus eine HP sein und der Client bei einem Hoster laufen.
Wenn du die empfangenen Daten dann bspw. in einem Plaintextfile zwischenspeicherst und mit deiner Visualisierung darauf zugreifst dann mussst du nicht mal mehr unterschiedliche Verbindungen machen und die Performanz steigt auch weil die Daten nach einer Betriebszeit schon im Cace des Webservers liegen werden und von da aus schnell ausgeliefert werden können.
Und wenn du jetzt sagst das wäre ungeeignet , dann gibt es genau 3 Möglichkeiten:
a) entweder du sagst was du vorhast dann klann sich jemand aus der Administrative dazu äußern
b) oder du lässt es bleiben und gehst zu nem Paid Space Anbieter oder mietest dir einen Server
c) du probierst es aus und riskierst güldene Sterne
Beitrag zuletzt geändert: 3.6.2012 9:03:34 von fatfox -
fatfox schrieb:
Dass das kritisch ist, war mir bewusst. Das "Fair-Use"-Prinzip heißt ja, dass alle in etwa die gleiche Last verursachen. Ich hatte nur halt keine Vorstellung, wie hoch diese Last sein darf. Aber wenn diese Anwendungen für Lima-City zu aufwändig sind, werde ich mit meiner Geschichte auch den Rahmen sprengen und werde - wie bereits angekündigt - das ganze einfach wo anders aufziehen. Ich habe dafür vollstes Verständnis und sehe da gar keinen weiteren Diskussionsbedarf.
Und ebenfalls alles Anwendungen die dem Fair Use Prinzip wiedersprechen und bei einem Freehoster nichts verloren haben.
fatfox schrieb:
Also es existiert dabei lediglich eine (mehr oder weniger) permanente Verbindung, welche da Daten mit durchschnitlich ca. 25Byte/s hoch schiebt. Ansonsten wird es eine Stink normale Webseite, welche ( in aktueller Konfiguration bei mir zuhause ) 1000 Datensätze anzeigt, welche dann zusätzlich gefiltert werden können um eine Übersicht über die Daten (bzw. deren Verlauf ) zu bekommen, die einen interessieren. Es ist unwahrscheinlich, dass es vorkommt, dass da jemand die komplette Seite alle x Sekunden neu lädt.
Es geht gar nicht so arg um die Datenmenge die ist zweitrangig, es geht um die Häufigkeit der Aktualisierung , du brauchst eine Verbindung um alle Sekunde oder alle 30s die neusten daten anzulegen und wenn jemand deine Seite öffnet braucht er eine Verbindung um die Daten zu laden und anzuzeigen und muss dann (hoffentlich differenziell) alle Daten nachladen die neu hinzugekommen sind nach seiner letzten Aktualisierung und das erfolgt für jeden User der deine Seite aufrufen würde.
fatfox schrieb:
Habe ich noch nicht mitbekommen, aber wenn dem so ist - okay. Wie schon gesagt: Ich sehe vollständig ein, dass sowas kritisch ist und habe auch bereits einen Ausweg gefunden, indem ich mich halt einfach zu einem SQL-Hoster bewegt habe, der ja genau dafür gedacht ist: Um Daten zu sammeln.
Wie man bereits schon mitbekommen hat leiden die Daten aktuell schon unter immer mal wieder auftretender spontanen Funktionsunlust die sicher nicht zuletzt damit zu tun hat das irgendwer der Meinung ist er müsse ständig irgendwas aktuell halten.
fatfox schrieb:
Okay, damit ich das jetzt richtig verstehe: Ich habe ein Programm zu hause, was mir die Daten generiert, die Daten soll ich jetzt zu einem Server1 schicken, auf dem eine Software läuft, die das ganze dann in SQL verpackt und darauf wartet, dass Server2, auf dem ein Client läuft, eine Anfrage an Server1 sendet, zu dem Client verbindet, welcher die Daten aus der Datenbank holt und diese an Server2 sendet, damit dieser sie dann anzeigen kann?
Bladehuntzer hat Recht, schreib dir einen Serer der die Daten entgegen nimmt und auf Clientanfragen wartet, und einen Client der die Daten anfragt, entgegennimmt und darstellt. Das ist mit UDP also ohne Flusskontrolle schnell erledigt und der Output kann ja durchaus eine HP sein und der Client bei einem Hoster laufen.
Es gibt bereits einen trefflichen Server, um meine Daten anzunehmen, zu sammeln und wo Server1 sie sich dann abholen kann: Einen SQL-Server. Ich hole mir also einfach einen SQL-Server, meine Software sendet die Daten zu dem SQL-Server und ein jeder Webserver kann sie sich dann dort - ganz nach bedarf - abholen. Ich sehe nicht, wo das Problem ist. Der Server, den du vorschlägst zu schreiben, existiert also bereits, mit sämtlichen Funktionen, die ich brauche.
fatfox schrieb:
Das Problem mit einer Plaintextfile ist, dass es halt verschiedene Daten sind und nicht jeder immer alle Daten sehen will. Beispielsweise gibt es eventuell Leute, welche nur die Daten von 02-06-2012 interessieren. Oder Leute, welche nur Daten von einem bestimmten Typ interessieren. Oder die einfach nur die Veränderung einer bestimmten Variable über die Jahre nachvollziehen wollen. Es gilt nicht, immer die vollständigen Daten anzuzeigen, sondern einfach die vollständigen Daten vorrätig zu haben, damit bei Bedarf darauf zugegriffen werden kann. Und dafür ist SQL halt wie geschaffen.
Wenn du die empfangenen Daten dann bspw. in einem Plaintextfile zwischenspeicherst und mit deiner Visualisierung darauf zugreifst dann mussst du nicht mal mehr unterschiedliche Verbindungen machen und die Performanz steigt auch weil die Daten nach einer Betriebszeit schon im Cace des Webservers liegen werden und von da aus schnell ausgeliefert werden können.
fatfox schrieb:
Wenn es um die Farbe der Sterne ginge, wäre mir das egal. Es wäre mir auch egal, wenn dann am Ende jemand kommt und sagt "Mach das mal woanders". Was mir nicht egal ist, sind halt die anderen Leute, die ggf. unter meinem Verhalten leiden, weil der SQL-Server mit mir überlastet ist. Also gehe ich damit lieber wo anders hin, wo die Leute auf sowas vorbereitet sind.
Und wenn du jetzt sagst das wäre ungeeignet , dann gibt es genau 3 Möglichkeiten:
a) entweder du sagst was du vorhast dann klann sich jemand aus der Administrative dazu äußern
b) oder du lässt es bleiben und gehst zu nem Paid Space Anbieter oder mietest dir einen Server
c) du probierst es aus und riskierst güldene Sterne -
kelserific schrieb:
/.../
Ein V-Server ist da unnötig. Ich habe mich nun für ein SQL-Hosting entschieden, die sollten darauf ausgelegt sein, größere Datenmengen in ihren Datenbanken zu lagern. Wenn ich das ganze dann veröffentliche, werde ich das ganze einfach bei einem payd-hoster unterbringen und gut ist's. Da muss ich mir nicht den Administrationsaufwand geben, den so ein Vserver mit sich bringt.
Thema somit erledigt -> *geschlossen*
MfG Stephan -
Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!
lima-city: Gratis werbefreier Webspace für deine eigene Homepage
