Effektiv lagring av marknadsdata, för snabb åtkomst ur stora datamängder

NeoNet erbjuder direktmarknadshandel och mäklartjänster på världens ledande börser.
NeoNets handelsplattform tillhör ett av marknadens mest sofistikerade realtidssystem för aktiehandel.
Plattformen är uppkopplad till världens ledande aktiebörser och våra kunder har mycket höga krav på hastighet, stabilitet och prestanda.
Kunderna handlar antingen med vår egen handelsapplikation NeoNet Trader eller via FIX-protokollet.
Våra kunder är kapitalförvaltare, fondkommisionärer och banker runt om i världen.
NeoNet är noterat på Stockholmsbörsen. Kontor och säljrepresentation finns i Frankrike, Italien, Storbritannien, Sverige, Tyskland och USA.
Företaget har cirka 100 anställda varav 15 personer arbetar med systemutveckling och kvalitetssäkring. Huvudkontoret ligger på Kungsgatan i Stockholm.



Aktiebörser världen runt skickar kontinuerligt ut realtidsinformation rörande priser och annan relaterad information.
Det rör sig om priser och volymer för gjorda avslut, samt information om vilka ordrar som ligger i marknaden.
I normala fall tar man hand om den information man behöver för stunden, men i vissa sammanhang kan man vilja blicka tillbaka för att se vad som hände för ett visst värdepapper en viss tid.
En börs kan utan problem skicka ut över 50 GB data på en dag, så det är inte helt trivialt att spara det för historisk åtkomst.

Att lagra dessa datamängder rått, tar både mycket plats, och gör det tidsödande att söka i.
Relationsdatabaser är ineffektiva både vad gäller utrymme och söktid när det gäller så stora datamängder.

Vi vill undersöka hur man kan uppnå följande:
1. Effektiv nedlagring på disk, som kan hantera toppar i dataströmmarna på uppåt 20 Mbps (minst).
2. Kompakt datalagring, så att diskutnyttjandet blir effektivt.
3. Snabb åtkomst av historisk data, så att söktiden blir extremt kort oavsett mängden rådata.
4. Säker lagring, som minimerar risk för datakorruption och som möjliggör effektiva backupper.
5. Expanderbart, så att man utöver normalt data ska kunna lagra utökat metadata allt eftersom behov uppkommer.
6. Minimera inbyggda storleks-begränsingar, så att man kan växa allteftersom diskar och operativsystem klarar av större och större datamängder.

Som del av uppgiften ingår att även bygga mjukvara för att kopplas in i NeoNets system för aktiehandel.
Arbetet bör ske iterativt, vilket innebär att delmål regelbundet kommer att följas upp, och att riktningen kan korrigeras tidigt vid behov.
NeoNets system är primärt skrivet i C++, på windowsplattform, så det är praktiskt om du kan detta.
Val av programmeringsspråk och operativsystem är öppet för diskussion, eftersom vi inte vill sätta begränsningar som kan påverka projektets resultat.

Om du har en gedigen kompetens inom datalogi, och ett starkt intresse för programmering, så är det en fördel.
Kunskap om finans-marknaderna är meriterande men ej nödvändigt.