Reco-bloggen » Drift

Tillfälligt fel på vissa sidor på Reco.se

Nikke Lindqvist — Thu, 21 Apr 2011 09:23:12 +0000

Under förmiddagen hade vi vissa problem med att visa vissa sidor på Reco.se. Det gällde sidor som har en koppling till Foursquare som har haft stora tekniska problem under morgonen.

I skrivande stund fungerar sajten, men eftersom Foursquare fortfarande vacklar, så kommer felet och går, på Reco.se också.

Felet uppträder alltså bara på sidor som har en koppling till Foursquare och bara om man är inloggad på Reco.se, en dum kombo och ett onödigt beroende som Jakob nu har kodat oss runt. Vi har en långsiktig lösning på plats som kommer ut på sajten i nästa release, på tisdag, men hoppas naturligtvis också på att vår favoritincheckningstjänst Foursquare snarast ska komma på benen igen.

Många tjänster drabbade idag

Foursquare, Hootsuite och många andra tjänster går på knäna idag. Troligen beror detta på att Amazon har problem med sina molnservrar… Det känns en smula obehagligt alltihop eftersom 21 april, enligt legenden är datumet då Skynet vaknar till liv…

Kanske liknande

Checka in? Checkins? Vad är det egentligen?

Ursäkta röran. Vi flyttar och ligger i…

Nikke Lindqvist — Mon, 24 Jan 2011 10:11:38 +0000

I veckan flyttar vi Reco-servrarna från Stockholm till Karlstad. Vår nya driftsleverantör heter Redpill Linpro och vad vi har sett hittills av dem så lovar det mycket gott.

Det innebär att Reco.se just nu går på virtuella servrar som vi har hyrt in för ändamålet.

Just nu, i skrivande stund, byts diskarna ut på dessa eftersom de som satt i visade sig vara väääääldigt långsamma. Vi hoppas att vara tillbaka på banan inom kort.

Kanske liknande

Ingenting liknar det här inlägget :)

Baksmällan snart över

Tobias B — Tue, 04 Jan 2011 10:22:07 +0000

I november satt vi oss i konferensrummet, ni vet när alla sätter sig på sina stolar några minuter efter utsatt tid. Kaffet är där precis som skrivblocket, alla tar fram sina tomma blad, de blad (eller textfiler för de som envisas om att köra med laptop) som ska fyllas med viktiga smarta anteckningar under mötet.

Just det här mötet går ut på vad vi ska ägna vår tid åt innan vi går på julledigheten och eftersom vår backend kille ska sluta är vi extra noggranna med att ta höjd för den tid då vi kommer att vara utan java-utvecklare. Det är en lucka på några veckor och vi förstår verkligen vikten av att säkerställa en stabil miljö innan han lämnar.

På klassiskt manér hjälps vi åt att notera de mest nödvändiga kandidaterna inför julledigheten i våra anteckningsblock. Det är inte särskilt många raffinerade funktioner utan handlar snarare om en handfull åtgärder som mer eller mindre ska styra upp vår miljö. Ungefär som när man städar av skrivbordet inför en kommande ledighet.

Mötet går bra och vi har en tydlig prioritering vilka åtgärder som ska avklaras först respektive sist. Förnöjt lämnar alla deltagare mötesrummet, lite med känslan att vi är på god väg, vilket är en sanning med modifikation. Ovissheten i de uppskattningar som görs under det här mötet kan bli förödande men det har vi ingen aning om.

Vi vet att dessa möten inte ska handla om estimat oavsett hur sofistikerade metoder/modeller man kan använda. Det inger en falsk trygghet och blir aldrig rätt. Givetvis ska man ha en uppfattning kring tid, vilket vi har och därmed lämnar vi mötet i riktig traditionell konsensus där magkänslan kring respektive åtgärd känns acceptabel. Känner ni igen er?

Veckorna rasar därefter förbi i en våldsam hastighet och julen börjar närmar sig. Folk med tunnelseende börjar höra till den här tidens vardag och det är inte ovanligt att folk slutar svara i telefon eller för den delen på mail och sms.

När jag nu, januari 2011, tittar tillbaka i mitt slitna skrivblock vrider det till i magen, vi var galaxer ifrån att nå våra mål och faktum är att vi missade det mest elementära, att färdigställa en driftsäker miljö. Hur kunde det komma sig?

Vi saknade förmågan om att kommunicera kring vår progress, vi pratade, som man alltid gör om vad vi jobbar med för stunden men tappade helt orienteringen kring målbilden och om den överhuvudtaget var möjlig. Istället trummade vi på med jobbet tills väggen var precis framför näsan. Kommunikation är allt. Rätt kommunikation ger mottagaren möjlighet att förstå, fel kommunikation är brus och leder ingen vart.

Ett annat problem var att vi inte styckade upp elefanten i tillräckligt små bitar, vi tyckte att bitarna var små när vi började men så snart vi började ana att det skulle bli mer komplicerat borde vi anpassat oss och minskat scoopet. Det här är en klassiker som jag har sett allt för många gånger, det klassiska vi är snart framme syndromet. Precis som när man ställer sig i fel kö på Ikea och väljer att stå kvar i kön för att att man har stått i den här kön så länge, så nu är det lika bra att stå kvar, man är ju snart framme.

Konsekvensen är att vi idag sitter med en halvfärdig release i produktion som går upp och ned som tepåse i nykokat vatten. Det är knappast något jag är stolt över men jag delar gärna med mig eftersom jag inte är ensam. Små och stora bolag drabbas ständigt av dessa klassiker och för alla er kan jag rekommendera ”Getting Real” som jag numera läser om och om igen, tills jag inte bara förstår utan även lever som jag lär.

Till våra fantastiska medlemmar som ständigt hjälper oss (mest via Twitter) att försöka få ordning på prylarna kan jag meddela att vår gamle kollega jobbar just nu, trots nytt jobb, med det övriga teamet med att så snart som möjligt lansera en ny stabil version.

Det är ni medlemmar som håller humöret uppe på kontoret och vi är evigt tacksamma för era buggrapporter, åsikter och sköna kommentarer.

Tack.

Kanske liknande

Ingenting liknar det här inlägget :)

Tack för all hjälp! Nu flyger Reco.app igen

Nikke Lindqvist — Fri, 26 Nov 2010 13:47:15 +0000

Vi på Reco.se skulle inte ha något som helst existensberättigande utan våra medlemmar. Vi är en sajt som bygger på användarmedverkan – Utan recos finns inget Reco.se. I veckan fick vi ytterligare bevis för hur viktigt det är att ha goda kontakter med en trogen skara medlemmar.

Det här är berättelsen om hur vi har våra trogna medlemmar att tacka för att vi hittade en allvarlig bugg i vårt API och därmed räddade vår iPhone-app. Vi på Reco.se vågar nu tro på den igen, vågar återigen prata om den och marknadsföra den. Vi siktar månne högt, men vi vill ha åtminstone 2000 nya nedladdningar den här veckan och åtminstone 20 betyg och omdömen.

Släppet

I torsdags morse appen släpptes igenom i App Store, påbörjade vi marknadsföringskampanjen. Vi gjorde det på vårt sätt, det sociala och snabbt hade vi kommit upp i tillräckligt stort antal nerladdningar för att placera oss på topplistan över sociala appar. Samtidigt visade det sig att vi med ökande antal aktiva medlemmar som använde appen, började få problem med servrarna.

Det hickar

Det första tecknet att någonting var fel kom redan under torsdagsförmiddagen när ett par användare inte kunde logga in utan bara landade på det förödande felmeddelandet ”Server error at Reco”. (Det gav oss också raskt några dåliga recensioner i App Store.)

Att släppa version 1.0 av en app är att starta det fullskaliga användartestet

Så skrev jag i torsdags lunch fick genast medhåll från olika håll, av folk som hade egna erfarenheter av att det inte alltid omedelbart går som man har tänkt sig.

När sedan TKJ skrev en bloggpost om Reco och appen sent på torsdagskvällen slog det definitivt till och vårt API packade ihop och gick och la sig för natten. Samma sak hände på fredag kväll, och på lördagskvällen…

På söndagen hade vi skrapat ihop till 1000 nerladdningar och det stod nu alltmer klart att vi verkligen hade problem. Satt i skiten som man säger på restaurangspråk. Vi funderade till och med på att dra tillbaks appen men nöjde oss med att lägga in en text om att vi brottades med vissa problem på servrarna.

Felsökning

Måndagen gick väldigt mycket i felsökningens tecken. Då och då såg vi felen uppstå under tiden såg vi allt sämre betyg och omdömen ramla in på appens sida på App Store. Något måste göras. Men vi var tvungna att bli helt säkra på var felet låg. Och för att ta reda på det måste vi testa appen under hård belastning. Än en gång vände vi oss till våra bästa vänner.

Projekt Reco Self DDOS initieras

På bloggen, på Facebook och på Twitter frågade vi, vid 9-tiden på morgonen, om folk kunde tänka sig att hjälpa oss fem minuter på eftermiddagen. Det var det många som ville. Vi påminde ett par gånger under dagen och vid kvart i fyra.

Prick 16.00 fick vi uppskattningsvis ett 60-tal samtidiga användare som loggade in, sökte och checkade in i appen. Eller försökte i alla fall, för som beräknat så uppstod felen så gott som omedelbart.

Efter bara en minut fick jag ett felmeddelande som visade exakt var felet låg. Vårt API tappade kontakten med databaserna.

Dett var faktiskt precis vad vi hade hoppats på, för nu hade vi loggar att gräva i.

Tjugo minuter senare hade Fredrik hittat felet och ett par timmar senare var fixen implementerad. Och sedan dess har vi inte varit med om samma typer av fel.

Det finns säkert andra. Det vore nästan konstigt annars. Men vi hoppas att detta var sista gången som vi behöver initiera en DDOS-attack mot vår egen tjänst. Men vi är oändligt tacksamma för att ni som hjälpte till ville vara med och sänka oss i tisdags.

Nu kör vi!

Nu känner vi att vi vågar trycka på om iPhone-appen igen. Så har du inte testat den ännu, passa på idag. Hämta den från App Store och tyck gärna till om oss också. Idag har vi 18 betyg i App Store och ni vet ju hur vi känner inför rekommendationer… vi vill ha så många som bara är möjligt!

Kanske liknande

Stresstestet genomfört – Tack allihop!

Nikke Lindqvist — Tue, 23 Nov 2010 09:11:32 +0000

Nu är vårt stresstest avklarat, och vi vill tacka alla som var med och hjälpte oss.

Vi fick in gott om data som vi kan använda för att biffa upp våra servrar – eller underlag nog för att kanske rent av lägga till fler servrar.

Vill du vara med och stresstesta?

När vår iPhone-app släpptes igenom i App Store i torsdags och började laddas ner i allt högre takt så visade det sig snabbt att vi fick en del prestandaproblem på serverarna. Nu har vi jobbat med att försöka åtgärda dessa. Men åtgärderna behöver testas, och därför skulle vi, i all ödmjukhet vilja be om din hjälp om att vara med och stresstesta appen.

Klockan 16.00, nu i eftermiddag (23 november 2010) tänkte vi försöka utsätta den för ett riktigt stresstest. Vill du vara med? Ladda i så fall ner appen redan nu, antingen från din iPhone (genom att söka efter reco i App Store) eller om du hellre laddar ner via datorn, genom att gå till iTunes via den här länken.

Sedan, kl 16.00, skulle vi vilja att du

Loggar in i appen (antingen med ditt Reco.se-konto eller via någon av de sociala kopplingarna via Facebook, Twitter, Google eller Windows Live)
Letar reda på närmaste café/restaurang/hotell,bilverkstad eller faktiskt efter stället där du befinner dig.
Checkar in (eller ännu hellre, om du har tid, skriver en reco)
Går tillbaka till kartan, flyttar kartans fokus och gör en ny sökning efter någonting på den kartpositionen.

Vi skulle bli alldeles fantastiskt lyckliga om så många som möjligt ville hjälpa oss med detta. Skriv gärna en kommentar nedan om du känner att du villl vara med. Vi kommer att vara evigt tacksamma.

// Tobbe, Nikke och alla andra på Reco.se

Kanske liknande

Risken med att följa instruktioner

Tue, 23 Sep 2008 16:02:24 +0000

Med anledning av tidigare driftsproblem och en önskan om att underlätta driften är vi på väg att byta driftleverantör. Som ett första steg i själva övergången så flyttade vi idag vår DNS till den nya leverantören. DNS är systemet som är ansvarig för att tala om vilken dator som finns på en viss adress (i vårt fall www.reco.se). Namnservern hos den nya leverantören var korrekt inställda och det som skulle göras vara att tala om för .SE att det var den nya leverantören som ska hålla reda på var vår dator finns (än så länge är själva servern kvar hos den gamla leverantören).

Detta byte ska i teorin gå helt omärkligt (och gör det också i nästan alla fall också). Ödet ville dock annorlunda för oss idag. .SE:s verktyg för att hantera domäner säger att man ska ta bort den gamla namnserverinställningen först och sedan lägga till de nya. Om sedan uppdateringen kör precis efter att de gamla tagits bort och de nya lagts till så har domänen helt plötsligt inga namnservrar. Det var precis det som hände oss. Under de 12 sekunder som inställningen saknades kördes uppdateringen (som sker varannan timme). Risken att uppdateringen råkar ske just då är 0,16 procent så det ytterst osannolika hände. Eftersom denna uppdatering körs varannan timme så var webbplatsen under två timmar borta från domännamnssystemet och därmed i praktiken från nätet.

Det korrekta, och redundanta sättet, är att lägga till de nya namnservrarna först och sedan ta bort de gamla namnservrarna (och det först efter en lång tid). Hade vi gjort det istället för att följa instruktionerna på webbsidan hade vi inte råkat ut för att vara bort från jordens yta två timmar ens om vi lyckades pricka in samma 0,16 procent av en tvåtimmarsperiod.

Kanske liknande

Ingenting liknar det här inlägget :)

Reco.se nere pga. fel hos leverantör

Thu, 18 Sep 2008 09:56:58 +0000

Pga. vår nuvarande leverantör Levonline har ett oannonserat avbrott är reco.se inte tillgänglig sedan 11.39. Inte heller Levonlines egen webbplats går att nå.

Tidigare har vi drabbats av längre stopp hos Levonline den 2 juli, 27 juni, 4 juni, 20 maj.

Uppdatering: 12.50 var reco.se åter tillgänglig.

Levonlines driftsida uppdaterades först 12.58 (den var förstås inte tillgänglig innan dess):

På grund av en attack utifrån mot vårt nät har vi just nu allvarliga nätverksproblem.

Detta påverkar alla Levonlines kunder. Webbsajter, e-post och egna servrar är svåra eller omöjliga att nå.

Tekniker jobbar på problemet.

Kanske liknande

Ingenting liknar det här inlägget :)

Reco.se nere för uppdatering

Thu, 28 Aug 2008 13:08:14 +0000

Under eftermiddagen (med start strax efter 15.00) kommer Reco.se ligga nere för uppdatering till en nyare, och snabbare, version. Det är osäkert hur lång tid uppdateringen kommer att ta men åtminstone 10 minuter.

15.36 Start för uppdatering
16.02 Databasindexering gjord
16.12 Sökindexering gjord
16.16 Uppe igen

Nertid: 40 minuter

Kanske liknande

Ingenting liknar det här inlägget :)

Kort stopp

Fri, 08 Aug 2008 06:27:48 +0000

Reco.se kommer ligga nere några minuter med start 08.40.

Uppdatering: Uppe igen klockan 08.45. Så här i efterhand kan man fundera på om det inte givit mer lycka att lägga driftstoppet till 08.08.

Kanske liknande

Ingenting liknar det här inlägget :)

Uppdatering 1 augusti

Fri, 01 Aug 2008 09:16:31 +0000

För att snygga till våra länkar ytterligare behöver vi hålla Reco.se nere under några minuter med start 11.15.

Uppdatering 11.19: Omstart pågår nu.

11.22: Och vi är tillbaka igen.

Kanske liknande

Ingenting liknar det här inlägget :)