Web 2.0 in the real world

alt
 

Hot topics

Deel, Like en win

Guus Disselkoen  25 October 2018 18:10:38
Image:Deel, Like en win
Doe jij er ook aan mee?

Het valt me regelmatig op hoe makkelijk, of liever gezegd klakkeloos, sommige mensen berichten liken en delen op Facebook als daar om gevraagd wordt, of als er iets mee te winnen valt.
Ik kan me heel goed voorstellen dat je een bericht over gevonden, verloren of gestolen voorwerpen deelt op het moment dat iemand dat vraagt. Of dat je dat al uit je zelf doet om iemand te helpen. Ook begrijp ik heel goed dat je een bericht, waarin iemand zijn woning te koop heeft staan, deelt op Facebook. Maar wat ik niet begrijp is dat berichten klakkeloos gedeeld worden als er iets te winnen valt. Kijk eerst eens wie de prijs weggeeft en of het niet te mooi is om waar te zijn. Want in dat geval is het vrijwel altijd niet waar.
Of wanneer iemand een tranentrekkende foto plaatst met een nog zieliger verhaal er bij. Meestal gaat het dan nog om iemand in een land dat slechts enkele kennen en is het zo bizar dat je alleen al daarom moet twijfelen of het waar is. Ook de mededeling dat bedrijf X een euro doneert bij iedere like is volkomen onzin, maar ja, we delen het wel massaal.

Nu het einde van het jaar weer in zicht komt, wordt het ook weer tijd voor een oerhollandse traditie: Sinterklaas. En ja, daar is een hoop over te doen, met name de zwarte pieten die met Sinterklaas vergezeld gaan. En daar is ook al menig Facebook pagina aan gewijd. En net zoveel deel & win acties volgens mij. Voor de eerste 500.000 mensen, ja je leest het goed 500.000, die de pagina delen krijgen een pro zwarte piet vlag. Denk eens na, 500.000 vlaggen weggeven, wat kost dat? Nou ik denk dat zo'n actie al gauw een paar miljoen euro kost. Wie zou er zo gek zijn om zo'n bedrag weg te geven, zomaar, zonder noemenswaardige tegenprestatie, of zonder er zelf wat voor terug te krijgen. Als er een gerenomeerd bedrijf achter zou zitten, dan zal die ongetwijfeld zijn naam prominent in beeld willen hebben.
Maar het is veel simpeler, het is een hoax. Er worden geen vlaggen weggegeven, net zo min als dat er eerder dit jaar iemand een 'I love Zwarte Piet' trui ontvangen heeft na het delen van het bericht. Ook toen werden er door dezelfde mensen 500.000 truien beloofd aan degene die het bericht delen.

En zo gaat het ook met fantastiche reizen naar tropische oorden, kadobonnen van de IKEA, de Jumbo, etc. Als IKEA iets weggeeft, dan doen ze dat via de eigen Facebook pagina of website en vind je ook informatie terug op de website over de actie. En dat geldt voor alle geronomeerde bedrijven die een actie hebben. Dan gebruiken ze niet een onbekende Facebookpagina. Dus als je zo'n actie voorbij ziet komen, wees wijs en deel of like het bericht niet.

Nu zul je je misschien afvragen: Waarom doet iemand dit? Is het iemand die er een onbehaagelijk genoegen in schept om anderen in de maling te nemen? Die met de slappe lach over de grond rolt om het aantal mensen dat er in trapt? Kan zijn, maar er kan ook nog een andere reden in het spel zijn: geld.
Facebook pagina's met veel likes, volgers en gedeelde berichten zijn geld waard. Facebook pagina's worden verkocht aan bijvoorbeeld malafide webshops. Met een populaire Facebook pagina wordt de indruk gewekt dat het om een betrouwbare en populaire webshop gaat, maar het blijkt niets anders te zijn dan oplichting. Goederen bestellen en betalen, maar nooit wat geleverd krijgen. Hoe het precies in zijn werk gaat weet ik niet, en ik ben daar zelf ook heel nieuwsgierig naar. Mocht er iemand zijn die weet hoe dit gaat, dan hoor ik het graag. Stuur mij een berichtje of laat een bericht achter in een commentaar op deze blog.

Tips


Wat kun je doen om te voorkomen dat je "slachtoffer" wordt van deel, like en win acties op Facebook?
- Deel niet klakkeloos een bericht omdat iemand je oproept om te delen,
- Als er prijzen te winnen zijn, kijk wie de prijs weggeeft en of het realistisch is. Een lokale bloemist die 3 bossen bloemen weggeeft klinkt geloofwaardig. Fleurop die 10.000 bossen weggeeft, niet.
- Check of de Facebook pagina, die de prijs weggeeft, ook daadwerkelijk de Facebook pagina van het bedrijf is en of je iets terugvindt op de website van het bedrijf. Als het om nep acties gaat staat er soms zelfs een waarschuwing op de website.
- Wees argwanend bij extreem zielig verhalen, check met behulp van bijvoorbeeld Google of de personen echt bestaan en het verhaal klopt, maar nog beter is om het gewoon niet te delen. Niemand wint hier iets bij als je het deelt.
- Als het te mooi is om waar te zijn, dan is het meestal ook te mooi om waar te zijn.



Herrezen - deel 3

Guus Disselkoen  23 October 2018 15:57:40
Image:Herrezen - deel 3

Deel 3: een belofte inlossen.

Uitstel is nog geen afstel.

Mijn laatste blog item dateert alweer van enkele jaren geleden. Om precis te zijn: 7 december 2015. En daarin beloofde ik dat er nog een vervolg zou komen. En dat vervolg is er nu, eindelijk.
Vrij kort na het publiceren van dat blog item heb ik een zeer serieus hardware probleem gekregen. De hardware die ik gebruik zijn oude servers van mijn werkgever en zijn al redelijk oud. Op de hardware draait VMware en daarin de virtuele servers. Vanwege de performance maak ik geen gebruik van mijn NAS voor de storage van de VM's, maar maak ik gebruik van de harddisks in de machines zelf. In de servers zitten drie harde schijven in een RAID-5 configuratie. De servers hangen in een serverrack en dat severrack staat in mijn berging. Niet ideaal, maar de servers produceren zoveel herrie dat het geen optie is om ze in huis te hebben. Als gevolg van de servers in de berging, loopt de temperatuur daar regelmatig aardig op, en dat is eigenlijk niet zo best voor de levensduur van de servers.

En op een dag in december 2015 ging het mis. Van één van de servers hebben in korte tijd 2 van de 3 harde schijven het begeven. Ik heb nog getracht de boel te repareren door het vervangen van de harde schijven, maar helaas, geen succes. Helaas was dit de server met de grootste harde schijven en draaien daarop de meeste VM's. In één klap was het grootste deel van mijn serverpark verdwenen. En ironisch genoeg was ik net van plan om back-ups in te gaan regelen met Veam software. Helaas dus ook geen back-ups.
Ook was ik nog van plan VM's te gaan verplaatsen, gebruik te maken van een geclusterde reverse proxy en een loadbalancer te gaan gebruiken. Zo ver is het helaas niet gekomen. Gelukkig waren er nog wel een paar servers over op de andere VMware server, waaronder een Domino server en een DNS server.

En zo is het lange tijd gebleven. Het ontbrak me aan de moed om weer opnieuw te beginnen. Ook speelde er een paar andere zaken mee. Door de hoeveelheid servers en producten die ik had draaien ging er ook steeds meer tijd in zitten. Nu heb ik ooit van mijn hobby met computers mijn werk gemaakt, en is het ook mijn hobby gebleven, ik was op een gegeven moment wel bijna dag en nacht met computers bezig. En dat was te veel en ben ik een andere hobby gaan zoeken. Daarnaast gebruiken de servers best wel veel electriciteit en heb ik ook al twee keer de politie aan de deur gehad omdat ze dachten dat ik een wietkwekerij in mijn huis had door het hoge stroomverbruik en warmteontwikkeling.
Op computergebied heb ik niet helemaal stil gezeten. De afgelopen jaren ben ik nog wel bezig geweest met Raspberry's en mijn PC's regelmatig ge-update.

Maar een paar weken geleden begon het toch weer een beetje te kriebelen. Ik miste eigenlijk toch wel een beetje de privé mail op de telefoon en de mogelijkheid om webmail te gebruiken. Maar ik wilde niet weer een grote, uitgebreide, VMware omgeving met tientallen servers.
Voorlopig alleen datgene dat ik daadwerkelijk nu nodig heb. Om ruimte te maken op de overgebleven VMware host heb ik een VM met Windows 7, die ik af en toe als beheer PC gebruik, verwijderd. Deze kan ik ook lokaal op mijn PC draaien mocht het een keer nodig zijn. Op deze manier kreeg ik weer ruimte om een nieuwe reverse proxy neer te zetten en weer gebruik te kunnen maaken van webmail en Verse, de e-mail client van IBM voor op de smartphone.

De afgelopen weken ben ik dan ook, rustig aan, de boel weer aan het opbouwen geweest. Op de Domino server draait naast de webmail en Traveler, voor de mail op de telefoon, ook de website en de blog. Gelukkig had ik een back-up van de configuratie van de reverse proxy. Deze was niet helemaal up-to-date, en ook de situatie is iets veranderd, maar de basis was prima bruikbaar. De configuratie is nog niet 100% zoals ik hem wil hebben, en ook moeten er nog een paar html websites teruggezet worden, maar de noel draait nu weer goed genoeg om de belangrijkste zaken weer beschikbaar te hebben. Tevens is voor de meeste websites nu https geconfigureerd. Ook heb ik van de gelegenheid gebruik gemaakt om weer een spotweb server in te richten op de reverse proxy server zodat ik wat makkelijker TV series kan vinden om te downloaden.
Daarnaast heb ik ook de Subsonic server ge-update. deze liep flink wat versies achter en is nu weer helemaal bij.

Nu de reverse proxy server opnieuw opgebouwd en ingericht is, zijn ook de websites www.waarisguus.nl en blog.waarisguus.nl weer beschikbaar. Er moest op de sites nog wel eerst wat achterstallig onderhoud gebeuren. Op www.waarisguus.nl stonden diverse links naar sites en social media die niet meer bestaan (Hyves, WieOWie) of niet relevant meer zijn. Ook heb ik een paar pagina's weggehaald die 3 jaar geleden een leuk expriment waren, maar nu achterhaald zijn. Er moet nog wel een verdere "remake" uitgevoerd worden in de toekomst.
Ook op deze blog was wat achterstallig onderhoud, en heb ik er even heel snel een bezem doorheen gehaald. Ook hier geldt, er moet nog meer gebeuren.

Wat er in de toekomst gaat gebeuren met de websites en blog die nu op Lotus Domino draaien, weet ik niet. het kan zijn dat ik uiteindelijk toch kies voor een ander platform, bijvoorbeeld Wordpress, of dat het toch Domino blijft. Binnenkort komt er een nieuwe versie uit van Domino en biedt dat voldoende kansen en perspectief om door te gaan, misschien ook niet. Op dat punt ben ik er nog niet uit. Hoe het af gaat lopen zul je ongetwijfeld kunnen lezen op deze blog.

Herrezen - deel 2

Guus Disselkoen  7 December 2015 23:37:39
Image:Herrezen - deel 2

Deel 2: de verdere wederopbouw

Ook ervaren IT-ers zijn soms sukkels.

Nu de basis van de infrastructuur weer up-and-running is, gelijk maar doorpakken en verder gaan waar ik ooit gebleven ben, het definitief vervangen van de twee IBM Lotus Domino v8.5.3 servers.
Het vervangen van de servers is om verschillende redenen noodzakelijk. De belangrijkste reden is wel de performance. Op Notes niveau is dat nog niet zo erg, al is het lange wachten soms irritant, zeker als je snel even wat wilt doen. Maar belangrijkste is toch wel het laden van de websites die op de Domino servers draaien, waaronder www.waarisguus.nl. Dat duurt echt veel te lang.

Een van de voordelen van een IBM Lotus Domino omgeving is dat de configuratie van de servers opgeslagen is in documenten in de Domino Directory. Als is de server er niet meer, de configuartie is er nog wel. Dat betekend dat het opnieuw inrichten van een server vrij snel en eenvoudig gaat. Software installeren, setup draaien en configuratie ophalen uit de Domino Directory en de server is klaar. Na de installatie moeten nog wel de databases op de server geplaatst worden, maar ook dat gaat simpel. Vanuit de overgebleven Domino Server nieuwe replica's maken op de nieuwe servers. Afhankelijk van de hoeveelheid data kan dat even duren, maar dan ben je ook min of meer klaar. Op de nieuwe servers komt ook Traveler te draaien. Traveler wordt gebruikt om mail, agenda, To Do en contactpersonen te synchroniseren tussen de Domino server en mobiele devices. Verder wordt ook het OpenSocial component geïnstalleerd op de Domino servers. En uiteraard worden de servers gelijk ge-upgrade naar de laatste versies en fix-packs.

De omgeving thuis wordt o.a. ook gebruikt voor het uitproberen van nieuwe versies en uitdagende, en soms complexe, configuraties. Zo had ik op de verloren gegane omgeving o.a. eeen High Availability cluster gebouwd voor Traveler, niet omdat ik het nodig had, maar omdat het kan. Eerlijk gezegd was ik niet van plan dat nu weer te doen. Maar door mijn ijver om twee Domino servers identiek in te richten en als 1 Domino cluster op te zetten had ik wel 2 Traveler servers. En dat geeft een leuk effect: iedere mail komt 2 keer op de telefoon terecht omdat met beide Traveler servers gesynchroniseerd wordt. Hoe dat komt leg ik later uit, er valt nog meer te lachen.
Om dit probleem op te lossen heb ik 2 opties:
  • De-installeren van 1 van de Traveler servers
  • Toch weer een High Availability cluster op zetten.

Het de-installeren van 1 van de Traveler servers is misschien de simpelste oplossing, maar als deze server niet beschikbaar is, dan ook geen nieuwe mail op de telefoon. En aangezien ik nog weleens een server wil herstarten om een configuratie uit te testen, niet handig. Dus dan toch maar weer een High Availability cluster bouwen.
Op zich is dat ook niet spannend of, veel werk. Ik had al een database op de DB2 server van de vorige setup en dan is het alleen nog maar een commando runnen op de Domino server om het High Availability cluster te realiseren.
Helaas bleek het database schema niet overeen te komen met het huidge gebruikte schema. Dat is opgelost door de bestaande database te droppen en een nieuwe database aan te maken. gelukkig wordt er een script meegeleverd om dit te realiseren.

Tot zo ver de setup van servers en clusters, nu even terug naar de situatie direct na het weer in de lucht brengen van de bestaande omgeving.

Ik gebruik 2 IBM HTTP Servers (IHS) als reverse proxy server. IHS is gebaseerd op de Apache HTTP server en door IBM gemodificeerd om optimaal samen te kunnen werken met een groot aantal IBM producten.
De integratie met IBM producten verloopt via een plugin die apart geïnstalleerd moet worden. Deze plugin zorgt er voor dat requests die binnenkomen naar de juiste back-end server gestuurd worden en heeft nogal wat mogelijkheden qua configuratie.
In het kortt komt het er op neer dat je voor iedere website, applicatie server of cluster van servers een aantal dingen definieert. Het gaat dan om de host namen, de servers die het request af moeten handelen en de URI's die gebruikt worden. Je kunt daar bij ook primaire en back-up servers configureren.

Nadat de stokoude Domino server weer in de lucht was en de taken over moest nemen van de 2 verloren gegane Domino servers, heeft deze promotie gemaakt. Van back-up server gepromoveerd naar primaire server. En dat ook zo, quick and dirty, aangepast in de configuratie van de plugin. En dat werkte zonder problemen.
Toen de 2 nieuwe Domino servers gereed waren was het zaak de configuratie weer aan te passen en terug te brengen in oorspronkelijke staat. En daar ging het mis! Even een moment van onoplettendheid en ik had de volgende situatie gecreëerd:
  • Eerste nieuwe Domino server samen met de oude Domino server als primaire servers geconfigureerd.
  • Tweede nieuwe Domino server als back-up server geconfigureerd.
Dat zou op zich niet zo'n probleem zijn mits de oude en nieuwe server op dezelfde versie van de Domino software zouden draaien. Mijn website is oorspronkelijk gebouwd in versie 8.5.x en maakt gebruik van een extention library met java componenten van OpenNTF. In Domino v8.5x zijn er 2 manieren om deze extention library toe te voegen op de server. De makkelijkste en tevens ook beste methode is via een speciale database waarin de java componenten geïmporteerd worden. En dat is ook de methode die ik gebruik. Deze database, updatesite.nsf genaamd, had ik ook keurig netjes op de nieuwe servers geplaatst zodat mijn website blijft werken. Echter zijn de nieuwe servers van een hogere versie, v9.0.1 en is daarop de OpenSocial add-on geïnstalleerd die ook een aantal, inmiddels standaard, extention libraries bevat die ook in de updatesite database zitten. En dat werkt niet.
Het gevolg hier van was dat de web interface, voor het beheer van Traveler, niet meer werkt. En door de fout in de configuratie van de plugin, ook de webmail niet werkt en de meest vreemde foutmeldingen geeft.

Nadat ik geconstateerd had dat er een fout in de plugin configuratie zat ging het iets beter. Fout hersteld en de webmail werkt. Alleen Traveler ging nog mis als gevolg van de extention library. De updatesite database verwijderd van de server en vervolgens werkte Traveler. Helaas was dit niet de oplossing, want nu werkte de website waarisguus.nl niet meer. Deze miste essentiële java componenten.
Gelukkig is er ook een mogelijkheid om een updatesite database te maken met alleen de extention library van OpenNTF, de componenten die in de site gebruikt worden, zodat er geen confict ontstaat. Nadat dit gedaan was werkte ook de website weer.

Tot zo ver deel 2, je hebt nog wat van me tegoed:
Waarom de mobiele telefoon met beide Traveler servers sychroniseert en hoe hat afgelopen is met mijn NAS.




Herrezen

Guus Disselkoen  7 December 2015 22:02:04
Image:Herrezen

Deel 1: Uit de as herrezen.

Bij de loodgieter thuis lekt de kraan ook.

Begin dit jaar een niet zo prettig voorval. Van een van de 3 ESX servers die ik in gebruik heb zijn 2 harde schijven kapot gegaan.  De servers zijn 'afdankertjes' van het werk en al enkele jaren oud. Gelukkig had ik nog een 'spare' server waarvan ik de harde schijven kon gebruiken. Helaas wilde de RAID array niet opnieuw opbouwen en was ik dus een aantal virtuele machines kwijt. Helaas waren dat een aantal servers die vrij essentieel zijn binnen mijn infrastructuur:
  • 2 IBM Lotus Domino servers, geclusterd en verantwoordelijk voor de mail, websites en Traveler (mail synchronisatie met mobile devices).
  • Mail gateway, kort daarvoor nieuw gebouwd en slechts kort in gebruik. Alle inkomende en uitgaande mail ging via deze gateway en is tevens relay server voor alle systemen die mail versturen. En dat zijn er nogal wat.
  • Sametime Advanced server, inclusief meeting server en video conferencing.
  • Alfresco Community server, gelukkig nog niet in gebruik, maar wel gebruikt om te testen en te evalueren.
  • Nog wat losse dingen zoals Sugar CRM en een Helpdesk applicatie

En uiteraard, zoals het een goede IT-er betaamt, geen back-ups. Ik was wel bezig aan het uitzoeken hoe ik de servers het beste kon back-uppen en welke producten er geschikt zijn, maar verder was ik nog niet gekomen.
Eerlijk gezegd had ik op dat moment niet veel zin om alles weer opnieuw op te gaan bouwen en heb ik de boel de boel gelaten.

Tot overmaat van ramp kreeg kort daarna de 2e ESX server problemen, ook dit maal een harde schijf die problemen had. Op het ene moment zit je in een VM te werken en op het volgende moment kun je ineens niet meer bij de VM komen en is ook de ESX host onbereikbaar.
De ESX host herstart, maar helaas zonder resultaat.

Enkele weken geleden, zomaar uit nieuwsgierigheid, probeerde ik met de vSphere client de ESX hosts te benaderen en tot mijn stomme verbazing waren 2 van de 3 ESX hosts up-and-running. Van 1 wist ik het wel, daar was niets mee aan de hand, maar de andere... Dat was de 2e ESX host met problemen. Deze was op wonderbaarlijke wijze hersteld. Volgende stap was het opstarten van de VM's. Dat ging niet eens zo slecht, op de Domain Controller na, deze kwam uiteindelijk in een blue screen  terecht. Einde oefening dus. Wat ik nog wel over had was het volgende:
  • Windows Server die als secundaire DNS server gebruikt wordt en waarop ook een IBM Lotus Domino server draait.
  • Beide IBM HTTP Servers, worden als reverse proxy server gebruikt en het hosten van een aantal web based producten zoals Spotweb, OpenNMS, web statistieken en BTraced.
  • Oude mail gateway, ik was nog niet overtuigd of de nieuwe mail gateway vlekkeloos werkte.
  • IBM DB2 server
  • SVN server
  • Windows 7 PC

Met de overgebleven servers is het mogelijk om weer e.e.a. op te bouwen, websites in de lucht te krijgen en mail verkeer weer op gang te krijgen. Probleem bleef wel de Domain Controler.
Ik hem een hele mooie NAS, een Iomega StorCenter ix4-200d, die je ook aan een Active Directory kunt koppelen voor het toegang verlenen aan gebruikers. En dat was dan ook wat ik had gedaan. Maar door het wegvallen van de Domain Controller was ook een deel van de data op de NAS niet meer beschikbaar. Hoe dat goed gekomen is, lees je later.

De overgebleven Windows server is al een oud beestje, stond op de nominatie om uitgefaseerd te worden, maar was er nog niet van gekomen. Het is een Windows 2003 R2 64-bits server met daarop een IBM Lotus Domino Server v8.5.3. Ooit van een fysieke machine omgezet naar een virtuele server, maar qua performance nooit 100% geweest. Dat was ook de reden dat ik 2 nieuwe IBM Lotus Domino servers op Linux gebouwd heb om deze IBM Lotus Domino server te vervangen tesamen met de Domino server op de Domain Controler. Ook de Domain Cotroler was nog een Windows 2003 R2 server met daarop een Domino v8.5.3 server.
De reden dat deze servers nog niet vervangen waren was eigenlijk simpel. Ik zocht een alternatief voor de DNS servers, en nog niet de oplssing gevonden die ik zocht.

Nu een aantal servers weer in de lucht is liep ik tegen een volgend probleem aan. De overgebleven DNS server stopte er regelmatig mee om host namen te vertalen naar IP adressen. Vrij essentieel voor een DNS server. Een herstart van de Windows Service bracht voor enige tijd uitkomst, maar dat is niet echt een ideale situatie. Bovendien kon ik ook geen wijzigingen doorvoeren in de DNS omdat dit de secundaire DNS server is. Nu zal het ongetwijfeld mogelijk zijn de DNS server te promoten naar primaire DNS server, maar er lag nog steeds een plan de DNS servers te vervangen. Daar energie in steken leek me verstandiger dan in een server die eigenlijk toch weg moet.
Zo gezegd, zo gedaan.

Mijn voorkeur ging uit naar een DNS server op basis van Linux. Op internet zijn volop tutorials te vinden hoe je een Linux based DNS server op zet, en daar heb ik dan ook handig gebruik van gemaakt, en inmiddels draaien er 2 DNS servers. Een primaire en secundaire server.
Het voordeel van Linux is dat je een server kunt bouwen waarin alleen de meest essentiele onderdelen aanwezig zijn en de server daardoor nauwelijks resources gebruikt.

Image:Herrezen

Zoals je ziet kan het toegewezen geheugen nog terruggeschroefd worden. De disk is thin provisioned en zal dus niet veel groeien qua data.

Hoe het verder afgelopen is met de heropbouw lees je binnenkort in deel 2.



Track & Trace

Guus Disselkoen  25 November 2014 23:50:27
Image:Track & Trace
Wie kent het niet? Je besteld wat via een web winkel en vervolgens ontvang je een e-mail met een tracking code om je pakket te volgen, van verzending tot bezorging.

Wie mijn website, www.waarisguus.nl, kent, weet dat dit er een beetje op lijkt. Je kun precies zien waar ik ben en in welke richting ik beweeg. Het enige verschil is, je hebt me niet besteld.
Voor mijn Track & Trace maak ik gebruik van de Android App "Real Time GPS Tracker" van greenalp.com die je kunt vinden in de App store van Google.

De werking is vrij simpel, je installeerd de App en configureert een aantal instellingen en klaar. Wil je een kaartje waarop je actuele positie getoond wordt op je website, dan moet je dit aanvragen. Een minpuntje. Ook ben je verplicht een banner op je website te plaatsen. Helaas is ook de App niet geheel vrij van reclame, niet dat het hinderlijk is, maar ik houd er niet van.

Domotica

Nu ben ik de laatste tijd ook veel bezig met Domotica, het automatiseren van je huis. Van verlichting die automatisch aan gaat wanneer het donker wordt, tot het dimmen van verlichting wanneer ik een video of TV kijk. Ik gebruik hiervoor Domoticz, een open source product dat volledig gratis is.

Ook de thermostaat van de verwarming, de E-thermostaat van Essent, is gekoppeld aan Domoticz. De E-thermostaat is via een hub verbonden met het internet en via een website of App stel je de thermostaat in. Je kunt een dag programma instellen per dag of een hele week. Je kunt per dag bepalen wanneer de verwarming aan moet en wanneer deze uit moet. Daarnaast kun je via de website of de app 'handmatig'  ingrijpen. De thermostaat hoger zetten wanneer je onverwachts thuis bent, of juist lager zetten wanneer je onverwachts weg gaat of op vakantie gaat.

Met mijn niet geheel regelmatige werktijden zou het handig zijn dat de verwarming niet automatisch om zes uur aanspringt als ik toch pas om half acht thuis kom. Ook zou het handig zijn dat, wanneer ik mijn huis verlaat en de verwarming aan staat, deze automatisch naar een lagere temperatuur overschakelt en naar een hogere temperatuur als ik weer thuis kom.
Met Domoticz kan dat. Ik kan de temperatuur instelling van de thermostaat aanpassen via Domoticz, maar dan moet Domoticz wel weten waar ik ben. Ben ik thuis of niet thuis? Ben ik onderweg naar huis en bijna in de buurt? Zo ja, dan moet de verwarming aan.

Er is een manier om te bepalen waar ik ben en dat heet geofencing. Geofencing is plaatsbepaling op basis van bijvoorbeeld GPS, connectie met GSM masten of via WiFi.
Aangezien vrijwel iedere smartphone is voorzien van GPS heb je eigenlijk alleen een App nodig die de locatie gegevens verzamelt en ergens naar toe stuurt om deze te kunnen gebruiken voor verschillende doeleinden.
Ik weet de GPS coordinaten van mijn huis en wanneer ik weet waar ik zelf ben, omdat ik mijn smartphone op zak heb, dan kan ik bepalen of ik thuis ben of in de buurt van mijn huis ben, en aan de hand van deze gegevens bepalen of de verwarming aan of uit moet.

Btraced

Tijdens mijn zoektocht naar geofencing en Domoticz stuitte ik op de App Btraced.Een App die op gezette tijden de huidige GPS coordinaten verstuurd naar de site van Btraced of naar een eigen server. Met name de laatste optie maakt het interessant. Ik kan de gegevens naar mijn eigen server sturen, deze verwerken en gebruiken om Domoticz de opdracht te geven mijn verwarming aan of uit te zetten.

Hoe werkt het?

Btraced stuurt op de ingestelde intervallen een XML bericht naar mijn server met daarin tal van gegevens betreffende mijn positie. De GPS coordinaten, het tijdstip, de hoogte waarop ik mij bevind, de snelheid waarmee ik beweeg, etc. Maar deze informatie moet wel omgezte worden naar data waar wat mee gedaan kan worden. Op het forum van Btraced is voorbeeld code te vinden om een eigen server op te zetten die de XML berichten kan verwerken en de gegevens opslaat in een database. Maar dat is nog niet voldoende. Op basis van de onvangen gegevens moet bepaald worden of er iets gedaan moet worden met de verwarming. En ook daarvoor is weer een oplossing. Ik ben kennelijk niet de enige die dit wil en iemand is druk in de weer geweest om een script te maken dat op basis van de locatie gegevens een opdracht stuurt naar Domoticz. Domoticz beschikt over een zeer goede API en kan via http url's aangestuurd worden. Zo kun je een schakelaar aan of uit zetten via een url commando of andere apparaten aansturen mits het apparaat dit ondersteund. Sensoren kunnen alleen uitgelezen worden.

Maar de schatkamer van Btraced is nog lang niet leeg. Omdat alle "tracking points" ook opgeslagen worden in een database kun je deze gebruiken om een kaart te maken met behulp van Google Maps. En niet alleen een kaart met de huidige locatie, maar ook de afgelegde route(s). en een historisch overzicht.
Ook hier voor hoef ik niet alles zelf te bedenken en is dat al door iemand bedacht en is er een voorbeeld script te vinden.

En hier vallen de puzzelstukjes in elkaar. Op zoek naar een oplossing om de verwarming aan te sturen en een betere oplossing voor het kaartje op www.waarisguus.nl.

ToDo

De scripts die ik tot nu toe gevonden heb bevatten allemaal functionaliteit die ik wil gebruiken. Er is een script dat de XML verwerkt en opslaat in een MySQL database, een script dat ook de XML opslaat in een MySQL database maar ook de kaart genereerd met behulp van Google Maps, en een script dat gebruikt kan worden om apparaten via Domoticz aan te sturen.
Van al deze scripts wil ik een oplossing maken die doet wat ik voor ogen heb. de oplossing zal er als volgt uit gaan zien:
  • Verwerken data uit XML, ontvangen van de Btraced App, en bepalen of er een commando naar Domoticz gestuurd moet worden om de verwarming aan of uit te zetten
  • Genereren van een kaart m.b.v. Google Maps om te tonen op de website
Aangezien er nog heel wat uit te zoeken is, en te sleutelen aan de scripts, zodat deze doen wat ik graag wil, zal het nog wel even duren voordat dit ook zichtbaar is voor de bezoekers van de website.



Migratie HTTP server

Guus Disselkoen  24 September 2014 21:16:35
Image:Migratie HTTP server

Soms kan het toch zo simpel zijn....

Om mijn websites en web applicaties beschikbaar te stellen via internet maak ik gebruik van een (IBM) HTTP server en de WebSphere plugin. De reden waarom ik hiervoor gekozen heb is eigenlijk vrij simpel, een paar websites en applicaties draaien op WebSphere en een aantal op Lotus Domino. Aangezien de WebSphere plugin zowel WebSphere als Lotus Domino ondersteund is dit de meest logische keuze. Daarnaast heb ik nog een aantal sites die op een 'gewone' http server draaien. Ook deze kan ik via de IBM HTTP server ontsluiten door deze ook als reverse proxy te configureren. Hiervoor wordt de standaard methode van Apache gebruikt, het definieren van virtual hosts in de httpd.conf. Ik heb er vanuit oogpunt van beheer, het gaat om zo'n 30 verschillende url's met websites, voor gekozen per virtuele host een apart configuratie bestand te maken en deze in een directory te plaatsen. Deze directory wordt vervolgens included in de httpd.conf file.

De IBM HTTP server is gebaseerd op de Apache HTTP server en door IBM gemodificeerd om als frontend voor WebSphere en Lotus Domino gebruikt te kunnen worden. Veel van de standaard Apache functionalitijd is ook beschkbaar in de IBM HTTP server. Wat op de IBM HTTP server ontbreekt is het configureren van de http server als load balancer. Maar die taak is overgenomen door de WebSphere plugin.
De WebSphere pluging maakt geen gebruik van de standaard configuratie file van de http server, maar gebruikt een eigen configuratie bestand, de plugin-cfg.xml. In deze XML file worden  virtuele host geconfigureerd voor iedere webite die door de plugin verwerkt moet worden. Per virtuele host wordt een cluster gedefineerd met servers die het request afhandelen. Ook als er maar 1 server is die het request afhandeld, dan wordt er toch een cluster gedefinieerd. Verder wordt er in de configuratie opgenomen welke uri's bij de site horen. Ook het transport type, http of https, wordt in de plugin geconfigureerd. Op deze manier is het ook mogelijk SSL ofloading te doen op de http server.

Onlangs ben ik begonnen met het "migreren" van alle servers naar mijn, inmiddels niet meer zo nieuwe, internet aansluiting. deze heeft een hogere down en upload snelheid. Alle clients maakten al gebruik van deze internet verbinding, maar de servers nog niet. Aangezien ik een aantal websites heb draaien is een hogere upload snelheid wenselijk, aangezien dit de snelheid bepaald waarmee de site geopend wordt voor de bezoekers.

Tevens is dit een mooie gelegenheid om de bestaande HTTP server, een 32-bits server op CentOS 5.10, te vervangen door een 64-bits versie op CentOS 6.5. Bijkomend voordeel is dat ik website  voor website kan migreren naar de nieuwe internet verbinding en nieuwe HTTP server. Oftewel geen downtime voor de websites. Helaas ging deze vlieger niet helemaal op. In eerste instantie door een foutje van mijzelf. Na het aanpassen van het publieke IP adres in de DNS was ik 1 dingetje vergeten; het aanpassen van de configuratie in de firewall waardoor de requests niet aankwamen op de nieuwe http server, maar op de huidige. Angezien de huidige HTTP server nog steeds gebruik maakt van de andere internet verbinding ging dit niet goed. Gelukkig was dit probleem snel hersteld.

Het volgende probleem waar ik tegen aan liep waren de websites die gebruik maken van https en die op de Lotus Domino servers draaien. Websites die gebruik maken van SSL en op een andere http server draaien werketen zonder problemen, maar de Domino based websites gaven een status 500 melding terug. Gelukkig heeft de WebSphere plugin ook logging. Standaard toont deze alleen de errors, en die waren er niet, maar je kunt ook het loglevel aanpassen naar bijvoorbeeld “trace”. Je krijgt dan heel wat meer informatie te zien.

De logging liet onder andere het volgende zien:
[24/Sep/2014:19:09:37.39217] 00005a67 77fff700 - ERROR: ws_common: websphereHandleRequest: Failed to handle request
[24/Sep/2014:19:09:37.76691] 00005a83 7dd0b700 - ERROR: ws_common: websphereFindTransport: Nosecure transports available
[24/Sep/2014:19:09:37.76719] 00005a83 7dd0b700 - ERROR: ws_common: websphereWriteRequestReadResponse: Failed to find a transport
[24/Sep/2014:19:09:37.76735] 00005a83 7dd0b700 - ERROR: ESI: getResponse: failed to get response: rc = 4

Na een poosje Googlen kwam ik er achter wat er mis was. Er was in ieder geval niets mis mijn configuratie van de http server of de WebSphere plugin. Maar IBM heeft een wijziging doorgevoerd in de laatste versie van WebSphere, en de daarbij behorende WebSphere plugin, die ik ook gebruik. Het is in de laatste versie niet meer standaard ondersteund dat er gebruik gemaakt wordt van een niet secure http connectie. Oftewel, alles moet via https verlopen met de benodigde SSL certificaten. En dat wil ik juist niet. Alle servers draaien op een ESX omgeving en sommige servers ook nog op dezelfde ESX host. Op het interne netwerk en servers wil ik niet de overhead van SSL gebruiken, maar good old plain http.

Gelukkig is er een oplossing. Kennelijk heeft IBM ook bedacht dat niet iedereen gebruik wil maken van SSL voor de communicatie tussen HTTP server en (WebSphere) backend en is er een 'trucje'.
Door een custom property,  UseInsecure="true", op te nemen in de global config sectie kun je afdwingen dat de plugin overschakelt naar “nonsecure” transport als er geen https transport geconfigureerd is.
Na deze wijziging doorgevoerd te hebben werken de websites, die via https gaan, inmiddels ook weer.


Home Theater PC

Guus Disselkoen  2 February 2014 20:31:19
Image:Home Theater PC
Vaarwel Media Center PC, welkom Home Theater PC.

Er was eens... O, nee, zo beginnen sprookjes, en dit is geen sprookje.
Afgelopen week kreeg ik problemen met mijn Media Center PC. Op zich niet geheel onverwachts, de Media Center PC is al een aantal jaren oud en had af en toe al wat vreemde trekjes.

Toen ik de Media Ceneter PC kocht was daarop Windows Vista geïnstalleerd, dat was toen net uit. Onderdeel van Windows Vista was Windows Media Ceneter, en dat maakte, samen met de diverse aansluitmogelijkheden van de PC, dat het een waar Multi Media Systeem was. Zo was er naast 2 scart aansluitingen ook een coax aansluiting voor TV signaal om via Windows Media Center TV te kunnen kijken en TV programma's op te nemen. Kan me niet voorstellen dat je op die manier TV wilt kijken, maar opnemen is een ander verhaal. Daarnaast beschikte de Media Center PC ook over 2 digitale uitgangen voor audio, S/PDIF. Een optical en een coax uitgang. En dat kwam heel mooi uit. Sinds de aanschaf van de Media Center PC, en de JVC receiver, liep al het audio verkeer via de receiver. Aangezien ik gebruik maak van een schotel antennen fungeerde de TV als monitor en waren de satelliet ontvanger en de Media Center PC aangesloten op de receiver om de audio weer te geven. Inmiddels is de toenmalige TV vervangen door een TV met ingebouwde satelliet ontvanger en aangesloten op de receiver. En ondertussen is Windows Media center op Windows Viste vervangen door XBMC op Xubuntu.

Maar nu even terug naar daar waar het begon. Ik zat te kijken naar een gedownloade aflevering van een TV serie die telkens ineens stopte en niet meer verder wilde gaan. De enige remedie was het herstarten van het systeem. Dat dat niet echt het kijkplezier verhoogt mag duidelijk zijn. Ook het feit dat een reboot niet direct zorgt voor hernieuwd kijkplezier speelt mee. Sinds ik overgegaan ben op Xubuntu verschijnt er tijdens het starten en stoppen van het OS een vrij vage melding: "hub 1-0:1.0: unable to enumerate USB device on port 1". En deze melding wordt continu getoond. Na een paar herstart pogingen wil het systeem dan uiteindelijk goed opstarten en kan er ingelogd worden.
Aangezien het systeem draaide op Xubuntu 13.04, en versie 13.10 al enkele maanden beschikbaar is, leek het me verstandig eerst maar eens een upgrade uit te voeren en te kijken of de problemen daarmee verholpen zijn. Zo gezegd zo gedaan, vlak voor het naar bed gaan de upgrade gestart om de volgende dag het resultaat te bewonderen.

Helaas, de upgrade is halverwege gestopt en was met geen mogelijkheid weer op gang te krijgen. de enige oplossing was dan ook een reboot van het systeem. En dat was dan ook tevens het einde. Het systeem starte uiteindelijk op, maar het filesystem was 'read-only'. Helaas bleek dit niet 1-2-3 te fixen. Dan maar een herinstallatie uitvoeren van Xubuntu en wel gelijk naar versie 13.10 overstappen. Xubuntu gedownload, op DVD gebrand en gaan. Helaas, er verscheen een fout dat data niet gelezen kon worden, ook een nieuw gebrande DVD gaf hetzelfde resultaat. Aangezien het BIOS opstarten vanaf USB niet ondersteund had ik niet veel andere mogelijkheden. Gezien de problemen van de laatste tijd, de meldingen "hub 1-0:1.0: unable to enumerate USB device on port 1" continue over het scherm tijdens opstarten en afsluiten, hebben me doen besluiten een nieuw systeem aan te schaffen.

Omdat ik al enige tijd wat problemen ondervond hield ik er al rekening mee dat op een dag het systeem het stempel "overleden" mee zou krijgen. Ik was stilletjes al aan het kijken naar geschikte opvolgers. Mijn keuze ging in eerste instantie uit naar een zo'n klein en licht mogelijk systeem met alle opties in huis die aan mijn wensen voldoen. Ik heb een aantal jaren geleden een nettop PC van ASRock aangeschaft, die nu al jaren als vCenter Server fungeert. Het systeem is compact, stil en zuinig en produceert weinig warmte. Ideaal als media center PC. Bovendien ook erg voordelig in aanschaf. Helaas zijn deze PC's miet overal te koop. Via internet zjn ze bij diverse sites te koop, maar helaas voor mij lastig te bepalen welk systeem ik zou moeten nemen. Voor zo iets loop ik toch liever een winkel binnen om mijn wensen en eisen op de toonbank te leggen en om advies te vragen.

Nu de Media Center PC door mij als officieel dood verklaart is, moet er snel wat anders komen. Op internet gezocht naat HTPC, want zo heet een Media Center PC tegenwoordig, en door de bomen het bos kwijtgeraakt en geen idee wat ik zou moeten nemen. Wel kwam ik op Tweakers een interssante pagina tegen over HTPC's. De Desktop Best Buy Guide van november 2013.

Op zo'n moment is goede raad dichtbij: CD-ROM-LAND. Sinds enkele jaren min of meer mijn "huisleverancier" voor computer onderdelen. Prima winkel met een zeer groot assortiment, bekwame en behulpzame medewerkers en vooral niet te duur. Sterker nog, scherp geprijst. Als je een vraag hebt of advies wilt dan neemt het personeel de tijd om je te helpen, indien nodig wordt additionele informatie op internet opgezocht, of een collega om een second opinion gevraagd. Ook kunnen ze artikelen leveren die niet in het eigen assortiment zit.

Nu eens kijken of ze me ook met dit vraagstuk kunnen helpen. Ik heb 's avonds een mail gestuurd met de vraag voor advies bij het samenstellen van een HTPC. In de mail heb ik mijn wensen en eisen aangegeven, verteld war ik het systeem voor wil gaan gebruiken en welk OS ik wil gebruiken. Ook de link naar de Best Buy Guide van Tweakers heb ik meegestuurd als voorbeeld van wat ik ongeveer zoek. Tevens heb ik gevraagd om een prijsopgave te doen van een systeem dat aansluit bij mijn wensen en eisen.

De volgende dag kreeg ik al een antwoord van CD-ROM-LAND. Ze hebben het artikel op Tweakers gelezen en vonden dat dit systeem zeer goed aansuit bij mijn wensen en eisen en hebben een offerte gestuurd op basis van de configuratie die door Tweakers behandeld was. Omdat ik Xubuntu als OS wil gebruiken hebben ze de configuratie enigzins aangepast en een 60GB SSD in de offerte opgenomen i.p.v. de 120GB bij Tweakers.

Na het ontvangen van de offerte besloten om dit systeem aan te schaffen en vervolgens aan CD-ROM-LAND gevraagd of alle onderdelen op voorraad zijn en ik het 's avonda op kan halen. Dat was mogelijk met uitzondering van de PC kast, die was helaas niet voorradig, maar er was wel een goed alternatief. De kast is uiteindelijk de SilverStone ML03 geworden i.p.v. de ML04.

Systeem bouwen

Na het ophalen van de onderdelen aan de slag om het systeem in elkaar te zetten. Dankzij de duidelijke handleidingen, en informatie op internet, was dit niet ingewikkeld, het kost alleen wat tijd. En aangezien ik dit niet dagelijks doe, wat meer tijd dan ik eigenlijk verwachtte.

Toen het systeem eindelijk in elkaar gezet was kwam het spannendste moment, het systeem aanzetten en hopen dat het werkt. En het vie niet tegen, het systeem starte netjes op om vervolgens te wachte op een installatie medium. De reeds eerder gebrande DVD in de daarvoor bedoelde opening geschoven, en vervolgesn begon de setup van Xubuntu. Na ongeveer 20 minuten was de installatie afgerond en kon gestart worden met de volgende fase, de configuratie en het installeren van additionele software.

Geleerd van de upgrade van mijn PC eerst maar eens gekeken of Audio en Video goed werken, bovendien is dat essentieel voor een HTPC.

Audio problemen

Ook nu liep ik weer tegen problemen aan met de audio. Alleen waren deze nu van een andere aard. In de configuratie zag ik meerdere audio devices en output opties, maar helaas geen geluid via de HDMI uitgang. Het selecteren van de optical uitgang en de HTPC aansluiten via de optical uitgang op de receiver werkte wel.

En nu moet ik even een zijsprongetje maken zodat de rest van het verhaal duidelijk wordt. De HTPC heeft alleen een HDMI en optical uitgang voor 5.1 audio. Aangezien de receiver geen HDMI ingang heeft en slechts 1 optical ingang, die door de TV in beslg genomen is. Wil ik beeld en geluid naar de TV sturen. De TV heeft de mogelijkheid in te stellen waar de audio naar toe gaat, de ingebouwde speakers van de TV of een externe audio bron. Dat laatste heeft mijn  voorkeur. Wanneer het geluid niet via de TV naar de receiver gestuurd kan worden moet ik een andere receiver aanschaffen die wel beschikt over de benodigde ingangen. Een bijkomend voordeel is dat ik op de receiver niet steeds hoef te wissel van input bron wanneer ik switch tussen TV en HTPC.

Behalve het audio probleem was er ook een probleem met het beeld binnen XBMC. Het beeld vertoonde allerlei "flitsen" die over het beeld schoten, was niet stabiel en flikkerde enorm.
Het systeem heeft een onboard video kaart die ook gebruikt word. Voor de video kaart zijn 3 verschillende drivers beschikbaar, 1 die door Xubuntu meegeleverd wordt, en 2 proprietary drivers van AMD.
Default wordt de door Xubuntu geleverde driver gebruikt dus leek het me verstandig om te kiezen voor 1 van de proprietary drivers aangezien deze specifiek voor de aanwezige hardware zijn. Helaas accepteerde XBMC dat niet. XBMC wil directe toegang tot de hardware en dat staat de driver van AMD niet toe.

De oplossing

Op zo'n moment is Google your friend, en ben ik op zoek gegaan naar mogelijke oplossingen. Tijdens mijn speurtocht naar een oplossing voor het audio probleem, wel werken via de optical uitgang maar niet via de HDMI uitgang kwan ik wat informatie tegen op verschillende fora dat het te maken heeft met de video driver, deze schijnt ook invloed te hebben op de audio via HDMI.

Dan maar eens op de site van AMD kijken of er misschien een video driver is die wel geschikt is. Ik kwam een nieuwe versie van de video driver tegen, helaas was de installatie procedure nogal omslachtig en was het ook niet zeker of dit mijn problemen zou oplossen. Bij stom toeval kwam ik op de site een melding tegen over de combinatie XBMC en de AMD video drivers. Het probleem is bekend en er is een speciale versie van XBMC beschikbaar die wel werkt met de AMD video drivers. Ik heb toen de reeds geinstalleerde versie van XBMC verwijderd, de andere variant geinstalleerd en in de configuratie de AMD video driver geselecteerd. En geloof het of niet, audio via HDMI werkt en XBMC werkt flikkervrij.

Nu deze hobbel geslecht is kon ik doorgaan met het installeren en configureren van de overige componenten en producten die ik wil gebruiken.

Toetsenbord

CD-ROM-LAND had gekozen voor een toetsenbord van Rapoo. Een bijzonder klein toetsenbord met touchpad en niet duur. Helaas bevalt dit toetsenbord mij erg slecht. Het touchpad is erg onnauwkeurig, schiet regelmatig kris-kras over het scherm en is het lastig om op te pakken als het op tafel ligt, je raakt al snel iets aan dat je niet aan wil raken. Mijn keus is gevallen op de Logitech k400. Een compact toetsenbord met touchpad. Het toetsenboerd is iets groter dan de Rapoo, maar ligt beter in de hand en heeft bovendien een rand rondowm de toetsen zodat je het toetsenbord aan de rand vast kunt paken zonder direct 1 of meerdere toetsen in te drukken.

Bij toeval kwam ik vandaag bij de BCC terecht en lag het toetsenbord in het schap. Omdat ik niet weer dezelfde fout wilde maken een verkoper gevraagd of het toetsenbord uit de verpakking mocht zodat ik even kon kijken of het prettig in de hand ligt en bruikbaar is. Volgens de verkoper lag er ergens 1 los in de winkel, bracht me er heen, en vertelde me en passant dat er ook nog een limited edition was van de witte versie. deze wordt geleverd met een lederen cover waarbij de cover ook gebruikt kan worden als steun om het toetsenbord in een schuine positie te plaatsen en dat voor dezelfde prijs als alleen het toetsenbord. De keus was niet moeilijk, meer voor hetzelfde geld gaat er bij mij wel in.





PC upgrade

Guus Disselkoen  27 January 2014 23:38:10
Image:PC upgrade
Een tweede leven voor mijn oude PC

Toen mijn PC na een stroomstoring niet meer wilde opstarten door een fout in Windows Vista, ja dat heb ik in het verleden gebruikt, heeft de PC geruime tijd uit gestaan. Op een gegeven moment toch maar besloten een reanimatie poging uit te voeren. Helaas, alle installatie media van Windows Vista bleken niet geschikt om een repair uit te voeren. Aangezien ik al enige tijd met de gedachte speelde om er Linux op te ztten toen maar besloten om die gedachte om te zetten in een daad. Ik heb toen gekozen voor Ubuntu. Waarom? Ik weet het niet goed. Ik had ook voor Fedora kunnen kiezen, maar ik had al enkele Ubuntu machines draaien en er in het verleden ook mee gewerkt. Ik denk dat dat de doorslag gegeven heeft. Overigens had ik nog graag even de Windows Vista configuratie "tot leven willen wekken" om data er af te halen en veilig te stellen. Dit is uiteindelijk gelukt door de harddisk er uit te halen en in een USB casing te plaatsen en op die manier de data veilig te stellen.

Na de installatie van Ubuntu 12.10 was ik een tevreden gebruiker. Nog een upgrade uitgevoerd naar Ubuntu 13.4 en in de verwachting dat het systeem weer jaren mee zou kunnen. Helaas, de werkelijkheid blijkt anders te zijn. de laatste tijd kreeg ik steeds meer te maken met problemen gerelateerd aan het beschikbare geheugen. Het systeem was steeds vaker aan het swappen en liep ook van tijd tot tijd helemaal vast. Op zich niet verwonderlijk. De specs waren voor 6-7 jaar geleden misschien "state-of-the-art", maar anno 2014 niet meer. De hoeveelheid memmory die webbrowsers gebruiken loopt de spuigaten uit. Ook het afspelen van video bestanden met een steeds hogere resolutie eist zijn tol. Op zo'n moment kom je er achter dat 4GB intern geheugen toch echt te weinig is.

Ik heb nog een poging ondernomen het geheugen te upgraden naar 8GB, maar helaas, ondanks de specs van het moederbord die het in theorie ondersteunt, werkte het niet. Dan maar eens rondkijken op internet wat een leuk, knap en bij-de-tijd systeem doet. Een kant-en=klaar systeem is geen optie. Daar zit te veel op en aan dat ik toch niet nodig heb en wel voor betaal. ook zit daar een Windows licentie bij die ik niet ga gebruiken. Nee, het wordt weer zelf bouwen. Aangezien ik weinig kaas gegeten heb van kasten, voedingen, moederborden, processoren en overige componenten, wordt het naar de winkel gaan, mijn wensen en eisen op tafel leggen en laten adviseren. Totdat ik een mailing kreeg van CD-ROM-LAND, zo'n beetje mijn huisleverancier voor hardware, met een aantal actie bundels. Moederbord + CPU + geheugen voor aantrekkelijke prijzen.

Dat is de oplossing! De PC kast en voeding zijn nog prima, de DVD speler\brander, die weinig gebruikt wordt, kan ook nog prima mee. En met de 2 harddisks van 1TB is ook niets mis. Dus op zaterdag naar CD-ROM-LAND voor een voordeelbundel. Het is uiteindelijk een MSI Z87-G41 PC Mate moederbord met een Intel i5 (3.0 GHz) processor en 8GB intern geheugen geworden. On-board audio (7.1) en video. Daar moet ik de komende jaren weer mee vooruit kunnen.
Ook standaard aanwezig een RAID controler. Dat heeft me er toe gebracht een extra 2 TB disks aan te schaffen en deze in eerste instantie te gebruiken om de data van de PC veilig te stellen. De 2 1TB schijven gaan in RAID 1 configuratie gebruikt worden voor het OS en belangrijke data, de 2TB disk als extra data opslag voor minder belangrijke data.

De eerste actie was het veilig stellen van data op de 2TB disk. Gelukkig is dat met Linux vrij simpel. de configuratie van software wordt veelal in tekst files opgeslagen. een deel in de home directory van de user, in de /etc directory en nog een paar locaties. Voor de zekerheid complete directories met configuratie bestanden gekopieerd naar de 2TB disk. Beter "safe then sorry".

Afgelopen zaterdag was de grote dag. Het "ontmantelen" van de PC. Het verwijderen van de componenten die vervangen worden en vervolgens het installeren van de nieuwe hardware componenten. Gelukkig is er een goede beschrijving hoe dit moet gebeuren. De beschrijving had ik uit voorzorg maar alvast gedownload op mijn laptop, wel zo handig als je de PC afbreekt en daar de informatie staat. Overigens bleek de aan\uit knop op de voorkant een reset knop te zijn, maar daar kom je vanzelf achter als je de PC aan wilt zetten en er niets gebeurd. overigens kwan dat niet alleen door het, in eerste instantie, verkeerd aansluiten van de knop. Het kwam eigenlijk al door de voeding. deze bleek niet geschikt te zijn voor het nieuwe moederbord. Het oude moederbord had een 24-pins en 4-pins aansluiting voor de stroom. Het nieuwe moederbord een 24-pins en 8-pins aansluiting. de voeding beschikte echte over een 20-pins en 2 4-pins aansluitingen waarbij 1 4-pins aansluiting in combinaie met de 20-pins aansluiting gebruikt werd voor de 24-pins aansluiting. Ik kwam dus wat te kort. Helaas was er geen andere optie dan een nieuwe voeding aanschaffen. Gelukkig bleek deze niet zo duur te zijn. Overigens kwam ik met de oude voeding ook al een SATA aansluiting te kort en had ik sowieso een adapter kabel nodig. Met de nieuwe voeding was dat probleem ook gelijk opgelost.

Nadat alle onderdelen op zijn plek geschroefd zijn en aangesloten het moment om de PC aan te zetten en te beginnen aan de configuratie van de hardware. Als eerste het aanmaken van de RAID configuratie. Voor de zekerheid had ik de 2TB disk nog maar niet aangesloten, hier staat immers de backup data op en ik zie die liever niet verdwijnen omdat de setup alle disks wist.

De installatie van het OS, Ubuntu 13.10 64bits, verliep voorspoedig en stond er na ongeveer 20 minuten op. Na de installatie een stukje basis configuratie zoals netwerk, persoonlijke instellingen en de eerste software. Vervolgens het aansluiten van de 5.1 speakers en het configureren van de audio. En daar ging het mis. Allereerst was er in de documentatie niets te vinden over het aansluiten van een 5.1 speakerset op de aanwezige uitgangen. De audio configuratie tool van Ubuntu kent alleen 2 speakers, met test mogelijkheid, dat wel. Aangezien de audio chipset van Realtek is op zoek gegaan naar de drivers hier voor en ook gevonden. Alleen liet deze zich niet installeren. Gezocht naar een oplossing en gevonden, Alsa opnieuw installeren. Keurig nette stap-voor-stap documentatie gevonden en uitgevoerd. Met als resultaat: geen audio device meer in Ubuntu. Alle pogingen die ik daarna nog genomen heb om de audio kaart weer terug te krijgen in Ubuntu waren zonder succes. Uiteindelijk een herinstallatie van Ubuntu uitgevoerd om de audio weer terug te krijgen. uiteindelijk blijkt er een simpel tooltje te zijn om 5.1 audio te activeren en te configureren in Ubuntu: Alsamixer, via de commandline op te starten en vervolgens een simpele grafische interface om de audio settings te configureren. Je moet het maar weten.

De volgende uitdaging is het installeren van de Lotus Notes client. Om deze te kunnen installeren moeten er eerst een aantal libraries geïnstalleerd worden waar de Lotus Notes client van afhankelijk is. Aangezien de Lotus Notes client 32-bits is en het OS 64-bits vormt dit een extra uitdaging. Van de benodigde libraries moet de 32-bits variant geïnstalleerd worden en ook nog eens de juiste versie. En Lotus Notes wordt officieel niet ondersteund op Ubuntu 13.10.
Gelukkig is er de nodige documentatie te vinden over het installeren van Lotus Notes op een 64-bits versie van Ubuntu en zelfs wat informatie  voor Ubuntu 13.10. Op GitHub is zelfs een script te vinden dat het installatie package aanpast en een aantal dependicies verwijderd uit het installatie script. Ook is er website die een overzicht heeft van alle (32-bits) libraries de geïnstalleerd moeten worden voordat de installatie van Lotus Notes uitgevoerd kan worden.
Helaas bleek dit nog niet afdoende te zijn. Bij het starten van de installatie gaf deze aan dat er nog een dependency ontbrak. De betrende library is aanwezig op het systeem, maar kennelijk niet herkend door het installatie script of het is niet de juiste versie. Ik heb dit opgelost door handmatig een nieuw package te maken en de betreffende dependency uit de controle te verwijderen. Vervolgens kon de Notes client succesvol geïnstalleerd worden.
Ook bij het installeren van de embedded Sametime client liep ik tegen een dependency probleem op. ook hier bracht het handmatig aanpassen van het package de oplossing.

Na de nodige hobbels is het uiteindelijk dan toch gelukt om de Lotus Notes client, inclusief alle features, te installeren op een Ubuntu 64-bits installatie en is deze blog geschreven m.b.v. van deze installatie.

Inmiddels staat de meest essentiële software op de PC, maar nog lang niet alles. De komende tijd zal ik nog wel even bezig zijn met het installeren van software die ik, op dat moment, nodig heb. Alle backup data staat nog op de extra harddisk zodat het configuren van de software vrij simpel is. In de meeste gevallen het kopiëren van een bestand of directory naar de juiste locatie. In het uiterste geval het openen van een configuratie bestand en delen van de inhoud kopiëren en plakken in het nieuwe configuratie bestand.

De download fabriek

Guus Disselkoen  30 December 2012 23:38:34
Image:De download fabriek
Zo, ik heb mijn eigen TV zender.

In mijn vorige blog heb ik beschreven hoe ik een aantal producten geïnstalleerd heb om het downloaden van films, TV series en muziek vrijwel automatisch te laten verlopen. En ik moet zeggen, ik ben zeer content met de manier waarop het verloopt, maar…

Ja, er is een “maar” anders was er geen reden om deze blog te schrijven.
Ik heb, voor het gemak en omdat me het de meest logische keuze leek, alles geïnstalleerd op mijn Media Center PC. Deze PC is echter niet zo krachtig. Weliswaar heeft deze 2 CPU’s maar slechts 2GB aan intern geheugen en dat is volgens mij ook het maximale wat ondersteund wordt. Ook liep ik tegen het probleem aan van beschikbare disk space, met het downloaden van een seizoen van een serie plus nog wat films ging dat erg hard. Nu is disk space gelukkig niet het grootste probleem. Ik heb meerdere NAS-en en had zelfs al een extra disk aangemaakt van 1TB op een NAS en deze, via ISCSI, toegevoegd aan de PC.

Het installeren van alle producten op de Media Center PC was min of meer een experiment om te kijken of het inderdaad de mogelijkheden gaf om het downloaden makkelijker te maken. En dat is zo.
Nu het concept zich bewezen heeft wordt het tijd om na te gaan denken over een permanente oplossing die het kijken van TV series en films niet in de weg zit. Ik had een paar eisen waar aan voldaan moet worden:
  • De gedownloade bestanden moeten vanaf iedere PC of laptop te gebruiken zijn.
  • Het downloaden mag het bekijken van de films en TV series niet in de weg zitten
  • Voorkeur voor Linux i.p.v. Windows
De keuze was al snel gemaakt, het wordt een nieuwe linux server waarop de software geïnstalleerd wordt en de gedownloade bestanden worden op een disk op een NAS opgeslagen. Deze disk is vanaf iedere PC te benaderen en te gebruiken. Ik heb een NAS die ook gebruikt wordt voor de VMware omgeving waarop nog ruim 2TB beschikbaar is. Deze NAS beschikt over 2 netwerkkaarten met ieder een snelheid van 1GB\s en ondersteund ISCSI.

Het inrichten van een extra server is voor mij niet zo’n probleem. Zo’n beetje alle machines zijn gevirtualiseerd en op de ESX omgeving is nog capaciteit beschikbaar voor extra servers.
Mijn ESX omgeving bestaat uit 2 clusters, een 64bits en een 32 bits cluster. Aangezien de producten alleen beschikbaar zijn als 32 bits, en ik niet de noodzaak heb om een 64 bits OS te gebruiken, heb ik er voor gekozen een 32 bits server in te richten. Deze kan dan op ieder cluster gebruikt worden.
Nu de keuze gemaakt is, en de beslissing genomen, wordt het tijd om het plan ten uitvoer te gaan brengen. Ik ben zelf nogal fan van CentOS, een op Red Hat Enterprise Linux gebaseerde variant die gratis is en die gebruikt wordt voor al mijn Linux servers.

Na het installeren van het OS begonnen met het installeren van de software van de diverse producten en de benodigde additionele software die de diverse producten nodig hebben. Toen liep ik al snel tegen problemen aan. SABnzbd vereist een minimale versie van Python. En die versie had ik niet. Python upgraden koste heel veel moeite, Ik gebruikte CentOS 5.8 en die ondersteunt niet de vereiste versie van Python. Met wat kunst en vliegwerk is het gelukt de juiste versie van Python te installeren en kon ik verder. Maar niet voor lang. Al snel liep ik tegen het volgende probleem op. Spotweb heeft een aantal PERL onderdelen en libraries nodig om goed te kunnen werken. Ook hier liep ik weer tegen het probleem op van niet ondersteunde software op CentOS 5.8 en afhankelijkheden met andere geïnstalleerde software. Het eindigde toen ik YUM niet meer kon gebruiken om software te installeren en sommige applicaties niet meer werkten. Tijd om een nieuw plan te trekken.

Nu zou de meest voor de hand liggende keuze zijn geweest CentOS 6.x te installeren die de benodigde productenen versies van PERL en Python wel ondersteund. Maar in mijn zoektocht naar oplossing voor mijn problemen kwam ik er achter dat er heel wat meer informatie beschikbaar is voor Ubuntu dan voor CentOS. Zo zijn er zelfs complete handleidingen om SABnzbd, Spotweb, SickBeard en CouchPotato te installeren op Ubuntu server en desktop. Dat gaf de doorslag, en heb ik besloten een Ubuntu server op te zetten en daar alles op te installeren.

De installatie van Ubuntu server zal ik niet beschrijven, al moet ik zeggen dat dat niet geheel zonder slag of stoot ging, en ook de configuratie gaf nog wat problemen, maar uiteindelijk is het allemaal goed gekomen.

De installatie van de software is redelijk eenvoudig. De meeste producten zijn te download via Github of SourceForge. De procedure is simpel, je gaat naar de directory waar je de software wilt installeren en met een simpel wget command haal je de software binnen en daarna is het een kwestie van configureren. Een uitzondering hier op was SABnzbd. Deze is ook te installeren via de software tool van Ubuntu en die heb ik dan ook gebruikt. Alleen wordt er dan een oudere versie geïnstalleerd. Maar daar over later meer.

Na het installeren van de Ubuntu server kwam de volgende uitdaging: Het toevoegen van de disk op de NAS zodat deze gebruikt kan worden om de gedownloade bestanden op te slaan. Om de disk te kunnen gebruiken binnen Ubuntu moest ik eerst nog software installeren om ISCSI te kunnen gebruiken. Gelukkig is dit goed beschreven, ook welke stappen er uitgevoerd moeten worden. De disk was al snel beschikbaar en gebruiksklaar. Helaas is deze na een reboot niet meer beschikbaar en moet er eerst handmatig enkele acties uitgevoerd worden. Dat moet ik nog oplossen, maar voor nu werkt het. Ook moest er een mount aangemaakt worden naar de disk (op een andere NAS) waar alle mp3 bestanden staan. Deze wil ik blijven gebruiken omdat de MP3 server deze disk ook gebruikt. Niets handiger dan dat de bestanden direct op de juiste plek terecht komen en niet handmatig verplaatst hoeven te worden.

De volgorde van installeren van de diverse producten maakt niet zo veel uit, alleen tijdens het configureren is het van belang dat SABnzbd en Spotweb geïnstalleerd en geconfigureerd zijn en dat de download directories aangemaakt zijn. Deze heb je namelijk nodig tijdens het configureren van de verschillende producten.
Het werkt eigenlijk vrij simpel. SABnzbd wordt gebruikt voor het downloaden van de films, TV series en muziek. De nzb’s die daarvoor nodig zijn worden “aangeleverd” door SickBeard, CouchPotato, Headphones of Spotweb. Na het downloaden van de bestanden worden deze in de geconfigureerde folders opgeslagen waarna deze verder verwerkt worden door SickBeard, CouchPotato of Headphones. Dat verwerken kan zijn het renamen van bestanden en folders, het ophalen van ondertitels of het bijwerken van de status binnen het betreffende programma. In SickBeard wordt op die manier bijgehouden welke afleveringen van een serie al gedownload zijn.

Automatisch starten

Uiteraard is het wel zo handig dat na het starten van de Ubuntu server ook alle download programma’s automatisch gestart worden. Gelukkig wordt er met ieder programma een start en stop script meegeleverd voor Linux. Alleen nog een kwestie van de documentatie lezen en de uit te voeren stappen uitvoeren.

SABnzbd

Na de installatie van SABnzbd kwam ik er achter dat dit al een wat oudere versie betrof dus updaten maar. Nu is het updaten van SABnzbd vrij eenvoudig, ik heb dit ook al een keer uitgevoerd op de Media Center PC. Je download de laatste versie en vervangt die bestaande directory waarin het programma geïnstalleerd is met de nieuwe versie. Alleen ging dat in dit geval niet helemaal goed. SABnzbd draait en werkt zoals het moet werken, maar het start en stop script werkt niet meer, waardoor SABnzbd niet als service draait en ook niet op die manier gestart en gestopt kan worden. Op dit moment heb ik daar nog geen oplossing voor gevonden en tot die tijd zal het handmatig moeten gebeuren. Daar valt mee te leven.
Spotweb
De volgende uitdaging is Spotweb. Spotweb maakt gebruik van een http server en heeft, in tegenstelling tot de overige producten, geen eigen ingebouwde http server. Op zich wel prettig want daardoor heb je iets meer controle over de http root en poort die gebruikt moet worden.
Ik had Spotweb al geïnstalleerd op mijn bestaande http server. Dezelfde server die als front-end gebruikt wordt voor alle web sites en web based programma’s, dus dit zou geen probleem mogen zijn. Zou, want de versie van Apache op Ubuntu is afwijkend van de versie in de IBM http server die ik gebruik en die ik ken als m’n broekzak.

In de huidige versie van Apache is de configuratie behoorlijk anders dan in de versies die ik ken. Er is niet meer 1 httpd.conf bestand waarin alles geconfigureerd wordt, het is nu verdeeld over verschillende componeneten. Modules die gebruit worden moeten met een commando “enabled” worden en hetzelfde geldt voor virtuele hosts. Iedere virtuele host heeft zijn eigen configuratie bestand en moet via een commando geactiveerd worden. En dan is er nog de default web site.
Met wat test en experimenteer werk is het gelukt Spotweb werkend te krijgen en ook alle functionaliteit beschikbaar te krijgen.

In de installatie op de IBM http server werkte de integratie met SABnzbd niet en was er een probleem met het converteren van BMP bestanden. Dat laatste heb ik op kunnen lossen door de conversie uit de php code te verwijderen en dus over te slaan, dan maar geen plaatje. Het eerste probleem heb ik niet op kunnen lossen, maar via een work-around was er mee te leven. De problemen werden veroorzaakt door het ontbreken van PERL modules, die niet geïnstalleerd konden worden wegens afhankelijkheden met andere modules.

Newznab

Programma’s als SickBeard en CouchPotato hebben een Newznab provider nodig voor het vinden van nzb bestanden die vervolgens door SABnzbd gebruikt worden om een film of TV serie te downloaden. Er zijn een aantal gratis en betaalde Newznab providers beschikbaar. Nadeel van gratis providers is dat deze soms spontaan ophouden te bestaan en dan zit je zonder. Een alternatief is Spotweb configureren als Newznab provider. Een Newznab provider is niets anders dan een site met een API die gebruikt wordt door de diverse programma’s om te zoeken naar bestanden en een nzb te genereren met de benodigde informatie om de bestanden te kunnen downloaden.
Spotweb als Newznab provider heeft bovendien nog een voordeel. Spotweb maakt gebruik van de news server waarvoor je een account hebt en bevat de bestanden die je ook daadwerkelijk kunt downloaden. Maar aan de andere kant is dit ook weer beperkt door wat Spotweb ophaalt. Er is meer dan datgene dat Spotweb toont. Een alternatief is je eigen Newznab server opzetten.
In mijn geval beperk ik mij tot een aantal gratis Newznab providers zoals NZBx, NZBClub, NZBIndez en Spotweb.

Zo en dan is het klaar, de download fabriek staat en draait. Of toch niet?
Ja, het werkt allemaal, series selecteren om te downloaden, nzb wordt naar SABnzbd gestuurd, bestanden worden gedownload, gecontroleerd, indien nodig gerepareerd, uitgepakt en de status bijgewerkt. En als klap op de vuurpijl worden de ondertitels gedownload en in de juiste directory geplaatst. Helaas, het is traag, erg traag. Het downloaden gaat met een snelheid die weinig constant is en behaald ook vrijwel nooit de maximale snelheid.
Dat is een tegenvaller, ik had het zo leuk bedacht en was er eigenlijk van overtuigd dat ik de perfecte oplossing gevonden had. De vraag is nu, waarom is het downloaden nu zo traag? Een test met een download via de browser gaf aan dat het niets met de server te maken heeft. Via de browser wordt wel de maximale snelheid gehaald. En toen begon mij iets te dagen. De bestanden worden gedownload naar een externe disk die via het netwerk benaderd wordt, en het downloaden verloopt via dezelfde netwerk verbinding. Sterker nog, de data gaat meerdere keren over dezelfde verbinding. De server is virtueel, gebruikt een datastore op de NAS en slaat het op op een disk op dezelfde NAS in een andere datastore.

Tijd voor een experiment.

Ik heb de configuratie van SABnzb aangepast zodat de bestanden niet meer op de externe disk opgeslagen worden, maar lokaal. Vervolgens een aantal afleveringen van een serie gedownload om te zien of het nu inderdaad sneller gaat. En zoals ik verwachtte ging het downloaden een stuk sneller en had ik ook een constante download snelheid en maximale snelheid. Probleem opgelost!
Of toch niet?

De server die ik opgezet heb heeft slechts een beperkte disk grootte. Ik was er vanuit gegaan dat er alleen een OS en wat software op geïnstalleerd zou worden en wat extra ruimte voor te downloaden software. Ik had dan ook gekozen voor een disk van 20B, normaal gesproken meer dan genoeg voor een Linux server, In feite is 10GB al voldoende.
Nu is het gelukkig tegenwoordig niet meer zo’n probleem om de disk van een virtuele linux server te vergroten en de documentatie daarover was al snel gevonden. Maar je raad het al, het bleek toch niet zo eenvoudig, alsof Murphy meegeholpen heeft de boel op te zetten en in te richten.
De beschrijving ging uit van een “Thin provisioned disk”. Voor wie nite bekend is met VMware; er zijn 2 typen disks die je kunt gebruiken voor een virtuele machine. Thin en Thick provisioned. Thick wil zeggen dat je de grootte van de disk tijdens het aanmaken van de virtuele machine opgeeft en dat er dan ook een disk met die grootte aangemaakt wordt. Bij een Thin provisioned disk geef je de grootte op die de disk maximaal mag zijn en wordt een disk aangemaakt die “meegroeit”. Naarmate er behoefte is van meer schijfruimte wordt de disk vergroot tot de maximale grootte bereikt is. Overigens is het niet zo dat de disk kleiner wordt naarmate er minder dat op staat, maar dat terzijde.
Nu maak ik eigenlijk altijd een disk aan met de optie Thin, je raad het waarschijnlijk al, dit keer dus niet. Zal wel een blond moment gehad hebben. Nu heb ik (waarschijnlijk) meerdere opties. De meest simpele is onder VMware een nieuwe disk aanmaken en deze toevoegen aan de Linux server. Binnen Linux wordt deze dan onder een mountpoint beschikbaar en is voor het OS volledig transparant. Maar er zit ook een nadeel aan. Op de server is no zo’n 15 GB beschikbaar, genoeg voor het downloaden van een paar films of series, maar kan problemen geven wanneer een download niet compleet is. De bestanden kunnen niet verder verwerkt worden en moeten handmatig verwijderd worden en kan de disk vol lopen waardoor het niet meer mogelijk is nieuwe bestanden te downloaden. Niet wenselijk dus.

Wanneer ik een extra disk toevoeg en die ga gebruiken voor de gedownloade bestanden dan moet deze A: voldoende groot zijn en B: blijft er 15GB ongebruikt op de disk van de server. Bovendien weet ik niet of ik het probleem van de trage downloads opnieuw in het leven roep omdat het een separate disk op de NAS betreft.
Tijd voor een “Plan B”. Weer een nieuwe server opzetten had ik niet echt in gedachte, het zou een optie kunnen zijn, maar zag toch tegen het werk op. Een andere optie is de machine clonen, in de hoop dat ik dan wel aan kan geven wat voor type disk ik wil gebruiken. En warempel, die keuze heb ik! Ik kan een clone maken met een Thin provisioned disk waarna ik vervolgens de disk kan vergroten en het filesystem aan kan passen.

Nu alles geïnstalleerd en geconfigureerd is en werkt rest er nog 1 ding. Het aanpassen van de vrtuele hosts op de http server, deze verwijzen nog naar de Media Center PC en moeten verwijzen naar de nieuwe server. Kwestie van het configurate document aanpassen en een find\replace uitvoeren, mce01 wordt mdc en de poort nummers aanpassen van een enkel product. Als laatste actie de web site die ik gemaakt heb aanpassen en Spotweb toevogen zodat ook deze vanuit de website aangeroepen kan worden. De download fabriek is compleet!

Er is geen bal op de TV

Guus Disselkoen  9 December 2012 23:46:02
Image:Er is geen bal op de TV
Begin je eigen TV station

Al een paar jaar kijk ik nauwelijks nog naar TV series op de televisie. Ik geef er de voorkeur aan series die ik wil kijken, te downloaden van internet i.p.v. deze te bekijken wanneer ze door een omroep uitgezonden worden. Voordat de omroepen in HD kwaliteit uit gingen zenden o.a. vanwege de betere kwaliteit, maar vooral om een aantal andere praktische redenen.
Wanneer je een serie download van internet, en zoals ik het doe, per seizoen, ben je vrij om te kijken wanneer je maar wilt. Je bent niet afhankelijk van de dag en tijdstip waarop een omroep een serie uitzend. Tevens hebben, vooral de commerciële omroepen, er een handje van om halverwege het seizoen over te gaan op herhalingen van voorgaande seizoenen. Ook niet onbelangrijk is dat de afleveringen niet onderbroken worden door reclame.

In het verleden maakte ik vooral gebruik van programma’s als FTD en Spotnet on de afleveringen, of DVD’s met een compleet seizoen, te vinden en te downloaden met NewsLeacher. En daar gaat redelijk wat tijd in zitten.

Enkele weken geleden stuitte ik op het programma SpotGrit. Vergelijkbaar met Spotnet, maar toch net even beter. Maar het kan nog beter. Er is een programma waarmee het nog eenvoudiger kan om afleveringen van series te downloaden en zonder dat je er al te veel omkijken en werk aan hebt. Dit programma heet Sick Beard en werkt eigen lijk heel simpel. Je voegt TV series toe die je graag wilt zien en het programma download de bestanden zodra deze beschikbaar komen.

Nu vertel ik het iets simpeler dan dat het is, want voordat je Sick Beard kunt gebruiken moet je eerst nog wel het e.e.a. configureren. Met Sick Beard heb je 2 mogelijkheden de bestanden te downloaden: via torrents en een Bit Torrent client, of met een News Reader en nzb files. De beste methode is via nzb bestanden en een News Reader. Voor wie niet weet wat nzb  bestanden zijn, tekst en uitleg kun je vinden op Wikipedia.

Aan Sick Beard alleen heb je dus niets, je hebt daarnaast dus ook een Bit Tottent client of een News Reader nodig. Sick Beard “speurt” internet af naar de torrents of nzb files van de series die je opgegeven hebt en zodra deze gevonden zijn worden die gedownload en geplaats in een folder waar ze door de Bit Torrent client of News Reader opgepakt worden en vervolgens de bestanden gedownload worden.

Ik heb er voor gekozen om nzb files te gebruiken. Nu werkt Sick Beard nauw samen met de News Reader. Niet alleen worden de nzb bestanden geplaatst in een folder die door de News Reader “bewaakt” wordt, de News Reader geeft ook de download status door aan Sick Beard. Op het moment dat de nzb verwerkt is, en het downloaden van de bestanden begonnen is, wordt dit doorgegeven aan Sick Beard en de status aangepast. Ook wanneer het downloaden gereed is wordt dit doorgegeven aan Sick Beard en wordt de informatie in Sick Beard bijgewerkt.
Sick Beard werkt heel goed in combinatie met SABnzbd, een gratis News Reader. Nu wil het toeval dat SABnzbd ook geïntegreerd is in SpotGrit, dat ik al gebruik voor het handmatig downloaden van films en series. Om SABnzbd en Sick Beard goed samen te laten werken moet de configuratie van beide programma’s op elkaar afgestemd worden. In SABnzbd worden folders opgegeven waar de gedownloade bestanden opgeslagen worden. Deze folders worden door Sick Beard gebruikt om de bestanden verder te verwerken en op te slaan in een folder met bestanden, klaar om te kijken.

Nadat de bestanden gedownload zijn kan SABnzbd ook een e-mail sturen zodat je weet dat er nieuwe afleveringen zijn om te kijken, of dat een download mislukt is en de reden waaron deze mislukt is.

Sick Beard voert na het downloaden nog een aantal bewerkingen uit op de gedownloade bestanden. Zo plaats het de bestanden in een folder met de naam van de TV serie en kan het de bestandsnamen aanpassen om het een beetje begrijpelijk te houden. Ook verwijderd Sick Beard bestanden die met de download meegekomen zijn, maar niet gebruikt worden voor het afspelen van de afleveringen.

Nu is Sick Beard samen met SABnzbd een mooie combinatie om automatisch series te downloaden, maar we zijn er nog niet. Sick Beard is vooral gericht op Amerikaanse series en maakt gebruik van een TV database (TVDB) om de informatie over de betreffende TV serie te vinden, zoals uitzend informatie en welke aflevering wanneer wordt uitgezonden.
Wanneer een aflevering van een Amerikaans serie beschikbaar komt en gedownload is, dan missen we nog één ding: de ondertitels. Persoonlijk geef ik er de voorkeur aan om Engelstalige series te kijken met Nederlandse ondertitels. Ook daar is een oplossing voor. Er is een site waar vrijwel alle ondertitels van alle populaire TV series te vinden is, bierdopje.com. Aan de naam zou je het niet direct zeggen, maar toch is het zo. Maar ja, handmatig de juiste ondertitels vinden bij de gedownloade versie valt nog niet mee en is bovendien toch weer een hoop extra, handmatig, werk.

Ook hier is een oplossing voor, Auto-sub. Een programma dat op basis van de gedownloade afleveringen op bierdopje.com de bijbehorende ondertitels opzoekt en download. En als er nog geen ondertitels beschikbaar zijn, de opdracht in een queue plaatst en regelmatig controleert of de ondertitels al beschikbaar zijn.
Op deze manier krijg je al een beetje je eigen TV stations met “on-demand” uitzendingen.

Maar ik ben er nog niet. Ik kijk ook af en toe graag een film, en dat hoeft niet persé de meest recente film te zijn die net in de bioscoop draait. Soms hoor je van iemand over een goeie film die je beslist een keer moet zien. Het vinden van de film kan dan best een uitdaging zijn. Ook hiervoor is een oplossing die perfect aansluit bij de reeds aanwezige producten en daar mee samenwerkt. Dit programma heet Couch Potato. Het is enigszins vergelijkbaar met Sick Beard, maar dan voor films.
Couch Potato maakt gebruik van o.a. RSS feeds van internet film databases zoals IMDB en de website Movies.IO. Op Movies.IO kun je zoeken naar films en de films die je wilt bekijken toevoegen aan een watch list. Deze watch list wordt vervolgens gebruikt door Couch Potato om het nzb bestand te vinden en te downloaden. Daarnaast kun je vanuit Couch Potato ook rechtstreeks zoeken naar films en toevoegen aan de lijst met te downloaden films.

Ook Couch potato werkt met SABnzbd op een vergelijkbare manier als Sick Beard.
Wanneer je met nzb files werkt ben je afhankelijk van nzb search engines om de juiste nzb bestanden te vinden. Niet alle nzb web sites zijn geschikt om door SABnzbd, Sick Beard en Couch Potato gebruikt te kunnen worden. Een aantal gratis sites accepteren geen nieuwe gebruikers of ondersteunen de methode die gebruikt wordt niet. Er zijn een aantal betaal sites, maar daar maak ik liever geen gebruik van zolang er gratis alternatieven beschikbaar zijn.

Met deze verschillende programma’s, die nauw met elkaar samenwerken, heb je eigenlijk alles in huis om een plezierig avondje TV kijken tegemoet te gaan. Uiteraard kun je ook nog gebruik maken van diensten zoals Uitzending gemist, RTL gemist en SBS6 gemist voor Nederlandse producties en programma’s.

Nu zou je misschien denken dat ik wel klaar was, maar niets is minder waar. SABnzb, Sick Beard, Auto-sub en Couch Potato zijn web based applicaties. Er wordt een web server geïnstalleerd en de configuratie van de programma’s gebeurd via een web browser. Ook het opgeven van series en films om te downloaden gebeurd via de web browser. En dat biedt mogelijkheden. Allereerst hoef je niet persé op de PC waarop alles geïnstalleerd is je aanpassingen te doen en je te downloaden series en films toe te voegen. Je kunt het vanaf iedere PC doen. Bovendien kunnen de programma’s ook geïnstalleerd worden op een NAS, mits die dit ondersteund. En een NAS beschikt over het algemeen niet over een monitor, toetsenbord of muis.
Ik heb alles op mijn Media Center PC geïnstalleerd. Ik heb eigenlijk niet gekeken of het mogelijk is om het op één van mijn NAS-en te installeren.

Aangezien alle programma’s via een web interface te beheren zijn, er per applicatie een http server gebruikt wordt is het vrij simpel voor mij om deze ook vanaf internet te benaderen. Ik gebruik hiervoor een reverse proxy. Deze wordt nu al gebruikt om alles wat thuis web based is te benaderen, dus is het een kwestie van configureren om ook SABnzbd, Sick Beard, Couch Potato en Auto-sub toegankelijk te maken vanaf internet.

En om het echt helemaal af te maken heb ik er zelfs een web site voor gemaakt waarin alle programma’s geïntegreerd zijn. Vanuit één web site heb ik toegang tot alle afzonderlijke producten. De site heeft de toepasselijke naam “Media Download Center” gekregen. En nee, deze site is niet voor de hele wereld beschikbaar, maar alleen voor mijzelf, sorry.

Screenshots


Image:Er is geen bal op de TV

Image:Er is geen bal op de TV

Image:Er is geen bal op de TV

Image:Er is geen bal op de TV

Handleiding:

SABnzbd, Sick Beard en Coutch Potato handleiding

Translate

Feeds

Companies

    Atos Origin
    Achmea
    Inter Access
    ilionx
    transavia.com
    IBM

Google searches

Referrers