De download fabriek

Guus Disselkoen  30 December 2012 23:38:34

Zo, ik heb mijn eigen TV zender.

In mijn vorige blog heb ik beschreven hoe ik een aantal producten geïnstalleerd heb om het downloaden van films, TV series en muziek vrijwel automatisch te laten verlopen. En ik moet zeggen, ik ben zeer content met de manier waarop het verloopt, maar…

Ja, er is een “maar” anders was er geen reden om deze blog te schrijven.
Ik heb, voor het gemak en omdat me het de meest logische keuze leek, alles geïnstalleerd op mijn Media Center PC. Deze PC is echter niet zo krachtig. Weliswaar heeft deze 2 CPU’s maar slechts 2GB aan intern geheugen en dat is volgens mij ook het maximale wat ondersteund wordt. Ook liep ik tegen het probleem aan van beschikbare disk space, met het downloaden van een seizoen van een serie plus nog wat films ging dat erg hard. Nu is disk space gelukkig niet het grootste probleem. Ik heb meerdere NAS-en en had zelfs al een extra disk aangemaakt van 1TB op een NAS en deze, via ISCSI, toegevoegd aan de PC.

Het installeren van alle producten op de Media Center PC was min of meer een experiment om te kijken of het inderdaad de mogelijkheden gaf om het downloaden makkelijker te maken. En dat is zo.
Nu het concept zich bewezen heeft wordt het tijd om na te gaan denken over een permanente oplossing die het kijken van TV series en films niet in de weg zit. Ik had een paar eisen waar aan voldaan moet worden:

• De gedownloade bestanden moeten vanaf iedere PC of laptop te gebruiken zijn.
• Het downloaden mag het bekijken van de films en TV series niet in de weg zitten
• Voorkeur voor Linux i.p.v. Windows

De keuze was al snel gemaakt, het wordt een nieuwe linux server waarop de software geïnstalleerd wordt en de gedownloade bestanden worden op een disk op een NAS opgeslagen. Deze disk is vanaf iedere PC te benaderen en te gebruiken. Ik heb een NAS die ook gebruikt wordt voor de VMware omgeving waarop nog ruim 2TB beschikbaar is. Deze NAS beschikt over 2 netwerkkaarten met ieder een snelheid van 1GB\s en ondersteund ISCSI.

Het inrichten van een extra server is voor mij niet zo’n probleem. Zo’n beetje alle machines zijn gevirtualiseerd en op de ESX omgeving is nog capaciteit beschikbaar voor extra servers.
Mijn ESX omgeving bestaat uit 2 clusters, een 64bits en een 32 bits cluster. Aangezien de producten alleen beschikbaar zijn als 32 bits, en ik niet de noodzaak heb om een 64 bits OS te gebruiken, heb ik er voor gekozen een 32 bits server in te richten. Deze kan dan op ieder cluster gebruikt worden.
Nu de keuze gemaakt is, en de beslissing genomen, wordt het tijd om het plan ten uitvoer te gaan brengen. Ik ben zelf nogal fan van CentOS, een op Red Hat Enterprise Linux gebaseerde variant die gratis is en die gebruikt wordt voor al mijn Linux servers.

Na het installeren van het OS begonnen met het installeren van de software van de diverse producten en de benodigde additionele software die de diverse producten nodig hebben. Toen liep ik al snel tegen problemen aan. SABnzbd vereist een minimale versie van Python. En die versie had ik niet. Python upgraden koste heel veel moeite, Ik gebruikte CentOS 5.8 en die ondersteunt niet de vereiste versie van Python. Met wat kunst en vliegwerk is het gelukt de juiste versie van Python te installeren en kon ik verder. Maar niet voor lang. Al snel liep ik tegen het volgende probleem op. Spotweb heeft een aantal PERL onderdelen en libraries nodig om goed te kunnen werken. Ook hier liep ik weer tegen het probleem op van niet ondersteunde software op CentOS 5.8 en afhankelijkheden met andere geïnstalleerde software. Het eindigde toen ik YUM niet meer kon gebruiken om software te installeren en sommige applicaties niet meer werkten. Tijd om een nieuw plan te trekken.

Nu zou de meest voor de hand liggende keuze zijn geweest CentOS 6.x te installeren die de benodigde productenen versies van PERL en Python wel ondersteund. Maar in mijn zoektocht naar oplossing voor mijn problemen kwam ik er achter dat er heel wat meer informatie beschikbaar is voor Ubuntu dan voor CentOS. Zo zijn er zelfs complete handleidingen om SABnzbd, Spotweb, SickBeard en CouchPotato te installeren op Ubuntu server en desktop. Dat gaf de doorslag, en heb ik besloten een Ubuntu server op te zetten en daar alles op te installeren.

De installatie van Ubuntu server zal ik niet beschrijven, al moet ik zeggen dat dat niet geheel zonder slag of stoot ging, en ook de configuratie gaf nog wat problemen, maar uiteindelijk is het allemaal goed gekomen.

De installatie van de software is redelijk eenvoudig. De meeste producten zijn te download via Github of SourceForge. De procedure is simpel, je gaat naar de directory waar je de software wilt installeren en met een simpel wget command haal je de software binnen en daarna is het een kwestie van configureren. Een uitzondering hier op was SABnzbd. Deze is ook te installeren via de software tool van Ubuntu en die heb ik dan ook gebruikt. Alleen wordt er dan een oudere versie geïnstalleerd. Maar daar over later meer.

Na het installeren van de Ubuntu server kwam de volgende uitdaging: Het toevoegen van de disk op de NAS zodat deze gebruikt kan worden om de gedownloade bestanden op te slaan. Om de disk te kunnen gebruiken binnen Ubuntu moest ik eerst nog software installeren om ISCSI te kunnen gebruiken. Gelukkig is dit goed beschreven, ook welke stappen er uitgevoerd moeten worden. De disk was al snel beschikbaar en gebruiksklaar. Helaas is deze na een reboot niet meer beschikbaar en moet er eerst handmatig enkele acties uitgevoerd worden. Dat moet ik nog oplossen, maar voor nu werkt het. Ook moest er een mount aangemaakt worden naar de disk (op een andere NAS) waar alle mp3 bestanden staan. Deze wil ik blijven gebruiken omdat de MP3 server deze disk ook gebruikt. Niets handiger dan dat de bestanden direct op de juiste plek terecht komen en niet handmatig verplaatst hoeven te worden.

De volgorde van installeren van de diverse producten maakt niet zo veel uit, alleen tijdens het configureren is het van belang dat SABnzbd en Spotweb geïnstalleerd en geconfigureerd zijn en dat de download directories aangemaakt zijn. Deze heb je namelijk nodig tijdens het configureren van de verschillende producten.
Het werkt eigenlijk vrij simpel. SABnzbd wordt gebruikt voor het downloaden van de films, TV series en muziek. De nzb’s die daarvoor nodig zijn worden “aangeleverd” door SickBeard, CouchPotato, Headphones of Spotweb. Na het downloaden van de bestanden worden deze in de geconfigureerde folders opgeslagen waarna deze verder verwerkt worden door SickBeard, CouchPotato of Headphones. Dat verwerken kan zijn het renamen van bestanden en folders, het ophalen van ondertitels of het bijwerken van de status binnen het betreffende programma. In SickBeard wordt op die manier bijgehouden welke afleveringen van een serie al gedownload zijn.

Automatisch starten

Uiteraard is het wel zo handig dat na het starten van de Ubuntu server ook alle download programma’s automatisch gestart worden. Gelukkig wordt er met ieder programma een start en stop script meegeleverd voor Linux. Alleen nog een kwestie van de documentatie lezen en de uit te voeren stappen uitvoeren.

SABnzbd

Na de installatie van SABnzbd kwam ik er achter dat dit al een wat oudere versie betrof dus updaten maar. Nu is het updaten van SABnzbd vrij eenvoudig, ik heb dit ook al een keer uitgevoerd op de Media Center PC. Je download de laatste versie en vervangt die bestaande directory waarin het programma geïnstalleerd is met de nieuwe versie. Alleen ging dat in dit geval niet helemaal goed. SABnzbd draait en werkt zoals het moet werken, maar het start en stop script werkt niet meer, waardoor SABnzbd niet als service draait en ook niet op die manier gestart en gestopt kan worden. Op dit moment heb ik daar nog geen oplossing voor gevonden en tot die tijd zal het handmatig moeten gebeuren. Daar valt mee te leven.
Spotweb
De volgende uitdaging is Spotweb. Spotweb maakt gebruik van een http server en heeft, in tegenstelling tot de overige producten, geen eigen ingebouwde http server. Op zich wel prettig want daardoor heb je iets meer controle over de http root en poort die gebruikt moet worden.
Ik had Spotweb al geïnstalleerd op mijn bestaande http server. Dezelfde server die als front-end gebruikt wordt voor alle web sites en web based programma’s, dus dit zou geen probleem mogen zijn. Zou, want de versie van Apache op Ubuntu is afwijkend van de versie in de IBM http server die ik gebruik en die ik ken als m’n broekzak.

In de huidige versie van Apache is de configuratie behoorlijk anders dan in de versies die ik ken. Er is niet meer 1 httpd.conf bestand waarin alles geconfigureerd wordt, het is nu verdeeld over verschillende componeneten. Modules die gebruit worden moeten met een commando “enabled” worden en hetzelfde geldt voor virtuele hosts. Iedere virtuele host heeft zijn eigen configuratie bestand en moet via een commando geactiveerd worden. En dan is er nog de default web site.
Met wat test en experimenteer werk is het gelukt Spotweb werkend te krijgen en ook alle functionaliteit beschikbaar te krijgen.

In de installatie op de IBM http server werkte de integratie met SABnzbd niet en was er een probleem met het converteren van BMP bestanden. Dat laatste heb ik op kunnen lossen door de conversie uit de php code te verwijderen en dus over te slaan, dan maar geen plaatje. Het eerste probleem heb ik niet op kunnen lossen, maar via een work-around was er mee te leven. De problemen werden veroorzaakt door het ontbreken van PERL modules, die niet geïnstalleerd konden worden wegens afhankelijkheden met andere modules.

Newznab

Programma’s als SickBeard en CouchPotato hebben een Newznab provider nodig voor het vinden van nzb bestanden die vervolgens door SABnzbd gebruikt worden om een film of TV serie te downloaden. Er zijn een aantal gratis en betaalde Newznab providers beschikbaar. Nadeel van gratis providers is dat deze soms spontaan ophouden te bestaan en dan zit je zonder. Een alternatief is Spotweb configureren als Newznab provider. Een Newznab provider is niets anders dan een site met een API die gebruikt wordt door de diverse programma’s om te zoeken naar bestanden en een nzb te genereren met de benodigde informatie om de bestanden te kunnen downloaden.
Spotweb als Newznab provider heeft bovendien nog een voordeel. Spotweb maakt gebruik van de news server waarvoor je een account hebt en bevat de bestanden die je ook daadwerkelijk kunt downloaden. Maar aan de andere kant is dit ook weer beperkt door wat Spotweb ophaalt. Er is meer dan datgene dat Spotweb toont. Een alternatief is je eigen Newznab server opzetten.
In mijn geval beperk ik mij tot een aantal gratis Newznab providers zoals NZBx, NZBClub, NZBIndez en Spotweb.

Zo en dan is het klaar, de download fabriek staat en draait. Of toch niet?
Ja, het werkt allemaal, series selecteren om te downloaden, nzb wordt naar SABnzbd gestuurd, bestanden worden gedownload, gecontroleerd, indien nodig gerepareerd, uitgepakt en de status bijgewerkt. En als klap op de vuurpijl worden de ondertitels gedownload en in de juiste directory geplaatst. Helaas, het is traag, erg traag. Het downloaden gaat met een snelheid die weinig constant is en behaald ook vrijwel nooit de maximale snelheid.
Dat is een tegenvaller, ik had het zo leuk bedacht en was er eigenlijk van overtuigd dat ik de perfecte oplossing gevonden had. De vraag is nu, waarom is het downloaden nu zo traag? Een test met een download via de browser gaf aan dat het niets met de server te maken heeft. Via de browser wordt wel de maximale snelheid gehaald. En toen begon mij iets te dagen. De bestanden worden gedownload naar een externe disk die via het netwerk benaderd wordt, en het downloaden verloopt via dezelfde netwerk verbinding. Sterker nog, de data gaat meerdere keren over dezelfde verbinding. De server is virtueel, gebruikt een datastore op de NAS en slaat het op op een disk op dezelfde NAS in een andere datastore.

Tijd voor een experiment.

Ik heb de configuratie van SABnzb aangepast zodat de bestanden niet meer op de externe disk opgeslagen worden, maar lokaal. Vervolgens een aantal afleveringen van een serie gedownload om te zien of het nu inderdaad sneller gaat. En zoals ik verwachtte ging het downloaden een stuk sneller en had ik ook een constante download snelheid en maximale snelheid. Probleem opgelost!
Of toch niet?

De server die ik opgezet heb heeft slechts een beperkte disk grootte. Ik was er vanuit gegaan dat er alleen een OS en wat software op geïnstalleerd zou worden en wat extra ruimte voor te downloaden software. Ik had dan ook gekozen voor een disk van 20B, normaal gesproken meer dan genoeg voor een Linux server, In feite is 10GB al voldoende.
Nu is het gelukkig tegenwoordig niet meer zo’n probleem om de disk van een virtuele linux server te vergroten en de documentatie daarover was al snel gevonden. Maar je raad het al, het bleek toch niet zo eenvoudig, alsof Murphy meegeholpen heeft de boel op te zetten en in te richten.
De beschrijving ging uit van een “Thin provisioned disk”. Voor wie nite bekend is met VMware; er zijn 2 typen disks die je kunt gebruiken voor een virtuele machine. Thin en Thick provisioned. Thick wil zeggen dat je de grootte van de disk tijdens het aanmaken van de virtuele machine opgeeft en dat er dan ook een disk met die grootte aangemaakt wordt. Bij een Thin provisioned disk geef je de grootte op die de disk maximaal mag zijn en wordt een disk aangemaakt die “meegroeit”. Naarmate er behoefte is van meer schijfruimte wordt de disk vergroot tot de maximale grootte bereikt is. Overigens is het niet zo dat de disk kleiner wordt naarmate er minder dat op staat, maar dat terzijde.
Nu maak ik eigenlijk altijd een disk aan met de optie Thin, je raad het waarschijnlijk al, dit keer dus niet. Zal wel een blond moment gehad hebben. Nu heb ik (waarschijnlijk) meerdere opties. De meest simpele is onder VMware een nieuwe disk aanmaken en deze toevoegen aan de Linux server. Binnen Linux wordt deze dan onder een mountpoint beschikbaar en is voor het OS volledig transparant. Maar er zit ook een nadeel aan. Op de server is no zo’n 15 GB beschikbaar, genoeg voor het downloaden van een paar films of series, maar kan problemen geven wanneer een download niet compleet is. De bestanden kunnen niet verder verwerkt worden en moeten handmatig verwijderd worden en kan de disk vol lopen waardoor het niet meer mogelijk is nieuwe bestanden te downloaden. Niet wenselijk dus.

Wanneer ik een extra disk toevoeg en die ga gebruiken voor de gedownloade bestanden dan moet deze A: voldoende groot zijn en B: blijft er 15GB ongebruikt op de disk van de server. Bovendien weet ik niet of ik het probleem van de trage downloads opnieuw in het leven roep omdat het een separate disk op de NAS betreft.
Tijd voor een “Plan B”. Weer een nieuwe server opzetten had ik niet echt in gedachte, het zou een optie kunnen zijn, maar zag toch tegen het werk op. Een andere optie is de machine clonen, in de hoop dat ik dan wel aan kan geven wat voor type disk ik wil gebruiken. En warempel, die keuze heb ik! Ik kan een clone maken met een Thin provisioned disk waarna ik vervolgens de disk kan vergroten en het filesystem aan kan passen.

Nu alles geïnstalleerd en geconfigureerd is en werkt rest er nog 1 ding. Het aanpassen van de vrtuele hosts op de http server, deze verwijzen nog naar de Media Center PC en moeten verwijzen naar de nieuwe server. Kwestie van het configurate document aanpassen en een find\replace uitvoeren, mce01 wordt mdc en de poort nummers aanpassen van een enkel product. Als laatste actie de web site die ik gemaakt heb aanpassen en Spotweb toevogen zodat ook deze vanuit de website aangeroepen kan worden. De download fabriek is compleet!

Er is geen bal op de TV

Guus Disselkoen  9 December 2012 23:46:02

Begin je eigen TV station

Al een paar jaar kijk ik nauwelijks nog naar TV series op de televisie. Ik geef er de voorkeur aan series die ik wil kijken, te downloaden van internet i.p.v. deze te bekijken wanneer ze door een omroep uitgezonden worden. Voordat de omroepen in HD kwaliteit uit gingen zenden o.a. vanwege de betere kwaliteit, maar vooral om een aantal andere praktische redenen.
Wanneer je een serie download van internet, en zoals ik het doe, per seizoen, ben je vrij om te kijken wanneer je maar wilt. Je bent niet afhankelijk van de dag en tijdstip waarop een omroep een serie uitzend. Tevens hebben, vooral de commerciële omroepen, er een handje van om halverwege het seizoen over te gaan op herhalingen van voorgaande seizoenen. Ook niet onbelangrijk is dat de afleveringen niet onderbroken worden door reclame.

In het verleden maakte ik vooral gebruik van programma’s als FTD en Spotnet on de afleveringen, of DVD’s met een compleet seizoen, te vinden en te downloaden met NewsLeacher. En daar gaat redelijk wat tijd in zitten.

Enkele weken geleden stuitte ik op het programma SpotGrit. Vergelijkbaar met Spotnet, maar toch net even beter. Maar het kan nog beter. Er is een programma waarmee het nog eenvoudiger kan om afleveringen van series te downloaden en zonder dat je er al te veel omkijken en werk aan hebt. Dit programma heet Sick Beard en werkt eigen lijk heel simpel. Je voegt TV series toe die je graag wilt zien en het programma download de bestanden zodra deze beschikbaar komen.

Nu vertel ik het iets simpeler dan dat het is, want voordat je Sick Beard kunt gebruiken moet je eerst nog wel het e.e.a. configureren. Met Sick Beard heb je 2 mogelijkheden de bestanden te downloaden: via torrents en een Bit Torrent client, of met een News Reader en nzb files. De beste methode is via nzb bestanden en een News Reader. Voor wie niet weet wat nzb  bestanden zijn, tekst en uitleg kun je vinden op Wikipedia.

Aan Sick Beard alleen heb je dus niets, je hebt daarnaast dus ook een Bit Tottent client of een News Reader nodig. Sick Beard “speurt” internet af naar de torrents of nzb files van de series die je opgegeven hebt en zodra deze gevonden zijn worden die gedownload en geplaats in een folder waar ze door de Bit Torrent client of News Reader opgepakt worden en vervolgens de bestanden gedownload worden.

Ik heb er voor gekozen om nzb files te gebruiken. Nu werkt Sick Beard nauw samen met de News Reader. Niet alleen worden de nzb bestanden geplaatst in een folder die door de News Reader “bewaakt” wordt, de News Reader geeft ook de download status door aan Sick Beard. Op het moment dat de nzb verwerkt is, en het downloaden van de bestanden begonnen is, wordt dit doorgegeven aan Sick Beard en de status aangepast. Ook wanneer het downloaden gereed is wordt dit doorgegeven aan Sick Beard en wordt de informatie in Sick Beard bijgewerkt.
Sick Beard werkt heel goed in combinatie met SABnzbd, een gratis News Reader. Nu wil het toeval dat SABnzbd ook geïntegreerd is in SpotGrit, dat ik al gebruik voor het handmatig downloaden van films en series. Om SABnzbd en Sick Beard goed samen te laten werken moet de configuratie van beide programma’s op elkaar afgestemd worden. In SABnzbd worden folders opgegeven waar de gedownloade bestanden opgeslagen worden. Deze folders worden door Sick Beard gebruikt om de bestanden verder te verwerken en op te slaan in een folder met bestanden, klaar om te kijken.

Nadat de bestanden gedownload zijn kan SABnzbd ook een e-mail sturen zodat je weet dat er nieuwe afleveringen zijn om te kijken, of dat een download mislukt is en de reden waaron deze mislukt is.

Sick Beard voert na het downloaden nog een aantal bewerkingen uit op de gedownloade bestanden. Zo plaats het de bestanden in een folder met de naam van de TV serie en kan het de bestandsnamen aanpassen om het een beetje begrijpelijk te houden. Ook verwijderd Sick Beard bestanden die met de download meegekomen zijn, maar niet gebruikt worden voor het afspelen van de afleveringen.

Nu is Sick Beard samen met SABnzbd een mooie combinatie om automatisch series te downloaden, maar we zijn er nog niet. Sick Beard is vooral gericht op Amerikaanse series en maakt gebruik van een TV database (TVDB) om de informatie over de betreffende TV serie te vinden, zoals uitzend informatie en welke aflevering wanneer wordt uitgezonden.
Wanneer een aflevering van een Amerikaans serie beschikbaar komt en gedownload is, dan missen we nog één ding: de ondertitels. Persoonlijk geef ik er de voorkeur aan om Engelstalige series te kijken met Nederlandse ondertitels. Ook daar is een oplossing voor. Er is een site waar vrijwel alle ondertitels van alle populaire TV series te vinden is, bierdopje.com. Aan de naam zou je het niet direct zeggen, maar toch is het zo. Maar ja, handmatig de juiste ondertitels vinden bij de gedownloade versie valt nog niet mee en is bovendien toch weer een hoop extra, handmatig, werk.

Ook hier is een oplossing voor, Auto-sub. Een programma dat op basis van de gedownloade afleveringen op bierdopje.com de bijbehorende ondertitels opzoekt en download. En als er nog geen ondertitels beschikbaar zijn, de opdracht in een queue plaatst en regelmatig controleert of de ondertitels al beschikbaar zijn.
Op deze manier krijg je al een beetje je eigen TV stations met “on-demand” uitzendingen.

Maar ik ben er nog niet. Ik kijk ook af en toe graag een film, en dat hoeft niet persé de meest recente film te zijn die net in de bioscoop draait. Soms hoor je van iemand over een goeie film die je beslist een keer moet zien. Het vinden van de film kan dan best een uitdaging zijn. Ook hiervoor is een oplossing die perfect aansluit bij de reeds aanwezige producten en daar mee samenwerkt. Dit programma heet Couch Potato. Het is enigszins vergelijkbaar met Sick Beard, maar dan voor films.
Couch Potato maakt gebruik van o.a. RSS feeds van internet film databases zoals IMDB en de website Movies.IO. Op Movies.IO kun je zoeken naar films en de films die je wilt bekijken toevoegen aan een watch list. Deze watch list wordt vervolgens gebruikt door Couch Potato om het nzb bestand te vinden en te downloaden. Daarnaast kun je vanuit Couch Potato ook rechtstreeks zoeken naar films en toevoegen aan de lijst met te downloaden films.

Ook Couch potato werkt met SABnzbd op een vergelijkbare manier als Sick Beard.
Wanneer je met nzb files werkt ben je afhankelijk van nzb search engines om de juiste nzb bestanden te vinden. Niet alle nzb web sites zijn geschikt om door SABnzbd, Sick Beard en Couch Potato gebruikt te kunnen worden. Een aantal gratis sites accepteren geen nieuwe gebruikers of ondersteunen de methode die gebruikt wordt niet. Er zijn een aantal betaal sites, maar daar maak ik liever geen gebruik van zolang er gratis alternatieven beschikbaar zijn.

Met deze verschillende programma’s, die nauw met elkaar samenwerken, heb je eigenlijk alles in huis om een plezierig avondje TV kijken tegemoet te gaan. Uiteraard kun je ook nog gebruik maken van diensten zoals Uitzending gemist, RTL gemist en SBS6 gemist voor Nederlandse producties en programma’s.

Nu zou je misschien denken dat ik wel klaar was, maar niets is minder waar. SABnzb, Sick Beard, Auto-sub en Couch Potato zijn web based applicaties. Er wordt een web server geïnstalleerd en de configuratie van de programma’s gebeurd via een web browser. Ook het opgeven van series en films om te downloaden gebeurd via de web browser. En dat biedt mogelijkheden. Allereerst hoef je niet persé op de PC waarop alles geïnstalleerd is je aanpassingen te doen en je te downloaden series en films toe te voegen. Je kunt het vanaf iedere PC doen. Bovendien kunnen de programma’s ook geïnstalleerd worden op een NAS, mits die dit ondersteund. En een NAS beschikt over het algemeen niet over een monitor, toetsenbord of muis.
Ik heb alles op mijn Media Center PC geïnstalleerd. Ik heb eigenlijk niet gekeken of het mogelijk is om het op één van mijn NAS-en te installeren.

Aangezien alle programma’s via een web interface te beheren zijn, er per applicatie een http server gebruikt wordt is het vrij simpel voor mij om deze ook vanaf internet te benaderen. Ik gebruik hiervoor een reverse proxy. Deze wordt nu al gebruikt om alles wat thuis web based is te benaderen, dus is het een kwestie van configureren om ook SABnzbd, Sick Beard, Couch Potato en Auto-sub toegankelijk te maken vanaf internet.

En om het echt helemaal af te maken heb ik er zelfs een web site voor gemaakt waarin alle programma’s geïntegreerd zijn. Vanuit één web site heb ik toegang tot alle afzonderlijke producten. De site heeft de toepasselijke naam “Media Download Center” gekregen. En nee, deze site is niet voor de hele wereld beschikbaar, maar alleen voor mijzelf, sorry.

Screenshots

Handleiding:
SABnzbd, Sick Beard en Coutch Potato handleiding

Twitter voor system notificaties

Guus Disselkoen  28 August 2012 18:23:32

Social media als beheer tool.

Soms kom je op de meest vreemde ideeën. De ene keer blijkt het een stompzinnig idee te zijn, de andere keer simpelweg niet uitvoerbaar en soms is het zelfs geniaal. In welke categorie het volgende idee valt weet ik nog niet, misschien wel in de categorie zinloos.

Ik heb thuis een aantal servers draaien waaronder een aantal Linux servers. Standaard functionaliteit van een Linux server is het versturen van notificatie e-mails en informatieve mail zoals de logwatch. Sinds ik een e-mail scanner (gateway) gebruik die op Linux draait, MailScanner met MailWatch om exact te zijn, maak ik gebruik van deze notificaties en alerts. De e-mails worden doorgestuurd naar een Lotus Notes account en komen daar in een mail file terecht. Onlangs heb ik ook op de overige Linux servers de e-mail functionaliteit zo geconfigureerd dat alle notificaties en alert e-mail via de mail gateway naar het Lotus Notes account gestuurd worden. Alleen heb je dan een bak met e-mail waar je regelmatig door heen moet gaan om te weten te komen of alles naar behoren werkt. En dat is juist iets wat snel vergeten wordt. Misschien niet bij een bedrijfsomgeving waar dagelijks beheer uitgevoerd wordt. Bij mij thuis is dat niet het geval, daar regeert toch vooral het 'piep systeem'.

Nu kan ik natuurlijk alle systeem e-mail naar mijn eigen mail adres laten sturen, maar daar zit ik ook niet echt op te wachten. Veel e-mails zijn alleen maar informatief, anderen juist niet. Bovendien wil ik proberen mijn eigen mail file enigszins schoon te houden en niet vol te laten lopen met tientallen "warning" e-mails wanneer er op één of meerdere servers iets fout gaat. Wel wil ik het weten.

Nu kun je uiteraard ook een rule maken die e-mail, die aan bepaalde criteria voldoet, vanuit de vergaarbak doorstuurt naar je eigen mail adres. Maar ook dat vind ik niet handig, hoe vang je alles af en zorg je ervoor dat alleen datgene dat je wilt hebben ook daadwerkelijk doorgestuurd wordt?

En toen kreeg ik een idee: Twitter!
Ik heb vrijwel altijd een Twitter client open staan, zowel thuis als op het werk, en daarnaast een Twitter client op m'n mobiele telefoon.Niet dat ik er continu naar kijk, maar wel zeer regelmatig.

Het klinkt een beetje raar misschien, social media inzetten om servers thuis te beheren, maar ik vond het zo gek nog niet. Alles wat ik nodig heb is voorhanden, ik hoef er niets zelf voor te bouwen, en het is bovendien nog gratis ook!

Wat heb je er voor nodig?

• Twitter account
• Hootsuite account
• Mail database en mail-in database document (Lotus Notes/Domino)

Hoe werkt het?

Allereerst heb ik op de Domino server een mail file aangemaakt en een mail-in document zodat er mail gestuurd kan worden naar de betreffende mail file. In de ACL van de mail file is Anonymous opgenomen met read acces. Waarom dit nodig is lees je later. Vervolgens heb ik in de mail file, waarnaar de e-mails van de Linux servers gestuurd worden, een rule aangemaakt die vrijwel alle berichten doorstuurt naar de mail-in database.

Vervolgens heb ik een Twitter account aangemaakt en aangegeven dat de tweets private zijn zodat niet iedereen deze kan volgen.
Om de e-mail berichten als tweet op Twitter te laten verschijnen gebruik ik Hootsuite. In Hootsuite kun je RSS en Atom feeds toevoegen aan je profiel. De berichten dia op deze manier opgehaald worden komen als tweet in de timeline van je twitter account.

De RSS feed voor de berichten wordt opgehaald via iNotes, de web interface van de Notes mail file, en dat is ook de reden dat Anonymous lees rechten moet hebben op de mail file.

Tot slot heb ik mij, met mijn eigen Twitter account, aangemeld als volger van het nieuw aangemaakte Twitter account en het verzoek goedgekeurd.

Het resultaat? Tweets in mijn Twitter timeline afkomstig van de notificatie e-mails met het subject en een short url naar het betreffende bericht. Op basis van het onderwerp kan ik bepalen of het betreffende bericht belangrijk genoeg is om te lezen en eventueel actie te ondernemen.

Gek of geniaal?

Uiteraard is de oplossing niet perfect. De gebruikte e-mail database staat open en is, via internet, in principe voor iedereen toegankelijk via een web browser. Ik wil nog kijken of ik via de reverse proxy server de toegang kan beperken door er bijvoorbeeld een aparte host voor te definiëren  en alleen de Hootsuite servers toegang te geven tot de url.

Ongetwijfeld zijn er andere en wellicht betere manieren te bedenken om hetzelfde te bereiken. Mij ging het er om op een simpele manier, met middelen die gratis voorhanden zijn, via social media iets op te zetten dat praktisch en bruikbaar is.Ongetwijfeld ga ik hier nog verder aan werken en bedenken hoe ik het kan optimaliseren en uit kan breiden. Misschien een Facebook pagina?

Aan de mail-in database, waarin de berichten terechtkomen, is ook een internet e-mail adres gekoppeld, en is het mogelijk om ook andere berichten via Twitter te plaatsen en terug te zien in je eigen timeline. Ook bied het de mogelijkheid anderen toegang te geven tot de tweets. Een simpel request om het Twitter account te volgen, en dat goed te keuren, geeft anderen toegang tot de notificaties.

Of deze oplossing ook te realiseren is met andere e-mail systemen weet ik niet, maar met Lotus Notes/Domino zijn de mogelijkheden vrijwel onuitputtelijk. Ik kan mij geen praktischer of veelzijdiger systeem voorstellen.

Tessa Verbeek SEO specialist

Guus Disselkoen  18 August 2012 22:21:49

Is dit een SEO expert?

vandaag ontving ik een email van Tessa Verbeek, SEO expert bij SEO Dutch. Voor degene die niet weet waar SEO voor staat (en ik kan het je niet kwalijk nemen), SEO staat voor Search Engine Optimization, oftewel je web site optimaliseren om gevonden te worden door search engines zoals Google en Bing. En ja, dat is tegenwoordig een vak apart. Ranking voor een web site in search engines is big business. Zeker als het gaat om commerciële web sites.

Nu zijn mijn web sites en blog niet commercieel, ben ik niet op zoek naar zoveel mogelijk bezoekers, maar vooral voor liefhebbers en belangstellenden. Bovendien draaien de web sites en blog op mijn eigen servers en kan ik een zeer groot aantal bezoekers niet aan.

Maar nu even terug naar de kern van het verhaal. Ik ontving vandaag de volgende email:

Hoi,

Mijn naam is Tessa Verbeek en ik zou u graag willen vertellen hoe uw blog.waarisguus.nl
zelfs een nog betere ranking kan krijgen in Google.

Ik ben een SEO expert werkende bij SEO Dutch en terwijl ik onderzoek deed voor enkele
collega's heb ik uw e-mail adres gevonden en besloten direct contact met u op te nemen.

Als u geïnteresseerd bent zal ik erg verheugd zijn om u aanvullende informatie
te versturen en alle nodige details om het in werk te stellen.

Alvast bedankt,

Tessa
seodutch.org

Nu ben ik nogal wantrouwig wanneer ik email ontvang van personen en/of bedrijven die ik niet ken en ga dan ook op onderzoek uit als ik het niet vertrouw. In dit geval kwam ik er al heel snel achter dat dit geen echt bericht was. Dankzij de blog van DenBolle.nl kwam ik er al snel achter dat dit bericht fake is en eigenlijk thuis hoort in de categorie spam. Geïnspireerd op het bericht op DenBolle.nl heb ik besloten de dame in kwestie op gepaste wijze in het zonlicht te zetten door er een artikel op deze blog aan te wijden.

Hieronder vind je dan ook het antwoord dat ik verstuurd heb naar Tessa Verbeek, SEO expert bij SEO Dutch..

Beste Tessa,

Met enige verbazing heb ik kennis genomen van je "aanbieding".
Allereerst: mijn blog, blog.waarisguus.nl, is vooral een hobby project en zeker niet bedoeld om zoveel mogelijk bezoekers te trekken. Uiteraard ben ik blij met ieder bezoek en de aandacht die er aan geschonken wordt. Maar het is toch vooral bedoeld voor een groep die interesse heeft in wat ik doe en waar ik me mee bezig houd. Dit geldt ook voor de andere sites die ik heb, en jij misschien nog niet ontdekt hebt.

Maar wat mij vooral opvalt is de manier waarop je contact zoekt. Laten we beginnen met de aanhef. De aard van het mailtje suggereert dat je zaken wilt doen met mij. Ik verwacht dan niet om aangesproken te worden met "Hoi". Voor zo ver ik mij kan herinneren hebben we niet samen op school gezeten of samen gekinkkert. Ook de rest van de tekst blinkt niet uit in goed Nederlands.

Vervolgens bied je je diensten aan als SEO expert. Mij vallen de volgende zaken op:

• De link in je bericht naar je LinkedIn profiel werkt niet, een misser, en wekt niet veel vertrouwen.
• In de ondertekening staat de naam van het bedrijf vermeld waarvoor je werkzaam bent, maar niet een link naar de web site. Bewust?
• Ook mis ik in de ondertekening zaken zoals e-mail adres, telefoon nummer, KVK nummer en de adres gegevens van het bedrijf, niet erg professioneel en geeft weinig vertrouwen, Sterker nog, het schreeuwt "Geen zaken doen met mij".
• Je deed onderzoek voor collega's en vond mijn e-mail adres. Ben je een handeltje voor jezelf begonnen, gebruikmakend van je 'reputatie' bij SEO Dutch?
• Je zegt SEO expert te zijn werkend voor SEO Dutch. Als ik zoek op SEO in Google dan verwacht ik tenminste dat SEO Dutch in de top 10 van zoekresultaten te vinden. Helaas is dat niet het geval. Ik betwijfel of jullie überhaupt iets begrijpen van SEO.
• Als jullie zo goed zijn, dan hoef je internet niet af te struinen naar blogs die optimalisatie kunnen gebruiken, deze klanten komen vanzelf naar jullie toe omdat jullie zo goed zijn. Oh nee... jullie zijn niet te vinden op internet.

Als je even iets verder gezocht had en uitgezocht zou hebben naar wie je je e-mail verstuurd dan zou je er achtergekomen zijn dat ik werkzaam ben in de ICT en een achtergrond heb op het gebied van web sites, Google, web analytics and social media. Verder heb ik een stevige, innige relatie met Google en worden mijn web sites meerder keren bezocht door de Google search bots, gemiddeld 1x per uur. Een nieuwe blog posting is binnen 30 minuten beschikbaar in de index van Google.

Maar nu even terug naar de kern van het verhaal. Wanneer ik een e-mail ontvang van iemand die ik niet ken, die werkt voor een bedrijf waar ik nog nooit van gehoord heb, en een zakelijk voorstel wil doen, dan wordt ik argwanend en ga ik op onderzoek uit. Ook in dit geval heb ik dat gedaan. En dan ontdek ik, dankzij Google, al heel snel wat er aan de hand is. SEO Dutch is fake en de mail die verstuurd wordt is gewoon spam. Ja, het ongevraagd versturen van e-mail en naar meerdere personen is spam. Ik heb dit dan ook gemeld aan de OPTA.

Wie mijn aandacht trekt kan er meestal ook op rekenen dat je mijn aandacht krijgt. Of je daar blij moet zijn is een ander verhaal. Jij hebt in ieder geval zoveel aandacht getrokken dat ik besloten heb er een blog aan te wijden. De blog kun je vinden op http://blog.waarisguus.nl/Apps/Blog.nsf/dx/tessa-verbeek-seo-specialist.htm en de e-mail conversatie is daar integraal te lezen.

Mocht je nog steeds mijn aandacht willen trekken dan stel ik voor dat je bij me aanbelt gekleed in een sexy lingerie setje en dat we vervolgens samen alle deeplinks en backlinks gaan ontdekken. Kan niet wachten op het resultaat.

En nu maar wachten op een reactie van Tessa Verbeek

Do you like spam?

Guus Disselkoen  16 April 2012 21:31:48

Nee, deze blog gaat niet over ingeblikt vlees.

Deze blog gaat over spam dat als e-mail verstuurd wordt, niet dat dit de enige vorm van spam is, ook op internet fora komt het voor. Dit is wat Wikipedia er over zegt:

Spam is een verzamelnaam voor ongewenste berichten. Spam is ook bekend als Unsolicited Commercial E-mail en Unsolicited Bulk E-mail. Meestal wordt met de term ongewenste e-mail bedoeld, maar ook ongewenste reclameboodschappen op websites (o.a. fora) vallen onder spam. Spam is moeilijk te definiëren. Niet ieder initiatief van mensen of organisaties om contact te leggen is spam. Spam onderscheidt zich van andere vormen van commerciële communicatie doordat een bericht wordt gestuurd aan een groep die zeer veel groter is dan de potentiële doelgroep. Omdat deze afbakening te maken heeft met de proporties, zou je verwachten dat het moeilijk is om te bepalen of een bericht spam is of niet. Vanwege de enorme schaal waarop spammers opereren is het in de meeste gevallen echter zeer duidelijk.

Wie gebruik maakt van zakelijke e-mail of een (gratis) e-mail dienst zoals Google zal waarschijnlijk weinig last van spam hebben. Maar wie, zoals ik en vele anderen, gebruik maken van een eigen e-mail server moet zich wapenen tegen spam en allerlei andere niet gewenste e-mail berichten. We gooien het gemakkelijk op één hoop, maar eigenlijk zijn er verschillende vormen van spam. Het gaat niet alleen om e-mails die ons proberen te interesseren voor de aanschaf van viagra of andere 'lucratieve' aanbiedingen, het gaat ook om e-mails die ons verleiden om login gegevens te verstrekken of proberen ons een virus of Trojan te laten installeren.

Helaas wordt het internet steeds meer vervuild door lieden die geen eerlijke bedoelingen hebben en proberen om op slinkse wijze ons te benadelen. Soms door iets te verkopen en na betaling niets te leveren, maar ook door ons via e-mail iets te verkopen of informatie te ontfutselen. En daar moet je je tegen wapenen.

Dat er nog steeds mensen zijn die zo naïef zijn te geloven dat hun bank ze vraagt om login gegevens valt niet uit te bannen. Domme mensen zijn er altijd geweest en zullen er altijd blijven. Maar verder kan het geen kwaad je te wapenen tegen onheil van buitenaf en met name het onheil dat via e-mail onze PC bereikt.

Lange tijd heb ik alleen gebruik gemaakt van blacklists. Blacklists zijn lijsten van IP adressen die er om bekend staan spam te versturen, of andere vormen van evil content. Er zijn een aantal accurate en gerespecteerde bronnen waar je kunt verifiëren of het verstandig mail te accepteren van een bepaalde afzender. Op zich werkt dit aardig, er is een aanzienlijke lijst van mail servers die er om bekend staan spam te versturen, maar dat is slechts een topje van de ijsberg. Spammers die gebruik maken van bot-net's blijven grotendeels buiten schot. En voordat een IP adres opgenomen is in een blacklist is het leed al geschied en zijn er vanaf het betreffende IP adres al honderdduizenden e-mails verstuurd.
Een tweede, vrij simpele, controle is controleren of de verzendende server een legitieme mail server is. E-mail servers op internet hebben een MX record in de DNS severs zodat ze als e-mail server geregistreerd zijn. Door een controle uit te voeren of de verzendende mail server een geregistreerde mail server is kun je al veel ongewenste e-mail buiten de deur houden. En met behulp van virus scanners op de mail servers kunnen inkomende berichten gecontroleerd worden op schadelijke inhoud en eventuele virussen en trojans uit het bericht verwijderd worden.

Dit kun je nog aardig in de hand houden als je slechts één mail server hebt, maar zodra de mail omgeving wat complexer wordt, er meerdere e-mail domeinen in het spel zijn en er ook nog controle op uitgaande mail moet plaatsvinden dan wordt het wat complexer en ben je al snel toe aan andere oplossingen.

E-mail gateway

Steeds meer bedrijven, maar ook hobbyisten zoals ik, maken gebruik van een e-mail gateway. Zo'n e-mail gateway is een doorgeefluik tussen internet en de interne mail servers. Al het inkomende en uitgaande e-mail verkeer verloopt via deze gateway en op deze manier is er maar 1 plaats waar controle op het mail verkeer uitgevoerd hoeft te worden.  Op de gateway worden alle controles uitgevoerd om spam en virussen te weren en alleen de "schone" e-mail wordt doorgestuurd naar de interne mail servers. Op deze manier worden e-mail servers ontlast van allerlei bijkomende taken en alleen e-mail afhandelen. Maar e-mail gateways worden ook gebruikt voor uitgaande mail. Tegenwoordig zijn er applicaties en systemen die e-mail versturen en het is meestal niet wenselijk dat deze e-mails direct naar het internet gaan. Een op hol geslagen applicatie kan er voor zorgen dat er dusdanig veel e-mail verstuurd wordt dat een bedrijf op een blacklist terecht komt en aangemerkt wordt als spammer. En dat is niet iets wat je wilt. Door gebruik te maken van een e-mail gateway kun je dit voorkomen en alleen gecontroleerd e-mail versturen.

Lotus Protector

Zelf heb ik een tijd lang gebruik gemaakt van Lotus Protector als e-mail gateway. Lotus Protector is een IBM product en als IBM adept kon ik het uiteraard niet laten om eens nader naar het product te kijken en het zelf te gebruiken. Helaas is Lotus Protector niet een product dat ik als certified professional onbeperkt mag gebruiken voor niet commerciële doeleinden. Ik heb dan ook gebruik gemaakt van een trial licens voor 3 maanden. En na het aflopen van de trial license worden er geen updates meer opgehaald. Tijd voor een andere oplossing.

MailScanner

Gelukkig zijn er ook open source oplossingen om een zeer efficiënte e-mail gateway op te zetten zonder licentie kosten. Eén van de meest gebruikte producten hiervoor is MailScanner. MailScanner is een Linux product dat gebruik maakt van een standaard Linux e-mail server zoals Sendmail, Postfix of Exim. Alle e-mail in de inbound queue's wordt gescanned en gecontroleerd op spam en eventuele virussen en trojans. Op basis van de scans wordt e-mail niet doorgestuurd naar de mail server of eerst ontdaan van schadelijke content. MailScanner gebruikt hiet onder andere SpamAssassin voor. SpamAssassin is een open source project van de Apache foundation en staat alom bekend als één van de beste oplossingen in het weren van spam. Daarnaast kan MailScanner gebruik maken van geïnstalleerde anti virus software. Tevens is het mogelijk additionele producten te installeren om spam te weren, zoals grey-lists en recipient verification.

Mijn configuratie

In mijn netwerk heb ik een virtuele machine ingericht als e-mail gateway. het is een Linux server met CentOs 5.8, Sendmail 8.13.8, MailScanner 4.48.5 en MailWatch 1.1.5.1. MailWatch is een web interface om MailScanner te monitoren en e-mail berichten te analyseren. MailScanner en MailWatch maken gebuik van een MySQL database om de informatie op te slaan. Verder maak ik nog gebruik van ClamAV als anti-virus oplossing, Maxmind GeoIP voor het vertalen van IP adressen in country codes en Milter-greylisting om niet bekende spammers het leven zuur te maken.

In een configuratie als e-mail gateway fungeert de Sendmail server niet als e-mail server waar de mail afgeleverd wordt en vervolgens door e-mail clients opgehaald wordt, maar als relay server. E-mail wordt geaccepteerd en door MailScanner gecontroleerd en vervolgens doorgestuurd naar de interne mail servers. Ja, in mijn geval mail servers. Er is een geclusterde mailserver in mijn netwerk zodat bij uitval van een mail server het e-mail verkeer gewoon doorgaat.
In Sendmail is geconfigureerd voor welke domeinen mail doorgestuurd mag worden en voor welke domeinen mail ontvangen mag worden. Dit heeft ook betrekking op interne mail zoals systeem berichten vanaf interne servers die niet naar internet gaan maar op de mail servers afgeleverd moeten worden. Omgekeerd geldt dit ook. In de Sendmail configuratie is vastgelegd welke e-mail naat internet verstuurd mag worden en welke mail intern afgeleverd moet worden. Tenslotte is op de mail servers geconfigureerd welke servers mail mogen versturen via de e-mail gateway.

SPF

De Milter greylist optie is een additionele manier om potentiële spammers te weren. Wanneer van de verzendende partij niet vastgesteld kan worden of het een legitieme verzender is, dan wordt in eerste instantie de e-mail geweigerd en gevraagd de e-mail op een later tijdstip nogmaals aan te bieden. Legitieme mail servers zullen dit doen, spammers meestal niet. De Milter graylist maakt o.a. gebruik van de SPF standaard. SPF staat voor Sender Policy Framework. en wordt gebruikt om aan te geven welke mail server(s) mail mogen versturen voor een domein. Ontvangende mail servers kunnen op deze manier controleren of een mail server mail mag versturen namens een mail domein. De Milter greylist maakt hier gebruik van, als de versturende server een valide SPF record heeft, dan wordt de mail direct geaccepteerd en hoeft deze niet een tweede keer aangeboden te worden.

Al deze maatregelen zijn nog geen garantie dat ik nooit meer spam, virussen, trojans of phising mails ontvang, maar de kans hierop is wel vele malen kleiner geworden.

Werk in uitvoering

Guus Disselkoen  6 February 2012 00:06:48

Bij de loodgieter thuis lekt de kraan ook.

Het heeft even, een zeer lange tijd zelfs, geduurd voordat de "kapotte" onderdelen op www.waarisguus.nl gerepareerd waren, maar dit weekend is het dan zo ver. De "gerepareerde" site staat online.
De site is ooit gebouwd met standaard Lotus Notes/Domino techniek en later herbouwd in XPages, een nieuwe techniek die in Lotus Notes/Domino 8.5 beschikbaar is gekomen. Niet dat het noodzakelijk was de site om te bouwen, maar het was een mooie gelegenheid om kennis en ervaring met XPages op te doen. En bovendien biedt XPages een aantal mogelijkheden die in standaard Lotus Notes/Domino applicaties niet mogelijk zijn.Eén van de mogelijkheden is het werken met 'custom controls', herbruikbare componenten die eenmaal gemaakt op meerdere pagina's. En custom controls kun je ook aanbieden aan anderen via OpenNTF. OpenNTF is een open source community voor Lotus Notes ontwikkelaars. Op OpenNTF is ook een RSS feed reader custom control beschikbaar. Deze custom control heb ik gebruikt op mijn site. Ik heb zelfs nog een aantal aanpassingen doorgevoerd die later ook in een nieuwe versie op OpenNTF beschikbaar gesteld is.

Na de upgrade van de Domino server naar versie 8.2 werkte de RSS reader custom control niet meer. De gebruikte java libraries werden niet meer door de server ondersteund. Als gevolg hiervan waren er 2 pagina's die niet meer werkten en een foutmelding gaven. Nu is mijn Java kennis niet zo denderend dat ik het even kon fixen, er zijn voldoende alternatieven voorhanden, maar in combinatie met Domino zag ik zo 1-2-3 geen mogelijkheid dit te fixen. Ik heb nog gezocht naar alternatieven maar niets bruikbaars kunnen vinden. Ik heb nog wel gebruik gemaakt van een custom control die via Google Reader de RSS feed toont, maar dat was niet echt de oplossing die ik zocht.

Mede door een presentatie afgelopen donderdag van een collega is het vuur voor XPages weer aangewakkerd en heb ik me voorgenomen er tijd voor vrij te maken. Inmiddels zijn er complete extention libraries beschikbaar met tal van controls voor o.a. social networks, REST en nog een aantal 'hot' topics op internet.
Uit nieuwsgierigheid ook even gekeken of er al een RSS reader control beschikbaar is die wel ondersteund wordt door de huidige versie van Domino. En ja, er was een nieuwe versie beschikbaar. Eén die gebaseerd is op een iets andere technologie en daardoor ook nog meer mogelijkheden heeft.

Ik heb de custom controls gedownload en geïnstalleerd, wat nog wel even wat moeite gekost heeft, en ben er mee aan de slag gegaan. Na wat testen en experimenteren was ik zover dat ik de controls kon gaan implementeren op de site. Na een aantal uren knutselen had ik weer de RSS feeds werkend op de site maar moest er nog wel e.e.a. gebeuren aan de layout van de pagina en de opmaak van de diverse onderdelen. En dat is best een tijdrovend klusje. style classes zijn gedefinieerd in meerdere style sheets en het aanpassen en bekijken kost tijd, veel tijd.

Ook was er nog een probleempje met de Sametime integratie. Een Sametime server wordt gebruikt voor de chat functionaliteit op de site. Na het virtualiseren van de infrastructuur is er een nieuwe Sametime server geïnstalleerd die bovendien niet meer aan een native Domino directory gekoppeld is, maar aan een (Domino) LDAP directory, waardoor de manier van inloggen veranderd is. Op zich een relatief kleine aanpassing, maar wel één die op diverse plekken doorgevoerd moet worden. Aangezien ik toch bezig was met het repareren van onderdelen was het een mooie gelegenheid om ook dit maar gelijk te fixen.

Vanavond is de site 'live' gegaan met de nieuwe componenten. Ik ben redelijk tevreden, maar af is het nog niet. Met name de layout van de getoonde RSS feeds zijn nog niet zoals ze moeten zijn. De gebruikte componenten maken gebruik van paragraph tags (

) en daar ben ik niet zo blij mee. Ik ben dan ook van plan de custom controls aan te gaan passen en wellicht uit te breiden met additionele opties.

Toekomst

Verder wil ik de site nog uitbreiden met integratie van social networks. De extention librarie bevat diverse componenten hiervoor. Momenteel zit er al (beperkte) integratie met social networks in de site, zoals een Facebook Like en een Google+ button, maar dat is op een vrij primitieve manier gerealiseerd. Nu er veel meer mogelijk is wordt het tijd om dat ook maar eens op de schop te gooien. Ik ben van plan de komende maanden hier tijd in te gaan steken, maar beloven doe ik niets.
 

Beter goed gejat dan ...

Guus Disselkoen  7 January 2012 17:35:33

En ja, we maken er ons allemaal wel eens schuldig aan.

Ik zal voor de verandering eens met het slot van het verhaal beginnen:
Ik heb de inhoud van iemands blog gewijzigd zonder te hacken of andere onrechtmatige handelingen te verrichten.

Hoe het begon

Enkele maanden geleden ben ik begonnen mijn eigen infrastructuur eens flink op de schop te nemen. Vrijwel alle servers zijn nu gevirtualiseerd en er is een dedicated HTTP server gekomen als centrale ingang voor (bijna) alle web gerelateerde zaken. Door middel van virtuele hosts en een reverse proxy wordt het verkeer intern naar de juiste (web) server gestuurd. Ook zijn een aantal web servers geclusterd en dat verhoogt de beschikbaarheid.

Doordat het verkeer binnenkomt op één webserver en van daaruit doorgestuurd wordt naar de interne web servers heb ik niets meer aan de bezoek statistiekenop besis van de logs van de interne web servers. Al het verkeer is afkomstig van de HTTP server en daardoor is niet meer te herleiden waar het verkeer vandaan komt of waar het naar toe gaat.
Niet dat dit essentieel is, maar het geeft mij een beeld over welke informatie door bezoekers het meest geraadpleegd wordt en of iemand via een zoekopdracht of andere website bij mij uitgekomen is. En het geeft een beetje een beeld wat er met de informatie gebeurd. De HTTP server is zo geconfigureerd dat er per virtuele host aparte log files zijn. Met AWStats wordt de informatie uit de log files omgezet naar statistieken over het bezoek van de afzonderlijke websites.

Op deze manier ben ik er achter gekomen dat iemand op haar blog gebruik maakt van een foto die op mijn blog gepubliceerd wordt. Nu denk ik dat iedereen die 'iets' op het web doet, of wel eens een PowerPoint presentatie maakt, op zoek is naar een bijpassend plaatje. Hetzelfde geldt voor mij. Het plaatje bij deze blog heb ik niet zelf getekend, maar gevonden met behulp van Google. En dat zullen vele mensen doen en het zal daarom niet voor niets zijn dat Google de mogelijkheid heeft om alleen naar afbeeldingen te zoeken.

Mag je de gevonden afbeeldingen zonder meer gebruiken op je eigen website, blog of presentatie?
Nee, tenzij het gaat om afbeeldingen waar geen auteursrecht op zit. Maar het is vrijwel ondoenlijk te achterhalen of er auteursrecht op een afbeelding zit en zo ja, wie de rechthebbende is. Bovendien stamt de auteurswet ook nog eens uit de tijd dat we met ganzenveer en perkament in de weer waren.
Sommige afbeeldingen kom je  op zo veel plaatsen tegen dat je bijna kunt verwachten dat ze zonder meer gebruikt mogen worden, voor anderen is het weer overduidelijk dat het niet mag. Zelf maak ik op mijn blog gebruik van vrijelijk te gebruiken afbeeldingen, maar heel veel afbeeldingen zijn gekocht. Er zijn diverse sites waar je "stock" foto's kunt kopen. Eenmaal aangeschaft mag je die foto's onbeperkt gebruiken voor diverse doeleinden.

Wie en website beheert of blogt zal ongetwijfeld wel eens linken naar andere sites om bezoekers te wijzen op interessante informatie of als achtergrond informatie bij het eigen verhaal. Daar is niets mis mee en is in feite de basis van het World Wide Web. Via links kom je verder en daar is ook de term "surfen op het web" door ontstaan. Het wordt echter een ander verhaal als je de content van een andere website gebruikt om jouw web pagina's of blog mee te vullen.  Ik heb websites gezien die alleen maar bestonden uit verzamelde content van andere websites.

De ontdekking

Toen ik onlangs de statistieken bestudeerde zag ik dat er via deze url een aantal bezoeken aan mijn website geweest zijn: http://3plus1crossmedia.wordpress.com/2010/01/18/mediale-trend-social-gaming/ Nieuwsgierig als ik ben heb ik de link gevolgd en kwam ik uit op een blog van Chantelgroot met een artikel over social gaming. Alleen was er op de site geen link te vinden naar mijn www.waarisguus.nl Ook zag ik niet direct een reden waarom er een link naar mijn site zou staan bij deze blog. Toen ik de pagina nog eens goed bestudeerde zag ik een afbeelding staan die me bekend voorkwam. Een plaatje van Farmville, dat ook op mijn blog gebruikt wordt. Toen ik naar de eigenschappen van de afbeelding keek zag ik dat het een deep-link is naar de afbeelding op mijn blog! Nu komt het wel vaker voor dat een afbeelding, afkomstig van mijn blog, ergens op internet opduikt. Maar dan heeft iemand de afbeelding gedownload en op de eigen server geplaatst.

Maar deep-linken is een ander verhaal. Van al het dataverkeer dat een website genereerd komt het grootste gedeelte voor rekening van media, afbeeldingen, filmpjes en attachments. En iemand moet voor dat dataverkeer betalen, namelijk de eigenaar van de betreffende web site. Met deep-linken maak je dus de goede sier met andermans content en laat deze bovendien opdraaien voor de kosten van het dataverkeer.

Tijd voor actie

Aangezien er op de blog geen e-mail adres te vinden is heb ik een reactie achtergelaten met het verzoek de afbeelding te verwijderen of tenminste aan bronvermelding te doen.

Tot op heden heb ik nog geen reactie gekregen en is ook mijn commentaar nog niet behandeld.
Nu heb ik het vermoeden dat Chantal niet meer zo'n actieve blogger is aangezien de meest recente blog van bijna 2 jaar geleden is. ik denk ook niet dat ik snel een reactie krijg.

Dan maar andere maatregelen. Wanneer je de content van anderen op jouw website of blog gebruikt dan heb je totaal geen controle er over. En daar heb ik handig gebruik van gemaakt. Ik heb een kopie gemaakt van het betreffende blog artikel dat door Chantal gebruikt wordt en daar een andere url voor gebruikt. In het oorspronkelijke artikel heb ik de farmville afbeelding vervangen door een andere afbeelding. En die nieuwe afbeelding wordt nu getoond in de blog van Chantal.

Oorspronkelijk zag de pagina er zo uit:


Na mijn actie ziet de pagina er zo uit:


Pas later had ik in de gaten dat de bronvermelding die genoemd wordt verwijst naar www.Dutchcowgirls.nl, voegt een extra dimensie toe aan de actie.
Nu maar hopen dat Chantal ook gevoel voor humor heeft.

De conclusie

Ongevraagd gebruik maken van content op andere websites is niet netjes en het kan er bovendien voor zorgen dat jouw pagina er wel eens heel anders uit komt te zien dan je verwacht.

Het falen van webcare

Guus Disselkoen  4 November 2011 20:59:03

Webcare als damagecontrol.

Steeds meer bedrijven zijn de mogelijkheden om communicatie en diensten via het internet te laten verlopen en de klant de mogelijkheid te bieden allerlei zaken via de web browser te regelen in plaats van te bellen met een call center waar de medewerkers alleen kunnen antwoorden op vragen die in de bel scripts staan, of het sturen van een brief in envelop met postzegel. Een positieve ontwikkeling naar mijn mening. Maar dan moeten de bedrijven de zaken wel op orde hebben, het moet dan ook werken. En dat is nou bij Essent net niet het geval.

Lang geleden, een paar jaar terug, heb ik mij aangemeld bij Essent voor "Mijn Essent", of hoe het toen ook heette, en daar onder andere een e-mail adres ingevuld om informatie te ontvangen. Het e-mail adres wat ik destijds ingevuld heb gebruik ik nauwelijks meer omdat daar te veel spam op binnenkomt en ik inmiddels een aantal eigen internet domeinen heb waarvan ik nu gebruik maak.
Via de website kun je je e-mail adres wijzigen, dat heb ik gedaan, en ook een bevestiging ontvangen hiervan. Op het oude e-mail adres overigens. Niet slim, niet handig en ongelooflijk knullig. Zet wel de toon hoe men daar omgaat met online je zaken regelen.

Maar goed, het leek allemaal verwerkt te zijn, de eerste mailing kwam binnen op het nieuwe e-mail adres en de daaropvolgende ook. Alleen de mailings van Essent Warmte bleven binnenkomen op het oude e-mail adres. Na daarover gebeld en geklaagd te hebben werd er contact opgenomen. Het wijzigen van het e-mail adres op "Mijn essent" wijzigt niet het e-mail adres voor Essent Warmte, foutje van Essent. Twee werelden met dezelfde naam die niet de gegevens uitwisselen, maar zich wel via één website presenteren. Na veel moeite is dit door Essent gewijzigd en werden de test mails van Essent verstuurd naar het juiste adres. Eind goed al goed? Nee!

De eerste de beste mailing van Essent Warmte kwam binnen op het oude e-mail adres. Het klinkt onwaarschijnlijk, maar het is echt zo. Maar geen nood, via de website van Essent kun je via een contact formulier een klacht indienen. Niet vies van nieuwe media en mogelijkheden heb ik hiervan gebruik gemaakt. Na het invullen van de gegevens en het uitleggen van mijn probleem ontving ik een ontvangstbevestiging en de mededeling dat ik binnen 3 weken een antwoord kon verwachten.
Nu is één van de voordelen van internet dat het snel en makkelijk kan. Ik was dan ook behoorlijk verbaast dat zo'n simpele klacht 3 weken gaat duren voordat er actie op genomen wordt en heb dat ook via Twitter laten blijken.

En dat was ook het moment dat de webcare van Essent wakker werd en via een mention liet weten dat die 3 weken een beetje overdreven is en men meestal binnen 3 dagen een antwoord krijgt. Ik heb daar nog een ludiek antwoord opgegeven door te reageren met de tekst: "ik hoop niet dat er maar 1 dag per week gewerkt wordt anders gaan we de 3 weken alsnog halen". En ik heb er denk ik niet ver naast gezeten. Nog steeds geen antwoord. Onlangs er weer een tweet aan gewijd en jawel, webcare komt in actie. Vandaag is @EssentService mij gaan volgen op Tweeter en ontving ik een Mention met het verzoek mijn postcode en huisnummer te sturen via een DM zodat men e.e.a. uit kan gaan zoeken.  Kennelijk zijn ze bij Essent niet in staat om in hun systeem een melding terug te vinden, triest, zeer triest.

Ook de tekst van de mention wekt niet veel vertrouwen "@gdisselkoen heel erg vervelend! mijn excuses. kunt u mijn via een DM uw postcode en huis nr sturen, dan ga ik het voor u uitzoeken....".
"Heel erg vervelend", ja tuurlijk, net doen of je het vervelend vindt. Nee, je kent het probleem niet, niet gekeken naar de historie en dan bij voorbaat je excuses aanbieden. Dat heet damage control proberen uit te oefenen, en dat werkt bij mij averechts. Het feit dat het wijzigen van een e-mail adres niet voor alle onderdelen van Essent geldt is een bewijs van onvermogen, daar kom je niet met een excuus mee weg.
En dan het vragen om de gegevens, ik heb getweet n.a.v. een klacht die ik gedaan heb, even zoeken en de gegevens er bij halen is kennelijk te veel moeite. De bal weer bij de consument leggen is makkelijker. We willen het oplossen maar er niet te veel moeite voor doen.

Beste Essent, met jullie online activiteiten slaan jullie de plank aardig mis. Jullie willen graag meedoen aan de hype van social media, de trend van online zaken regelen, maar hebben de zaken niet op orde. Ook het afhandelen van klachten verdient niet de schoonheidsprijs. Dat is jullie al eerder verteld maar er iets mee doen? Nee! Wij van Essent zij arrogant en luisteren niet. Klant moet doen wat wij willen, punt uit!
En als klap op de vuurpijl zetten jullie Twitter in om de klant te helpen. Nee, jullie komen in actie als er klachten op Twitter verschijnen en gaan dan proberen brandjes te blussen. Begin eens met interne communicatie, dan komt het niet op Twitter terecht en kun je het Twitter account gebruiken voor echte webcare.

Nog een leuk detail:
Tijdens het schrijven van deze blog wilde ik nog wat controleren op de "Mijn Warmte" site van Essent. Toen ik probeerde in te loggen lukte dat niet. Toen ik vervolgens mijn password wilde resetten bleek mijn e-mail adres niet bekend te zijn. Hetzelfde e-mail adres waar de mailing naar toe gestuurd is, dat gewijzigd moest worden en niet gewijzigd is. Kun je het nog volgen?

Firewalls en routers

Guus Disselkoen  9 October 2011 22:13:11

Hoe je baas over je eigen netwerk wordt als je klant bent bij Tele2

Al enige tijd, eigenlijk sinds de eerste software update van het modem nadat ik klant van Tele2 geworden ben, lig ik in de clinch met Tele2.
Wat is nu het geval? Wanneer je klant wordt van een internet provider, in dit geval Tele2, dan krijg je vrijwel altijd de benodigde hardware in bruikleen om een verbinding met internet te kunnen maken. Deze hardware is meestal standaard hardware die ook in de winkel te koop is maar met wat specifieke aanpassingen zodat deze apparatuur te gebruiken is op het netwerk van de betreffende provider. Zo ook bij Tele2. Bij Tele2 krijg je de Davolink dv-2020 in bruikleen. Een gecombineerd modem, router en firewall in één kastje.

Alleen zijn ze bij Tele2 behoorlijk doorgeschoten, bepaalde functionaliteit van het modem kun je niet configureren omdat dat, door Tele2, uit de web interface verwijderd is. Ja, er zijn op internet wel hacks te vinden hiervoor, maar de meeste werken totdat het modem herstart wordt. En dat schiet niet op.

Standaard staat op het modem DHCP ingeschakeld, zodat alle aangesloten PC's een IP adres krijgen vanuit het modem en ook staat het modem ingesteld als DNS forwarder. Handig voor mensen die geen sjoege hebben van netwerken of internet en het alleen aan willen zetten en gebruiken. Maar er is ook een grote groep die dit juist niet wil. Deze mensen willen zelf controle houden over hun thuis netwerk en zitten niet te wachten op een DHCP server die de eigen DHCP server 'overruled'. En ik behoor ook tot die groep.
De DHCP server kan niet uitgezet worden via de web interfaces, dit is door Tele2 verwijderd en kan alleen door Tele2 uitgevoerd worden. En daar zit hem de crux. De helpdesk van Tele2 ondersteund dit officieel niet en het is dan ook een crime om uiteindelijk iemand aan de lijn te krijgen die wel bereid is je te helpen en dit uit te (laten) zetten.

Al sinds jaar en dag heb ik thuis een DHCP server die de IP adressen uitdeelt aan apparaten die geen vast IP hebben. En ik maak ook gebruik van reserveringen. Apparaten die regelmatig of bijna altijd een netwerk verbinding nodig hebben, die krijgen een gereserveerd IP adres.

En dan nu het probleem:
Van tijd tot tijd voert Tele2 updates uit op de software van het modem. Na een update staat ook de DHCP server weer aan en fungeert het modem als DNS forwarder met als gevolg dat ik met een laptop niet meer het internet op kan of een verbinding maken met één van mijn eigen servers.

En afgelopen weekend was het weer raak. Op zondagavond, rond 23:00 uur kreeg ik problemen met de internet verbinding op mijn laptop en al snel bleek dat DHCP op het Tele2 modem weer aan stond.
Uiteraard is er op dat tijdstip geen Helpdesk die je kunt bellen dus het maar via de webcare en de virtuele assistant op de website aan Tele2 gemeld. En warempel, er werd op gereageerd. Ik werd gebeld en na het uitleggen van het probleem kreeg ik de tip om een klein zakelijk abonnement te nemen. Een dergelijk abonnement is iets duurder dan een particulier abonnement maar ik zou er meer voor terug krijgen. Zelf mijn netwerk instellingen kunnen bepalen en betere ondersteuning. Klonk op zich wel goed, moest er voor alleen wel even naar een bepaald nummer bellen om dat verder te regelen.
Ik heb gebeld. En eerlijk gezegd had ik er niet zo'n goed gevoel bij. Allereerst zou ik een 2e ADSL aansluiting moeten nemen en men wist niet of dat wel op de huidige aansluiting mogelijk was, daarvoor moet ik met een andere afdeling bellen. Ook wat wel en niet zelf geconfigureerd kan worden kon men mij niet vertellen. Ook daarvoor moet ik naar een ander nummer bellen.
Aangezien vrijwel iedereen die ik bij Tele2 aan de lijn krijg steeds roept dat ik DHCP "gewoon zelf kan uitzetten" geeft me dat niet veel vetrouwen over wat er met een zakelijk abonnement wel en niet mogelijk is. de angst is groot dat ik er achteraf achter kom dat bepaalde instellingen toch niet zelf in te stellen zijn, of na een software update weer op default waarden staan.

Bovendien betekent een nieuwe ADSL verbinding ook een nieuw publiek IP adres en moet ik het nodige aanpassen om mijn servers via internet weer te kunnen benaderen. Ook een dubbel abonnement voor enige tijd stond me niet echt aan. Na de boel een poosje te laten bezinken kreeg ik een beter idee. Een extra router in het netwerk plaatsen, zo ben ik ook begonnen voordat internet providers een gecombineerd modem/router/accesspoint uitdeelden.
In de vroege dagen van ADSL kreeg je alleen een modem met de bedoeling dat aan te sluiten op een PC en via die PC te internetten. Met meerdere PC's het internet op kon alleen via creatieve oplossingen, zoals een eigen proxy server, en was eigenlijk ook niet toegestaan. Ik gebruikte in die tijd een NT server waaraan het modem gekoppeld was en liet de NT server het internet verkeer routeren. Hoogst illegaal, maar het werkte wel.
Toen er routers, gecombineerd met een firewall, voor consumenten op de markt verschenen heb ik op een gegeven moment er één aangeschaft. De kosten waren in de tijd best wel hoog, bijna 500 ouderwetse guldens, maar je kreeg er wel een hoop gemak en een beetje veiligheid voor terug. Ik was niet langer afhankelijk van de NT server voor mijn internet verbinding en kon door het mappen van poorten ook nog eens meer servers via internet toegankelijk maken.

Het trucje van toen pas ik nu weer toe, alleen was het toen iets makkelijker, het modem was alleen de connectie naar internet en niets meer. De Davolink van Tele2 is ook de firewall en een wireless accesspoint. Op het Tele2 modem kan ik het accesspoint uitschakelen, maar de firewall niet. Ik heb een paar opties die ik kan gebruiken om het netwerk verkeer de goeie kant op te sturen, maar uitzetten behoort daar niet bij.
Naarmate het idee meer vorm kreeg ben ik op internet gaan zoeken welke routers/accesspoints voldoen aan wat ik nodig heb. Ik moet voldoende configuratie mogelijkheden hebben om de routers zo te configureren dat het internetverkeer naar buiten goed gaat werken, maar ook het verkeer naar binnen toe. Anders zijn mijn eigen servers niet meer te benaderen. Uiteindelijk is mijn keuze gevallen op de Linksys E3000. Een veelzijdig apparaat met voldoende mogelijkheden om te realiseren wat ik wil bereiken. En het is een product van Cisco, toch wel één van de betere merken voor netwerk apparatuur.
Nu is de Linksys E3000 niet de goedkoopste, maar er waren toch een paar redenen om voor deze te kiezen en niet een goedkoper product dat hetzelfde kan. De Linksys ondersteund netwerk snelheden van 10/100/1000 MB p/sec. Niet echt noodzakelijk aangezien mijn internet verbinding max 20MB/sec. is. Maar wel omdat de router over 4 LAN poorten beschikt en het zo maar kan zijn dat ik dat in de toekomst nodig heb.

Het netwerk

Mijn thuis netwerk zag er als volgt uit:
Davolink dv-2020 (modem, router, firewall, wifi) --> Gigabit switch --> PC en servers.

Of zoals je in onderstaand plaatje kunt zien.


In de nieuwe situatie komt er een extra router te staan tussen de Davolink en de gigabit switch die ook een aantal taken van de Davolink moet overnemen. De nieuwe router is ook het nieuwe wifi accesspoint en firewall die het inkomende verkeer de juiste kant op moet sturen. Bovendien wilde ik niet dat de huidige default gateway zou wijzigen omdat ik dat op diverse plaatsen handmatig aan moet passen. Enig denkwerk en experimenteren is er wel aan vooraf gegaan, maar uiteindelijk is het gelukt zoals ik het wilde hebben.

De configuratie

Het netwerk thuis maakt gebruik van private IP adressen uiteraard en die moeten ongewijzigd blijven. Het Davolink modem is onderdeel van het netwerk en vormt de default gateway voor het netwerk. Voor de internet toegang moet deze nog steeds de "voordeur" blijven, maar voor het interne netwerk mag deze niet meer zichtbaar zijn. De default gateway wordt de nieuwe Linksys.

Nu moet ik even een klein zijsprongetje maken en wat vertellen over private IP adressen. De meeste apparatuur die je aanschaft maakt gebruik van de 192.168.x.x adressen en als je dit zo laat krijg je automatisch een netwerk in de 192.168 range. Ik ben daar zelf van af geweken om verschillende redenen. Omdat een 192 adres beetje standaard is weet ook iedere hacker dat. Door van deze range af te blijven en een andere range te gebruiken maak je het potentiële hackers al iets lastiger. Bovendien bestond mijn gekozen range al voordat er internet routers op de markt kwamen die de 192 range gebruiken.

Om de bedachte configuratie te realiseren moet allereerst het Davolink modem een ander private IP adres krijgen, dit is eenvoudig zelf in te stellen. Enige nadeel is wel dat wanneer je de Davolink een ander private IP adres geeft, uit een andere range, deze geen deel meer uit maakt van je eigen netwerk en je er via het netwerk niet meer bij kan. Ik heb mijn laptop hiervoor gebruikt omdat deze over 2 netwerk verbindingen beschikt, een draadloze en bedrade. Op die manier kan ik in 2 netwerken tegelijk werken. En dat is ook nodig want de setup van de Linksys kan alleen via een wireless verbinding uitgevoerd worden. Tenminste, als je gebruik maakt van de meegeleverde software.
Voordat ik aan de setup van de Linksys router begonnen ben heb ik eerst het IP adres gewijzigd in het IP adres dat als default gateway in het netwerk gebruikt wordt. Ik heb een paar test setups uitgevoerd en daaruit bleek dat het achteraf aanpassen van het IP adres niet handig is. De setup configureert ook de wireless netwerken, en in het geval van de Linksys zijn dat er zelfs twee.

In onderstaande tabel een overzicht van de IP configuratie. Dit zijn niet de werkelijke adressen die ik thuis gebruik, wil het de hackers niet al te makkelijk maken, maar willekeurige private IP adressen.



Het uitvoeren van de setup voor de linksys was een gok. Normaliter doe je dat in een netwerk waar alleen een modem aanwezig is, zonder firewall. Overigens had ik ook al het wifi gedeelte op de Davolink uitgezet om daar geen hinder van te ondervinden.

Na het uitvoeren van de setup was mijn laptop verbonden met het internet alleen stonden de instellingen nog niet goed. Ook bij de Linksys router wordt deze de DNS server. Dit probleem was simpel op te lossen, DHCP uit zetten op de Linksys en opnieuw een verbinding maken met het netwerk zodat de laptop via mijn eigen DHCP server een IP adres krijgt met de bijbehorende netwerk instellingen.
Na het configureren van de Linksys router moet er nog wel e.e.a. gebeuren om ook de servers weer via het internet te kunnen benaderen.

Het Davolink modem is zo ingesteld dat standaard de firewall aanstaat en al het verkeer van buitenaf niet toegestaan is tenzij er in de NAT configuratie port mappings zijn of er een DMZ host opgegeven is.
In de configuratie van het Davolink modem had ik de nodige NAT port mappings gedefineerd. Ik heb deze mappings toegevoegd in de configuratie van de Linksys router en verwijderd op het Davolink modem en de Linksys router als DMZ host geconfigureerd in het Davolink modem.
Alle requests vanaf internet worden nu geforward door het Davolink modem naar de Linksys router en deze weet waar de requests naar toe moeten.

Het nieuwe netwerk plaatje ziet er als volgt uit:

Tele2 Helpdesk

Ook wel bekend als de afpoeierdesk. Heb je problemen met DHCP op het modem van Tele2, en wil je niet zoals ik een extra router gebruiken, ik heb de informatie om het uit te laten zetten. Dit werkt totdat de software ge-update wordt. Na een update zul je weer via Tele2 de DHCP laten uitschakelen.

Ik heb inmiddels via de OPTA een klacht ingediend over de DHCP configuratie. Doordat dit niet uitgezet kan worden door de gebruiker wordt hierdoor een flinke ingreep gedaan op het thuis netwerk van de gebruiker. En het thuis netwerk is niet iets waar een internet provider zich niet mee moet bemoeien.. Maar ja, er zijn nog wel meer tekortkomingen bij Tele2. Afdelingen die van elkaar niet weten wat ze doen en wat wel of niet mogelijk is. Een "Van het kastje naar de muur" sturen geval.

De eerste schreden in de wereld van virtualisatie

Guus Disselkoen  29 September 2011 22:17:46

En zo ziet een datacenter anno 2011 er uit.

Natuurlijk is dat een beetje overdreven, maar het is wel hoe mijn datacenter er uit ziet. Dat doosje, kleiner dan menig PC thuis, vormt mijn serverpark en data opslag. Goed, er ontbreekt nog wat om het ook zo te kunnen gebruiken en wel één of meerdere fysieke PC's of servers.

Al jaren werk ik met VMware Workstation op mijn laptop om demo, test of ontwikkel omgevingen op te zetten en te gebruiken. Met een beetje krachtige laptop of PC is het mogelijk om zelfs 2 of 3 virtuele machines gelijktijdig te laten draaien en te gebruiken. Het gebruik van VMware heeft een aantal voordelen, je hebt er geen aparte hardware voor nodig, een nieuwe server is snel opgezet en je kunt makkelijk switchen naar verschillende virtuele servers. De VMware images sla ik op op een externe USB disk en worden ook gebruikt vanaf de USB disk. Het opslaan op USB disk heeft diverse voordelen. Allereerst draaien het eigen OS van de laptop en de virtuele server niet op dezelfde harde schijf wat gunstig is voor de IO's. Een tweede voordeel is dat de USB disk makkelijk mee te nemen is en op en andere PC gebruikt kan worden. VMware player installeren en de images kunnen gebruikt worden.

Daarnaast biedt VMware nog een aantal voordelen. Maak na het aanmaken van een nieuwe server een kopie van de VMware en bewaar deze zodat die als template kan dienen voor nieuwe virtuele servers. Een snellere manier om een nieuwe server op te zetten is er bijna niet. Eventueel kunnen in de template ook nog wat basis producten en tools opgenomen worden die je eigenlijk altijd wel nodig hebt. Installeer deze op de server voordat je een template maakt en in iedere nieuwe virtuele server heb je ze voorhanden.

Nu begon het bij mij thuis een beetje uit de hand te lopen. Er zijn diverse producten waar ik dagelijks mee werk en die ik thuis eigenlijk ook wil hebben, niet alleen om zelf te gebruiken, maar ook om er de kennis en ervaring mee op peil te houden. Maar ook om nieuwe versies uit te proberen, upgrades uit te testen en nieuwe producten uit te proberen. En voor je het weet heb je een bonte verzameling van PC's staan, gepromoveerd tot server, en volgestopt met harde schijven en geheugen. En ja, dan gaat na verloop van jaren een machine kapot en valt er een "gat" in je netwerk. Je hebt dan verschillende opties. Een nieuwe PC aanschaffen, gaan schuiven met producten op PC's of zelfs een combinatie er van. Meestal is het de oudste en minst krachtigste PC die het loodje legt en draait er een product op dat niet zulke zware eisen stelt. De nieuwe PC is moderner en krachtiger en eigenlijk een beetje overkill dus ja, dan ga je toch de machines opnieuw inrichten. En dat kost tijd, veel tijd.

Al geruime tijd liep ik met het idee rond om minder afhankelijk te worden van de hardware, de bonte verzameling van PC's, en flexibeler te kunnen zijn. Sommige servers heb ik alleen nodig als ik er ook wat mee ga doen bij bijvoorbeeld een klant of als er een nieuwe versie uitkomt waar ik naar wil kijken. De oplossing is dan ook virtualiseren. Virtuele servers kunnen min of meer onafhankelijk van de onderliggende hardware gebruikt worden. Er zijn wel wat beperkingen ten aanzien van 64 bits operating systems in een virtuele server. De onderliggende hardware moet een processor bevatten die virtualisatie ondersteund. Is dat niet het geval dan kan alleen een 32 bits OS gebruikt worden. Op zich geen probleem, zeker gezien het gebruik van de omgeving, maar wel iets om rekening mee te houden.

Toen het idee er eenmaal was moest er ook nog een plan komen om het uit te gaan voeren. Allereerst heb ik maar eens een lijstje gemaakt van wat ik allemaal wil gaan gebruiken en wat ik permanent beschikbaar wil hebben en wat ik "on demand" wil kunnen gebruiken. Dat lijstje ziet er als volgt uit:

• IBM Lotus Domino server
• IBM Lotus Quickr server (op WebSphere)
• IBM Lotus Sametime server
• IBM DB2 server
• IBM Lotus Connections
• IBM OmniFind server
• IBM HTTP server
• Streaming MP3 server (Subsonic op WebSphere)
• Windows server als Domain controler, DHCP en DNS server.

Voor mede IT-ers valt dit lijstje wellicht mee, anderen zullem misschien denken "wat moet je daar mee?".
Het lijstje is nog een voorlopige lijst waar ik in eerste instantie mee van start wil gaan en kan nog veranderen al naar gelang behoefte of voortschrijdend inzicht.

Ik zal een korte toelichting geven op het lijstje en uitleggen wat het doel en/of reden is voor de betreffende server.

IBM Lotus Domino server

Al zolang als ik in de IT werkzaam ben, en met Lotus Notes/Domino werk, heb ik een Domino server draaien. Niet alleen als eigen mail server maar ook voor applicaties en web sites. Onder andere deze blog en de site www.waarisgus.nl draaien op de Domino server. Overigens draaien er meerdere Domino servers en zijn er twee servers die een cluster vormen. Op dit moment wordt de cluster functionaliteit alleen voor Domino applicaties gebruikt. In de toekomst moet er ook failover functionaliteit komen voor mail en de web sites. Momenteel fungeert één van de Domino servers ook als frontend server voor de WebSphere Application servers en is deze verbonden aan het internet voor inkomend verkeer.

IBM Lotus Quickr server

Voor wie Quickr niet kent, dit is een IBM product om "Team places" aan te bieden voor bijvoorbeeld projecten of aan groepen gebruikers met daarin diverse standaard functionaliteit om mensen makkelijk en eenvoudig samen te laten werken en informatie en documenten te delen. Ik gebruik het zelf vooral voor het opslaan van project documentatie. Met de Quickr connector is het mogelijk bestanden direct te gebruiken binnen diverse applicaties zoals de Notes client, Microsoft Office, Outlook en is er integratie met de verkenner. En uiteraard is er de web interface die het mogelijk maakt bestanden te gebruiken of de Blogs en Wiki's.

IBM Lotus Sametime server

Wellicht niet door iedereen begrepen, een chat server voor 1 gebruiker. Maar zonder Sametime is het niet compleet. Omdat Sametime geïntegreerd kan worden in diverse IBM producten, of eigenlijk al geïntegreerd is, is een Sametime server noodzakelijk om er ook gebruik van te kunnen maken. Maar ook de mogelijkheid om awareness te bieden op iedere willekeurige web site is een reden om het te gebruiken. Sametime integratie is er ook in deze blog en op www.waarisguus.nl en bezoekers kunnen mijn online status zien en eventueel rechtstreeks chatten.

IBM DB2 server

Diverse IBM producten vereisen een DB2 server. Nu wordt er nog regelmatig een DB2 server geïnstalleerd op dezelfde machine waar ook het betreffende product op geïnstalleerd wordt. Daar wil ik eigenlijk van af. Ik geef de voorkeur aan een centrale DB2 server waar alle producten, die gebruik maken van DB2, de data in kwijt kunnen. Ieder product heeft zijn eigen database en tabellen en kan daarom prima overweg met 1 database server. Ja, ik weet dat sommige IBM producten een bepaalde versie van DB2 eisen, maar in de praktijk ben ik nog niet tegen problemen aangelopen. Bovendien heeft het vooral te maken met de ondersteuning door IBM en daar kan ik geen beroep op doen.

IBM Lotus Connections

Het wordt een beetje een te lang verhaal om hier uit te gaan leggen wat Lotus Connections precies is. In het kort: social software voor bedrijven. Een combinatie van Twitter, Facebook, blogs en wiki's in een afgeschermde omgeving. Ik wil het voornamelijk gebruiken om mijn kennis en ervaring er mee op peil te houden en vanwege de integratie met een aantal andere IBM producten zoals Sametime, Quickr en OmniFind

IBM OmniFind server

Voor wie het niet kent: enterprise search. Vinden in plaats van zoeken. Zoeken doe je met Google, vinden met OmniFind. Het is misschien wat kort door de bocht maar het komt er wel op neer. OmniFind wordt dan ook niet, of nauwelijks, gebruikt om op internet te zoeken maar vooral in verschillende systemen bij bedrijven. Je moet hierbij denken aan een intranet, ECM systemen, fileservers, document management systemen, Lotus Notes databases of relationele databases. Gebruik het thuis o.a. om fora te doorzoeken over de producten waar ik mee werk en een aantal web sites die veel nuttige informatie bevatten.

IBM HTTP server

De HTTP server gaat een aantal taken over nemen van de Domino server. De HTTP server wordt de "voordeur" voor alles wat via de webbrowser te benaderen is en wordt daarom ingezet als reverse proxy server. Aangezien ik slechts beschik over een simpele consumenten internet toegang met 1 publiek IP adres, en een firewall met beperkte functionaliteit, biedt een reverse proxy server de mogelijkheid om meerdere web servers en sites toch toegankelijk te maken voor de buitenwereld over poorten die op ieder netwerk open staan.

In de toekomst zullen er waarschijnlijk een paar IBM Edge componenten op geïnstalleerd worden om ook het smtp verkeer via die server te laten lopen en failover functionaliteit te bieden.

Streaming MP3 server

Ik heb niets met iPod's, MP3 spelers en oordopjes. Luister af en toe graag naar muziek en wil een beetje fatsoenlijke kwaliteit. Ja, ik heb thuis een prima audio installatie, een media center met CD/DVD speler en die zijn aan elkaar gekoppeld. Alleen vind ik een CD in een laatje stoppen een beetje achterhaald, bovendien wil ik graag naar muziek luister waar ik op dat moment ben en een apparaat gebruiken wat ik wil. Ik heb daar een mooie oplossing voor gevonden, in de vorm van Subsonic. Een open source streaming MP3 server. Standaard wordt er Tomcat meegeleverd, maar er is ook een losse .war file te downloaden die op andere applicatie servers geïnstalleerd kan worden, waaronder WebSphere. En als IT-er die dagelijks werkt met IBM software, waaronder WebSphere, dan is de keuze niet zo moeilijk, gewoon omdat het kan.

Windows server

Persoonlijk geef ik de voorkeur aan Linux als het om operating systems gaat. Allereerst is het gratis te gebruiken, eenvoudig te installeren en ook niet al te ingewikkeld om te configureren. Uiteraard afhankelijk van waar je de server voor wilt gebruiken. Bij mij worden de Linux servers hoofdzakelijk gebruikt om er een applicatie server op te installeren en maak ik maar weinig gebruik van de overige Linux functionaliteit. Samba configureer ik om met windows machines bestanden naar Linux servers te kopiëren en dat is het wel zo'n beetje. Maar toch heb ik ook een paar Windows servers. Allereerst als Domain Controler. Aangezien zo'n beetje alle netwerk functionaliteit op een Windows server aanwezig is, en deels ook geïntegreerd, is dit de makkelijkste weg. Misschien dat dat in de toekomst nog eens gaat veranderen, maar voorlopig zijn daar geen plannen voor.

De Windows servers worden o.a. gebruikt als DHCP server, DNS servers en deels als fileserver. Inmiddels staat een groot gedeelte van de data op 2 NAS-en en zal in de toekomst alles naar de NAS-en verplaatst worden. Daar naast zijn er twee Domino servers die op de Windows servers draaien.

Virtualisatie

Aangezien dit al een behoorlijk lang verhaal is geworden, schuif ik de ervaringen en beschrijving van de virtualisatie door naar een volgende blog. Ik zal dan wat vertellen over de virtualisatie producten die ik gebruik, hoe de virtualisatie gerealiseerd is en wat er nog meer bij komt kijken. Ook de hobbels die ik tegengekomen ben komen aan bod.

Houd deel 2 in de gaten!