Web 2.0 in the real world

alt
Skype
MSN
 

Hot topics

Waar is Guus?

Google Friends

Waar ben jij?

Migratie HTTP server

Guus Disselkoen  24 September 2014 21:16:35
Image:Migratie HTTP server

Soms kan het toch zo simpel zijn....

Om mijn websites en web applicaties beschikbaar te stellen via internet maak ik gebruik van een (IBM) HTTP server en de WebSphere plugin. De reden waarom ik hiervoor gekozen heb is eigenlijk vrij simpel, een paar websites en applicaties draaien op WebSphere en een aantal op Lotus Domino. Aangezien de WebSphere plugin zowel WebSphere als Lotus Domino ondersteund is dit de meest logische keuze. Daarnaast heb ik nog een aantal sites die op een 'gewone' http server draaien. Ook deze kan ik via de IBM HTTP server ontsluiten door deze ook als reverse proxy te configureren. Hiervoor wordt de standaard methode van Apache gebruikt, het definieren van virtual hosts in de httpd.conf. Ik heb er vanuit oogpunt van beheer, het gaat om zo'n 30 verschillende url's met websites, voor gekozen per virtuele host een apart configuratie bestand te maken en deze in een directory te plaatsen. Deze directory wordt vervolgens included in de httpd.conf file.

De IBM HTTP server is gebaseerd op de Apache HTTP server en door IBM gemodificeerd om als frontend voor WebSphere en Lotus Domino gebruikt te kunnen worden. Veel van de standaard Apache functionalitijd is ook beschkbaar in de IBM HTTP server. Wat op de IBM HTTP server ontbreekt is het configureren van de http server als load balancer. Maar die taak is overgenomen door de WebSphere plugin.
De WebSphere pluging maakt geen gebruik van de standaard configuratie file van de http server, maar gebruikt een eigen configuratie bestand, de plugin-cfg.xml. In deze XML file worden  virtuele host geconfigureerd voor iedere webite die door de plugin verwerkt moet worden. Per virtuele host wordt een cluster gedefineerd met servers die het request afhandelen. Ook als er maar 1 server is die het request afhandeld, dan wordt er toch een cluster gedefinieerd. Verder wordt er in de configuratie opgenomen welke uri's bij de site horen. Ook het transport type, http of https, wordt in de plugin geconfigureerd. Op deze manier is het ook mogelijk SSL ofloading te doen op de http server.

Onlangs ben ik begonnen met het "migreren" van alle servers naar mijn, inmiddels niet meer zo nieuwe, internet aansluiting. deze heeft een hogere down en upload snelheid. Alle clients maakten al gebruik van deze internet verbinding, maar de servers nog niet. Aangezien ik een aantal websites heb draaien is een hogere upload snelheid wenselijk, aangezien dit de snelheid bepaald waarmee de site geopend wordt voor de bezoekers.

Tevens is dit een mooie gelegenheid om de bestaande HTTP server, een 32-bits server op CentOS 5.10, te vervangen door een 64-bits versie op CentOS 6.5. Bijkomend voordeel is dat ik website  voor website kan migreren naar de nieuwe internet verbinding en nieuwe HTTP server. Oftewel geen downtime voor de websites. Helaas ging deze vlieger niet helemaal op. In eerste instantie door een foutje van mijzelf. Na het aanpassen van het publieke IP adres in de DNS was ik 1 dingetje vergeten; het aanpassen van de configuratie in de firewall waardoor de requests niet aankwamen op de nieuwe http server, maar op de huidige. Angezien de huidige HTTP server nog steeds gebruik maakt van de andere internet verbinding ging dit niet goed. Gelukkig was dit probleem snel hersteld.

Het volgende probleem waar ik tegen aan liep waren de websites die gebruik maken van https en die op de Lotus Domino servers draaien. Websites die gebruik maken van SSL en op een andere http server draaien werketen zonder problemen, maar de Domino based websites gaven een status 500 melding terug. Gelukkig heeft de WebSphere plugin ook logging. Standaard toont deze alleen de errors, en die waren er niet, maar je kunt ook het loglevel aanpassen naar bijvoorbeeld “trace”. Je krijgt dan heel wat meer informatie te zien.

De logging liet onder andere het volgende zien:
[24/Sep/2014:19:09:37.39217] 00005a67 77fff700 - ERROR: ws_common: websphereHandleRequest: Failed to handle request
[24/Sep/2014:19:09:37.76691] 00005a83 7dd0b700 - ERROR: ws_common: websphereFindTransport: Nosecure transports available
[24/Sep/2014:19:09:37.76719] 00005a83 7dd0b700 - ERROR: ws_common: websphereWriteRequestReadResponse: Failed to find a transport
[24/Sep/2014:19:09:37.76735] 00005a83 7dd0b700 - ERROR: ESI: getResponse: failed to get response: rc = 4

Na een poosje Googlen kwam ik er achter wat er mis was. Er was in ieder geval niets mis mijn configuratie van de http server of de WebSphere plugin. Maar IBM heeft een wijziging doorgevoerd in de laatste versie van WebSphere, en de daarbij behorende WebSphere plugin, die ik ook gebruik. Het is in de laatste versie niet meer standaard ondersteund dat er gebruik gemaakt wordt van een niet secure http connectie. Oftewel, alles moet via https verlopen met de benodigde SSL certificaten. En dat wil ik juist niet. Alle servers draaien op een ESX omgeving en sommige servers ook nog op dezelfde ESX host. Op het interne netwerk en servers wil ik niet de overhead van SSL gebruiken, maar good old plain http.

Gelukkig is er een oplossing. Kennelijk heeft IBM ook bedacht dat niet iedereen gebruik wil maken van SSL voor de communicatie tussen HTTP server en (WebSphere) backend en is er een 'trucje'.
Door een custom property,  UseInsecure="true", op te nemen in de global config sectie kun je afdwingen dat de plugin overschakelt naar “nonsecure” transport als er geen https transport geconfigureerd is.
Na deze wijziging doorgevoerd te hebben werken de websites, die via https gaan, inmiddels ook weer.


Home Theater PC

Guus Disselkoen  2 February 2014 20:31:19
Image:Home Theater PC
Vaarwel Media Center PC, welkom Home Theater PC.

Er was eens... O, nee, zo beginnen sprookjes, en dit is geen sprookje.
Afgelopen week kreeg ik problemen met mijn Media Center PC. Op zich niet geheel onverwachts, de Media Center PC is al een aantal jaren oud en had af en toe al wat vreemde trekjes.

Toen ik de Media Ceneter PC kocht was daarop Windows Vista geïnstalleerd, dat was toen net uit. Onderdeel van Windows Vista was Windows Media Ceneter, en dat maakte, samen met de diverse aansluitmogelijkheden van de PC, dat het een waar Multi Media Systeem was. Zo was er naast 2 scart aansluitingen ook een coax aansluiting voor TV signaal om via Windows Media Center TV te kunnen kijken en TV programma's op te nemen. Kan me niet voorstellen dat je op die manier TV wilt kijken, maar opnemen is een ander verhaal. Daarnaast beschikte de Media Center PC ook over 2 digitale uitgangen voor audio, S/PDIF. Een optical en een coax uitgang. En dat kwam heel mooi uit. Sinds de aanschaf van de Media Center PC, en de JVC receiver, liep al het audio verkeer via de receiver. Aangezien ik gebruik maak van een schotel antennen fungeerde de TV als monitor en waren de satelliet ontvanger en de Media Center PC aangesloten op de receiver om de audio weer te geven. Inmiddels is de toenmalige TV vervangen door een TV met ingebouwde satelliet ontvanger en aangesloten op de receiver. En ondertussen is Windows Media center op Windows Viste vervangen door XBMC op Xubuntu.

Maar nu even terug naar daar waar het begon. Ik zat te kijken naar een gedownloade aflevering van een TV serie die telkens ineens stopte en niet meer verder wilde gaan. De enige remedie was het herstarten van het systeem. Dat dat niet echt het kijkplezier verhoogt mag duidelijk zijn. Ook het feit dat een reboot niet direct zorgt voor hernieuwd kijkplezier speelt mee. Sinds ik overgegaan ben op Xubuntu verschijnt er tijdens het starten en stoppen van het OS een vrij vage melding: "hub 1-0:1.0: unable to enumerate USB device on port 1". En deze melding wordt continu getoond. Na een paar herstart pogingen wil het systeem dan uiteindelijk goed opstarten en kan er ingelogd worden.
Aangezien het systeem draaide op Xubuntu 13.04, en versie 13.10 al enkele maanden beschikbaar is, leek het me verstandig eerst maar eens een upgrade uit te voeren en te kijken of de problemen daarmee verholpen zijn. Zo gezegd zo gedaan, vlak voor het naar bed gaan de upgrade gestart om de volgende dag het resultaat te bewonderen.

Helaas, de upgrade is halverwege gestopt en was met geen mogelijkheid weer op gang te krijgen. de enige oplossing was dan ook een reboot van het systeem. En dat was dan ook tevens het einde. Het systeem starte uiteindelijk op, maar het filesystem was 'read-only'. Helaas bleek dit niet 1-2-3 te fixen. Dan maar een herinstallatie uitvoeren van Xubuntu en wel gelijk naar versie 13.10 overstappen. Xubuntu gedownload, op DVD gebrand en gaan. Helaas, er verscheen een fout dat data niet gelezen kon worden, ook een nieuw gebrande DVD gaf hetzelfde resultaat. Aangezien het BIOS opstarten vanaf USB niet ondersteund had ik niet veel andere mogelijkheden. Gezien de problemen van de laatste tijd, de meldingen "hub 1-0:1.0: unable to enumerate USB device on port 1" continue over het scherm tijdens opstarten en afsluiten, hebben me doen besluiten een nieuw systeem aan te schaffen.

Omdat ik al enige tijd wat problemen ondervond hield ik er al rekening mee dat op een dag het systeem het stempel "overleden" mee zou krijgen. Ik was stilletjes al aan het kijken naar geschikte opvolgers. Mijn keuze ging in eerste instantie uit naar een zo'n klein en licht mogelijk systeem met alle opties in huis die aan mijn wensen voldoen. Ik heb een aantal jaren geleden een nettop PC van ASRock aangeschaft, die nu al jaren als vCenter Server fungeert. Het systeem is compact, stil en zuinig en produceert weinig warmte. Ideaal als media center PC. Bovendien ook erg voordelig in aanschaf. Helaas zijn deze PC's miet overal te koop. Via internet zjn ze bij diverse sites te koop, maar helaas voor mij lastig te bepalen welk systeem ik zou moeten nemen. Voor zo iets loop ik toch liever een winkel binnen om mijn wensen en eisen op de toonbank te leggen en om advies te vragen.

Nu de Media Center PC door mij als officieel dood verklaart is, moet er snel wat anders komen. Op internet gezocht naat HTPC, want zo heet een Media Center PC tegenwoordig, en door de bomen het bos kwijtgeraakt en geen idee wat ik zou moeten nemen. Wel kwam ik op Tweakers een interssante pagina tegen over HTPC's. De Desktop Best Buy Guide van november 2013.

Op zo'n moment is goede raad dichtbij: CD-ROM-LAND. Sinds enkele jaren min of meer mijn "huisleverancier" voor computer onderdelen. Prima winkel met een zeer groot assortiment, bekwame en behulpzame medewerkers en vooral niet te duur. Sterker nog, scherp geprijst. Als je een vraag hebt of advies wilt dan neemt het personeel de tijd om je te helpen, indien nodig wordt additionele informatie op internet opgezocht, of een collega om een second opinion gevraagd. Ook kunnen ze artikelen leveren die niet in het eigen assortiment zit.

Nu eens kijken of ze me ook met dit vraagstuk kunnen helpen. Ik heb 's avonds een mail gestuurd met de vraag voor advies bij het samenstellen van een HTPC. In de mail heb ik mijn wensen en eisen aangegeven, verteld war ik het systeem voor wil gaan gebruiken en welk OS ik wil gebruiken. Ook de link naar de Best Buy Guide van Tweakers heb ik meegestuurd als voorbeeld van wat ik ongeveer zoek. Tevens heb ik gevraagd om een prijsopgave te doen van een systeem dat aansluit bij mijn wensen en eisen.

De volgende dag kreeg ik al een antwoord van CD-ROM-LAND. Ze hebben het artikel op Tweakers gelezen en vonden dat dit systeem zeer goed aansuit bij mijn wensen en eisen en hebben een offerte gestuurd op basis van de configuratie die door Tweakers behandeld was. Omdat ik Xubuntu als OS wil gebruiken hebben ze de configuratie enigzins aangepast en een 60GB SSD in de offerte opgenomen i.p.v. de 120GB bij Tweakers.

Na het ontvangen van de offerte besloten om dit systeem aan te schaffen en vervolgens aan CD-ROM-LAND gevraagd of alle onderdelen op voorraad zijn en ik het 's avonda op kan halen. Dat was mogelijk met uitzondering van de PC kast, die was helaas niet voorradig, maar er was wel een goed alternatief. De kast is uiteindelijk de SilverStone ML03 geworden i.p.v. de ML04.

Systeem bouwen

Na het ophalen van de onderdelen aan de slag om het systeem in elkaar te zetten. Dankzij de duidelijke handleidingen, en informatie op internet, was dit niet ingewikkeld, het kost alleen wat tijd. En aangezien ik dit niet dagelijks doe, wat meer tijd dan ik eigenlijk verwachtte.

Toen het systeem eindelijk in elkaar gezet was kwam het spannendste moment, het systeem aanzetten en hopen dat het werkt. En het vie niet tegen, het systeem starte netjes op om vervolgens te wachte op een installatie medium. De reeds eerder gebrande DVD in de daarvoor bedoelde opening geschoven, en vervolgesn begon de setup van Xubuntu. Na ongeveer 20 minuten was de installatie afgerond en kon gestart worden met de volgende fase, de configuratie en het installeren van additionele software.

Geleerd van de upgrade van mijn PC eerst maar eens gekeken of Audio en Video goed werken, bovendien is dat essentieel voor een HTPC.

Audio problemen

Ook nu liep ik weer tegen problemen aan met de audio. Alleen waren deze nu van een andere aard. In de configuratie zag ik meerdere audio devices en output opties, maar helaas geen geluid via de HDMI uitgang. Het selecteren van de optical uitgang en de HTPC aansluiten via de optical uitgang op de receiver werkte wel.

En nu moet ik even een zijsprongetje maken zodat de rest van het verhaal duidelijk wordt. De HTPC heeft alleen een HDMI en optical uitgang voor 5.1 audio. Aangezien de receiver geen HDMI ingang heeft en slechts 1 optical ingang, die door de TV in beslg genomen is. Wil ik beeld en geluid naar de TV sturen. De TV heeft de mogelijkheid in te stellen waar de audio naar toe gaat, de ingebouwde speakers van de TV of een externe audio bron. Dat laatste heeft mijn  voorkeur. Wanneer het geluid niet via de TV naar de receiver gestuurd kan worden moet ik een andere receiver aanschaffen die wel beschikt over de benodigde ingangen. Een bijkomend voordeel is dat ik op de receiver niet steeds hoef te wissel van input bron wanneer ik switch tussen TV en HTPC.

Behalve het audio probleem was er ook een probleem met het beeld binnen XBMC. Het beeld vertoonde allerlei "flitsen" die over het beeld schoten, was niet stabiel en flikkerde enorm.
Het systeem heeft een onboard video kaart die ook gebruikt word. Voor de video kaart zijn 3 verschillende drivers beschikbaar, 1 die door Xubuntu meegeleverd wordt, en 2 proprietary drivers van AMD.
Default wordt de door Xubuntu geleverde driver gebruikt dus leek het me verstandig om te kiezen voor 1 van de proprietary drivers aangezien deze specifiek voor de aanwezige hardware zijn. Helaas accepteerde XBMC dat niet. XBMC wil directe toegang tot de hardware en dat staat de driver van AMD niet toe.

De oplossing

Op zo'n moment is Google your friend, en ben ik op zoek gegaan naar mogelijke oplossingen. Tijdens mijn speurtocht naar een oplossing voor het audio probleem, wel werken via de optical uitgang maar niet via de HDMI uitgang kwan ik wat informatie tegen op verschillende fora dat het te maken heeft met de video driver, deze schijnt ook invloed te hebben op de audio via HDMI.

Dan maar eens op de site van AMD kijken of er misschien een video driver is die wel geschikt is. Ik kwam een nieuwe versie van de video driver tegen, helaas was de installatie procedure nogal omslachtig en was het ook niet zeker of dit mijn problemen zou oplossen. Bij stom toeval kwam ik op de site een melding tegen over de combinatie XBMC en de AMD video drivers. Het probleem is bekend en er is een speciale versie van XBMC beschikbaar die wel werkt met de AMD video drivers. Ik heb toen de reeds geinstalleerde versie van XBMC verwijderd, de andere variant geinstalleerd en in de configuratie de AMD video driver geselecteerd. En geloof het of niet, audio via HDMI werkt en XBMC werkt flikkervrij.

Nu deze hobbel geslecht is kon ik doorgaan met het installeren en configureren van de overige componenten en producten die ik wil gebruiken.

Toetsenbord

CD-ROM-LAND had gekozen voor een toetsenbord van Rapoo. Een bijzonder klein toetsenbord met touchpad en niet duur. Helaas bevalt dit toetsenbord mij erg slecht. Het touchpad is erg onnauwkeurig, schiet regelmatig kris-kras over het scherm en is het lastig om op te pakken als het op tafel ligt, je raakt al snel iets aan dat je niet aan wil raken. Mijn keus is gevallen op de Logitech k400. Een compact toetsenbord met touchpad. Het toetsenboerd is iets groter dan de Rapoo, maar ligt beter in de hand en heeft bovendien een rand rondowm de toetsen zodat je het toetsenbord aan de rand vast kunt paken zonder direct 1 of meerdere toetsen in te drukken.

Bij toeval kwam ik vandaag bij de BCC terecht en lag het toetsenbord in het schap. Omdat ik niet weer dezelfde fout wilde maken een verkoper gevraagd of het toetsenbord uit de verpakking mocht zodat ik even kon kijken of het prettig in de hand ligt en bruikbaar is. Volgens de verkoper lag er ergens 1 los in de winkel, bracht me er heen, en vertelde me en passant dat er ook nog een limited edition was van de witte versie. deze wordt geleverd met een lederen cover waarbij de cover ook gebruikt kan worden als steun om het toetsenbord in een schuine positie te plaatsen en dat voor dezelfde prijs als alleen het toetsenbord. De keus was niet moeilijk, meer voor hetzelfde geld gaat er bij mij wel in.





PC upgrade

Guus Disselkoen  27 January 2014 23:38:10
Image:PC upgrade
Een tweede leven voor mijn oude PC

Toen mijn PC na een stroomstoring niet meer wilde opstarten door een fout in Windows Vista, ja dat heb ik in het verleden gebruikt, heeft de PC geruime tijd uit gestaan. Op een gegeven moment toch maar besloten een reanimatie poging uit te voeren. Helaas, alle installatie media van Windows Vista bleken niet geschikt om een repair uit te voeren. Aangezien ik al enige tijd met de gedachte speelde om er Linux op te ztten toen maar besloten om die gedachte om te zetten in een daad. Ik heb toen gekozen voor Ubuntu. Waarom? Ik weet het niet goed. Ik had ook voor Fedora kunnen kiezen, maar ik had al enkele Ubuntu machines draaien en er in het verleden ook mee gewerkt. Ik denk dat dat de doorslag gegeven heeft. Overigens had ik nog graag even de Windows Vista configuratie "tot leven willen wekken" om data er af te halen en veilig te stellen. Dit is uiteindelijk gelukt door de harddisk er uit te halen en in een USB casing te plaatsen en op die manier de data veilig te stellen.

Na de installatie van Ubuntu 12.10 was ik een tevreden gebruiker. Nog een upgrade uitgevoerd naar Ubuntu 13.4 en in de verwachting dat het systeem weer jaren mee zou kunnen. Helaas, de werkelijkheid blijkt anders te zijn. de laatste tijd kreeg ik steeds meer te maken met problemen gerelateerd aan het beschikbare geheugen. Het systeem was steeds vaker aan het swappen en liep ook van tijd tot tijd helemaal vast. Op zich niet verwonderlijk. De specs waren voor 6-7 jaar geleden misschien "state-of-the-art", maar anno 2014 niet meer. De hoeveelheid memmory die webbrowsers gebruiken loopt de spuigaten uit. Ook het afspelen van video bestanden met een steeds hogere resolutie eist zijn tol. Op zo'n moment kom je er achter dat 4GB intern geheugen toch echt te weinig is.

Ik heb nog een poging ondernomen het geheugen te upgraden naar 8GB, maar helaas, ondanks de specs van het moederbord die het in theorie ondersteunt, werkte het niet. Dan maar eens rondkijken op internet wat een leuk, knap en bij-de-tijd systeem doet. Een kant-en=klaar systeem is geen optie. Daar zit te veel op en aan dat ik toch niet nodig heb en wel voor betaal. ook zit daar een Windows licentie bij die ik niet ga gebruiken. Nee, het wordt weer zelf bouwen. Aangezien ik weinig kaas gegeten heb van kasten, voedingen, moederborden, processoren en overige componenten, wordt het naar de winkel gaan, mijn wensen en eisen op tafel leggen en laten adviseren. Totdat ik een mailing kreeg van CD-ROM-LAND, zo'n beetje mijn huisleverancier voor hardware, met een aantal actie bundels. Moederbord + CPU + geheugen voor aantrekkelijke prijzen.

Dat is de oplossing! De PC kast en voeding zijn nog prima, de DVD speler\brander, die weinig gebruikt wordt, kan ook nog prima mee. En met de 2 harddisks van 1TB is ook niets mis. Dus op zaterdag naar CD-ROM-LAND voor een voordeelbundel. Het is uiteindelijk een MSI Z87-G41 PC Mate moederbord met een Intel i5 (3.0 GHz) processor en 8GB intern geheugen geworden. On-board audio (7.1) en video. Daar moet ik de komende jaren weer mee vooruit kunnen.
Ook standaard aanwezig een RAID controler. Dat heeft me er toe gebracht een extra 2 TB disks aan te schaffen en deze in eerste instantie te gebruiken om de data van de PC veilig te stellen. De 2 1TB schijven gaan in RAID 1 configuratie gebruikt worden voor het OS en belangrijke data, de 2TB disk als extra data opslag voor minder belangrijke data.

De eerste actie was het veilig stellen van data op de 2TB disk. Gelukkig is dat met Linux vrij simpel. de configuratie van software wordt veelal in tekst files opgeslagen. een deel in de home directory van de user, in de /etc directory en nog een paar locaties. Voor de zekerheid complete directories met configuratie bestanden gekopieerd naar de 2TB disk. Beter "safe then sorry".

Afgelopen zaterdag was de grote dag. Het "ontmantelen" van de PC. Het verwijderen van de componenten die vervangen worden en vervolgens het installeren van de nieuwe hardware componenten. Gelukkig is er een goede beschrijving hoe dit moet gebeuren. De beschrijving had ik uit voorzorg maar alvast gedownload op mijn laptop, wel zo handig als je de PC afbreekt en daar de informatie staat. Overigens bleek de aan\uit knop op de voorkant een reset knop te zijn, maar daar kom je vanzelf achter als je de PC aan wilt zetten en er niets gebeurd. overigens kwan dat niet alleen door het, in eerste instantie, verkeerd aansluiten van de knop. Het kwam eigenlijk al door de voeding. deze bleek niet geschikt te zijn voor het nieuwe moederbord. Het oude moederbord had een 24-pins en 4-pins aansluiting voor de stroom. Het nieuwe moederbord een 24-pins en 8-pins aansluiting. de voeding beschikte echte over een 20-pins en 2 4-pins aansluitingen waarbij 1 4-pins aansluiting in combinaie met de 20-pins aansluiting gebruikt werd voor de 24-pins aansluiting. Ik kwam dus wat te kort. Helaas was er geen andere optie dan een nieuwe voeding aanschaffen. Gelukkig bleek deze niet zo duur te zijn. Overigens kwam ik met de oude voeding ook al een SATA aansluiting te kort en had ik sowieso een adapter kabel nodig. Met de nieuwe voeding was dat probleem ook gelijk opgelost.

Nadat alle onderdelen op zijn plek geschroefd zijn en aangesloten het moment om de PC aan te zetten en te beginnen aan de configuratie van de hardware. Als eerste het aanmaken van de RAID configuratie. Voor de zekerheid had ik de 2TB disk nog maar niet aangesloten, hier staat immers de backup data op en ik zie die liever niet verdwijnen omdat de setup alle disks wist.

De installatie van het OS, Ubuntu 13.10 64bits, verliep voorspoedig en stond er na ongeveer 20 minuten op. Na de installatie een stukje basis configuratie zoals netwerk, persoonlijke instellingen en de eerste software. Vervolgens het aansluiten van de 5.1 speakers en het configureren van de audio. En daar ging het mis. Allereerst was er in de documentatie niets te vinden over het aansluiten van een 5.1 speakerset op de aanwezige uitgangen. De audio configuratie tool van Ubuntu kent alleen 2 speakers, met test mogelijkheid, dat wel. Aangezien de audio chipset van Realtek is op zoek gegaan naar de drivers hier voor en ook gevonden. Alleen liet deze zich niet installeren. Gezocht naar een oplossing en gevonden, Alsa opnieuw installeren. Keurig nette stap-voor-stap documentatie gevonden en uitgevoerd. Met als resultaat: geen audio device meer in Ubuntu. Alle pogingen die ik daarna nog genomen heb om de audio kaart weer terug te krijgen in Ubuntu waren zonder succes. Uiteindelijk een herinstallatie van Ubuntu uitgevoerd om de audio weer terug te krijgen. uiteindelijk blijkt er een simpel tooltje te zijn om 5.1 audio te activeren en te configureren in Ubuntu: Alsamixer, via de commandline op te starten en vervolgens een simpele grafische interface om de audio settings te configureren. Je moet het maar weten.

De volgende uitdaging is het installeren van de Lotus Notes client. Om deze te kunnen installeren moeten er eerst een aantal libraries geïnstalleerd worden waar de Lotus Notes client van afhankelijk is. Aangezien de Lotus Notes client 32-bits is en het OS 64-bits vormt dit een extra uitdaging. Van de benodigde libraries moet de 32-bits variant geïnstalleerd worden en ook nog eens de juiste versie. En Lotus Notes wordt officieel niet ondersteund op Ubuntu 13.10.
Gelukkig is er de nodige documentatie te vinden over het installeren van Lotus Notes op een 64-bits versie van Ubuntu en zelfs wat informatie  voor Ubuntu 13.10. Op GitHub is zelfs een script te vinden dat het installatie package aanpast en een aantal dependicies verwijderd uit het installatie script. Ook is er website die een overzicht heeft van alle (32-bits) libraries de geïnstalleerd moeten worden voordat de installatie van Lotus Notes uitgevoerd kan worden.
Helaas bleek dit nog niet afdoende te zijn. Bij het starten van de installatie gaf deze aan dat er nog een dependency ontbrak. De betrende library is aanwezig op het systeem, maar kennelijk niet herkend door het installatie script of het is niet de juiste versie. Ik heb dit opgelost door handmatig een nieuw package te maken en de betreffende dependency uit de controle te verwijderen. Vervolgens kon de Notes client succesvol geïnstalleerd worden.
Ook bij het installeren van de embedded Sametime client liep ik tegen een dependency probleem op. ook hier bracht het handmatig aanpassen van het package de oplossing.

Na de nodige hobbels is het uiteindelijk dan toch gelukt om de Lotus Notes client, inclusief alle features, te installeren op een Ubuntu 64-bits installatie en is deze blog geschreven m.b.v. van deze installatie.

Inmiddels staat de meest essentiële software op de PC, maar nog lang niet alles. De komende tijd zal ik nog wel even bezig zijn met het installeren van software die ik, op dat moment, nodig heb. Alle backup data staat nog op de extra harddisk zodat het configuren van de software vrij simpel is. In de meeste gevallen het kopiëren van een bestand of directory naar de juiste locatie. In het uiterste geval het openen van een configuratie bestand en delen van de inhoud kopiëren en plakken in het nieuwe configuratie bestand.

De download fabriek

Guus Disselkoen  30 December 2012 23:38:34
Image:De download fabriek
Zo, ik heb mijn eigen TV zender.

In mijn vorige blog heb ik beschreven hoe ik een aantal producten geïnstalleerd heb om het downloaden van films, TV series en muziek vrijwel automatisch te laten verlopen. En ik moet zeggen, ik ben zeer content met de manier waarop het verloopt, maar…

Ja, er is een “maar” anders was er geen reden om deze blog te schrijven.
Ik heb, voor het gemak en omdat me het de meest logische keuze leek, alles geïnstalleerd op mijn Media Center PC. Deze PC is echter niet zo krachtig. Weliswaar heeft deze 2 CPU’s maar slechts 2GB aan intern geheugen en dat is volgens mij ook het maximale wat ondersteund wordt. Ook liep ik tegen het probleem aan van beschikbare disk space, met het downloaden van een seizoen van een serie plus nog wat films ging dat erg hard. Nu is disk space gelukkig niet het grootste probleem. Ik heb meerdere NAS-en en had zelfs al een extra disk aangemaakt van 1TB op een NAS en deze, via ISCSI, toegevoegd aan de PC.

Het installeren van alle producten op de Media Center PC was min of meer een experiment om te kijken of het inderdaad de mogelijkheden gaf om het downloaden makkelijker te maken. En dat is zo.
Nu het concept zich bewezen heeft wordt het tijd om na te gaan denken over een permanente oplossing die het kijken van TV series en films niet in de weg zit. Ik had een paar eisen waar aan voldaan moet worden:
  • De gedownloade bestanden moeten vanaf iedere PC of laptop te gebruiken zijn.
  • Het downloaden mag het bekijken van de films en TV series niet in de weg zitten
  • Voorkeur voor Linux i.p.v. Windows
De keuze was al snel gemaakt, het wordt een nieuwe linux server waarop de software geïnstalleerd wordt en de gedownloade bestanden worden op een disk op een NAS opgeslagen. Deze disk is vanaf iedere PC te benaderen en te gebruiken. Ik heb een NAS die ook gebruikt wordt voor de VMware omgeving waarop nog ruim 2TB beschikbaar is. Deze NAS beschikt over 2 netwerkkaarten met ieder een snelheid van 1GB\s en ondersteund ISCSI.

Het inrichten van een extra server is voor mij niet zo’n probleem. Zo’n beetje alle machines zijn gevirtualiseerd en op de ESX omgeving is nog capaciteit beschikbaar voor extra servers.
Mijn ESX omgeving bestaat uit 2 clusters, een 64bits en een 32 bits cluster. Aangezien de producten alleen beschikbaar zijn als 32 bits, en ik niet de noodzaak heb om een 64 bits OS te gebruiken, heb ik er voor gekozen een 32 bits server in te richten. Deze kan dan op ieder cluster gebruikt worden.
Nu de keuze gemaakt is, en de beslissing genomen, wordt het tijd om het plan ten uitvoer te gaan brengen. Ik ben zelf nogal fan van CentOS, een op Red Hat Enterprise Linux gebaseerde variant die gratis is en die gebruikt wordt voor al mijn Linux servers.

Na het installeren van het OS begonnen met het installeren van de software van de diverse producten en de benodigde additionele software die de diverse producten nodig hebben. Toen liep ik al snel tegen problemen aan. SABnzbd vereist een minimale versie van Python. En die versie had ik niet. Python upgraden koste heel veel moeite, Ik gebruikte CentOS 5.8 en die ondersteunt niet de vereiste versie van Python. Met wat kunst en vliegwerk is het gelukt de juiste versie van Python te installeren en kon ik verder. Maar niet voor lang. Al snel liep ik tegen het volgende probleem op. Spotweb heeft een aantal PERL onderdelen en libraries nodig om goed te kunnen werken. Ook hier liep ik weer tegen het probleem op van niet ondersteunde software op CentOS 5.8 en afhankelijkheden met andere geïnstalleerde software. Het eindigde toen ik YUM niet meer kon gebruiken om software te installeren en sommige applicaties niet meer werkten. Tijd om een nieuw plan te trekken.

Nu zou de meest voor de hand liggende keuze zijn geweest CentOS 6.x te installeren die de benodigde productenen versies van PERL en Python wel ondersteund. Maar in mijn zoektocht naar oplossing voor mijn problemen kwam ik er achter dat er heel wat meer informatie beschikbaar is voor Ubuntu dan voor CentOS. Zo zijn er zelfs complete handleidingen om SABnzbd, Spotweb, SickBeard en CouchPotato te installeren op Ubuntu server en desktop. Dat gaf de doorslag, en heb ik besloten een Ubuntu server op te zetten en daar alles op te installeren.

De installatie van Ubuntu server zal ik niet beschrijven, al moet ik zeggen dat dat niet geheel zonder slag of stoot ging, en ook de configuratie gaf nog wat problemen, maar uiteindelijk is het allemaal goed gekomen.

De installatie van de software is redelijk eenvoudig. De meeste producten zijn te download via Github of SourceForge. De procedure is simpel, je gaat naar de directory waar je de software wilt installeren en met een simpel wget command haal je de software binnen en daarna is het een kwestie van configureren. Een uitzondering hier op was SABnzbd. Deze is ook te installeren via de software tool van Ubuntu en die heb ik dan ook gebruikt. Alleen wordt er dan een oudere versie geïnstalleerd. Maar daar over later meer.

Na het installeren van de Ubuntu server kwam de volgende uitdaging: Het toevoegen van de disk op de NAS zodat deze gebruikt kan worden om de gedownloade bestanden op te slaan. Om de disk te kunnen gebruiken binnen Ubuntu moest ik eerst nog software installeren om ISCSI te kunnen gebruiken. Gelukkig is dit goed beschreven, ook welke stappen er uitgevoerd moeten worden. De disk was al snel beschikbaar en gebruiksklaar. Helaas is deze na een reboot niet meer beschikbaar en moet er eerst handmatig enkele acties uitgevoerd worden. Dat moet ik nog oplossen, maar voor nu werkt het. Ook moest er een mount aangemaakt worden naar de disk (op een andere NAS) waar alle mp3 bestanden staan. Deze wil ik blijven gebruiken omdat de MP3 server deze disk ook gebruikt. Niets handiger dan dat de bestanden direct op de juiste plek terecht komen en niet handmatig verplaatst hoeven te worden.

De volgorde van installeren van de diverse producten maakt niet zo veel uit, alleen tijdens het configureren is het van belang dat SABnzbd en Spotweb geïnstalleerd en geconfigureerd zijn en dat de download directories aangemaakt zijn. Deze heb je namelijk nodig tijdens het configureren van de verschillende producten.
Het werkt eigenlijk vrij simpel. SABnzbd wordt gebruikt voor het downloaden van de films, TV series en muziek. De nzb’s die daarvoor nodig zijn worden “aangeleverd” door SickBeard, CouchPotato, Headphones of Spotweb. Na het downloaden van de bestanden worden deze in de geconfigureerde folders opgeslagen waarna deze verder verwerkt worden door SickBeard, CouchPotato of Headphones. Dat verwerken kan zijn het renamen van bestanden en folders, het ophalen van ondertitels of het bijwerken van de status binnen het betreffende programma. In SickBeard wordt op die manier bijgehouden welke afleveringen van een serie al gedownload zijn.

Automatisch starten

Uiteraard is het wel zo handig dat na het starten van de Ubuntu server ook alle download programma’s automatisch gestart worden. Gelukkig wordt er met ieder programma een start en stop script meegeleverd voor Linux. Alleen nog een kwestie van de documentatie lezen en de uit te voeren stappen uitvoeren.

SABnzbd

Na de installatie van SABnzbd kwam ik er achter dat dit al een wat oudere versie betrof dus updaten maar. Nu is het updaten van SABnzbd vrij eenvoudig, ik heb dit ook al een keer uitgevoerd op de Media Center PC. Je download de laatste versie en vervangt die bestaande directory waarin het programma geïnstalleerd is met de nieuwe versie. Alleen ging dat in dit geval niet helemaal goed. SABnzbd draait en werkt zoals het moet werken, maar het start en stop script werkt niet meer, waardoor SABnzbd niet als service draait en ook niet op die manier gestart en gestopt kan worden. Op dit moment heb ik daar nog geen oplossing voor gevonden en tot die tijd zal het handmatig moeten gebeuren. Daar valt mee te leven.
Spotweb
De volgende uitdaging is Spotweb. Spotweb maakt gebruik van een http server en heeft, in tegenstelling tot de overige producten, geen eigen ingebouwde http server. Op zich wel prettig want daardoor heb je iets meer controle over de http root en poort die gebruikt moet worden.
Ik had Spotweb al geïnstalleerd op mijn bestaande http server. Dezelfde server die als front-end gebruikt wordt voor alle web sites en web based programma’s, dus dit zou geen probleem mogen zijn. Zou, want de versie van Apache op Ubuntu is afwijkend van de versie in de IBM http server die ik gebruik en die ik ken als m’n broekzak.

In de huidige versie van Apache is de configuratie behoorlijk anders dan in de versies die ik ken. Er is niet meer 1 httpd.conf bestand waarin alles geconfigureerd wordt, het is nu verdeeld over verschillende componeneten. Modules die gebruit worden moeten met een commando “enabled” worden en hetzelfde geldt voor virtuele hosts. Iedere virtuele host heeft zijn eigen configuratie bestand en moet via een commando geactiveerd worden. En dan is er nog de default web site.
Met wat test en experimenteer werk is het gelukt Spotweb werkend te krijgen en ook alle functionaliteit beschikbaar te krijgen.

In de installatie op de IBM http server werkte de integratie met SABnzbd niet en was er een probleem met het converteren van BMP bestanden. Dat laatste heb ik op kunnen lossen door de conversie uit de php code te verwijderen en dus over te slaan, dan maar geen plaatje. Het eerste probleem heb ik niet op kunnen lossen, maar via een work-around was er mee te leven. De problemen werden veroorzaakt door het ontbreken van PERL modules, die niet geïnstalleerd konden worden wegens afhankelijkheden met andere modules.

Newznab

Programma’s als SickBeard en CouchPotato hebben een Newznab provider nodig voor het vinden van nzb bestanden die vervolgens door SABnzbd gebruikt worden om een film of TV serie te downloaden. Er zijn een aantal gratis en betaalde Newznab providers beschikbaar. Nadeel van gratis providers is dat deze soms spontaan ophouden te bestaan en dan zit je zonder. Een alternatief is Spotweb configureren als Newznab provider. Een Newznab provider is niets anders dan een site met een API die gebruikt wordt door de diverse programma’s om te zoeken naar bestanden en een nzb te genereren met de benodigde informatie om de bestanden te kunnen downloaden.
Spotweb als Newznab provider heeft bovendien nog een voordeel. Spotweb maakt gebruik van de news server waarvoor je een account hebt en bevat de bestanden die je ook daadwerkelijk kunt downloaden. Maar aan de andere kant is dit ook weer beperkt door wat Spotweb ophaalt. Er is meer dan datgene dat Spotweb toont. Een alternatief is je eigen Newznab server opzetten.
In mijn geval beperk ik mij tot een aantal gratis Newznab providers zoals NZBx, NZBClub, NZBIndez en Spotweb.

Zo en dan is het klaar, de download fabriek staat en draait. Of toch niet?
Ja, het werkt allemaal, series selecteren om te downloaden, nzb wordt naar SABnzbd gestuurd, bestanden worden gedownload, gecontroleerd, indien nodig gerepareerd, uitgepakt en de status bijgewerkt. En als klap op de vuurpijl worden de ondertitels gedownload en in de juiste directory geplaatst. Helaas, het is traag, erg traag. Het downloaden gaat met een snelheid die weinig constant is en behaald ook vrijwel nooit de maximale snelheid.
Dat is een tegenvaller, ik had het zo leuk bedacht en was er eigenlijk van overtuigd dat ik de perfecte oplossing gevonden had. De vraag is nu, waarom is het downloaden nu zo traag? Een test met een download via de browser gaf aan dat het niets met de server te maken heeft. Via de browser wordt wel de maximale snelheid gehaald. En toen begon mij iets te dagen. De bestanden worden gedownload naar een externe disk die via het netwerk benaderd wordt, en het downloaden verloopt via dezelfde netwerk verbinding. Sterker nog, de data gaat meerdere keren over dezelfde verbinding. De server is virtueel, gebruikt een datastore op de NAS en slaat het op op een disk op dezelfde NAS in een andere datastore.

Tijd voor een experiment.

Ik heb de configuratie van SABnzb aangepast zodat de bestanden niet meer op de externe disk opgeslagen worden, maar lokaal. Vervolgens een aantal afleveringen van een serie gedownload om te zien of het nu inderdaad sneller gaat. En zoals ik verwachtte ging het downloaden een stuk sneller en had ik ook een constante download snelheid en maximale snelheid. Probleem opgelost!
Of toch niet?

De server die ik opgezet heb heeft slechts een beperkte disk grootte. Ik was er vanuit gegaan dat er alleen een OS en wat software op geïnstalleerd zou worden en wat extra ruimte voor te downloaden software. Ik had dan ook gekozen voor een disk van 20B, normaal gesproken meer dan genoeg voor een Linux server, In feite is 10GB al voldoende.
Nu is het gelukkig tegenwoordig niet meer zo’n probleem om de disk van een virtuele linux server te vergroten en de documentatie daarover was al snel gevonden. Maar je raad het al, het bleek toch niet zo eenvoudig, alsof Murphy meegeholpen heeft de boel op te zetten en in te richten.
De beschrijving ging uit van een “Thin provisioned disk”. Voor wie nite bekend is met VMware; er zijn 2 typen disks die je kunt gebruiken voor een virtuele machine. Thin en Thick provisioned. Thick wil zeggen dat je de grootte van de disk tijdens het aanmaken van de virtuele machine opgeeft en dat er dan ook een disk met die grootte aangemaakt wordt. Bij een Thin provisioned disk geef je de grootte op die de disk maximaal mag zijn en wordt een disk aangemaakt die “meegroeit”. Naarmate er behoefte is van meer schijfruimte wordt de disk vergroot tot de maximale grootte bereikt is. Overigens is het niet zo dat de disk kleiner wordt naarmate er minder dat op staat, maar dat terzijde.
Nu maak ik eigenlijk altijd een disk aan met de optie Thin, je raad het waarschijnlijk al, dit keer dus niet. Zal wel een blond moment gehad hebben. Nu heb ik (waarschijnlijk) meerdere opties. De meest simpele is onder VMware een nieuwe disk aanmaken en deze toevoegen aan de Linux server. Binnen Linux wordt deze dan onder een mountpoint beschikbaar en is voor het OS volledig transparant. Maar er zit ook een nadeel aan. Op de server is no zo’n 15 GB beschikbaar, genoeg voor het downloaden van een paar films of series, maar kan problemen geven wanneer een download niet compleet is. De bestanden kunnen niet verder verwerkt worden en moeten handmatig verwijderd worden en kan de disk vol lopen waardoor het niet meer mogelijk is nieuwe bestanden te downloaden. Niet wenselijk dus.

Wanneer ik een extra disk toevoeg en die ga gebruiken voor de gedownloade bestanden dan moet deze A: voldoende groot zijn en B: blijft er 15GB ongebruikt op de disk van de server. Bovendien weet ik niet of ik het probleem van de trage downloads opnieuw in het leven roep omdat het een separate disk op de NAS betreft.
Tijd voor een “Plan B”. Weer een nieuwe server opzetten had ik niet echt in gedachte, het zou een optie kunnen zijn, maar zag toch tegen het werk op. Een andere optie is de machine clonen, in de hoop dat ik dan wel aan kan geven wat voor type disk ik wil gebruiken. En warempel, die keuze heb ik! Ik kan een clone maken met een Thin provisioned disk waarna ik vervolgens de disk kan vergroten en het filesystem aan kan passen.

Nu alles geïnstalleerd en geconfigureerd is en werkt rest er nog 1 ding. Het aanpassen van de vrtuele hosts op de http server, deze verwijzen nog naar de Media Center PC en moeten verwijzen naar de nieuwe server. Kwestie van het configurate document aanpassen en een find\replace uitvoeren, mce01 wordt mdc en de poort nummers aanpassen van een enkel product. Als laatste actie de web site die ik gemaakt heb aanpassen en Spotweb toevogen zodat ook deze vanuit de website aangeroepen kan worden. De download fabriek is compleet!

Er is geen bal op de TV

Guus Disselkoen  9 December 2012 23:46:02
Image:Er is geen bal op de TV
Begin je eigen TV station

Al een paar jaar kijk ik nauwelijks nog naar TV series op de televisie. Ik geef er de voorkeur aan series die ik wil kijken, te downloaden van internet i.p.v. deze te bekijken wanneer ze door een omroep uitgezonden worden. Voordat de omroepen in HD kwaliteit uit gingen zenden o.a. vanwege de betere kwaliteit, maar vooral om een aantal andere praktische redenen.
Wanneer je een serie download van internet, en zoals ik het doe, per seizoen, ben je vrij om te kijken wanneer je maar wilt. Je bent niet afhankelijk van de dag en tijdstip waarop een omroep een serie uitzend. Tevens hebben, vooral de commerciële omroepen, er een handje van om halverwege het seizoen over te gaan op herhalingen van voorgaande seizoenen. Ook niet onbelangrijk is dat de afleveringen niet onderbroken worden door reclame.

In het verleden maakte ik vooral gebruik van programma’s als FTD en Spotnet on de afleveringen, of DVD’s met een compleet seizoen, te vinden en te downloaden met NewsLeacher. En daar gaat redelijk wat tijd in zitten.

Enkele weken geleden stuitte ik op het programma SpotGrit. Vergelijkbaar met Spotnet, maar toch net even beter. Maar het kan nog beter. Er is een programma waarmee het nog eenvoudiger kan om afleveringen van series te downloaden en zonder dat je er al te veel omkijken en werk aan hebt. Dit programma heet Sick Beard en werkt eigen lijk heel simpel. Je voegt TV series toe die je graag wilt zien en het programma download de bestanden zodra deze beschikbaar komen.

Nu vertel ik het iets simpeler dan dat het is, want voordat je Sick Beard kunt gebruiken moet je eerst nog wel het e.e.a. configureren. Met Sick Beard heb je 2 mogelijkheden de bestanden te downloaden: via torrents en een Bit Torrent client, of met een News Reader en nzb files. De beste methode is via nzb bestanden en een News Reader. Voor wie niet weet wat nzb  bestanden zijn, tekst en uitleg kun je vinden op Wikipedia.

Aan Sick Beard alleen heb je dus niets, je hebt daarnaast dus ook een Bit Tottent client of een News Reader nodig. Sick Beard “speurt” internet af naar de torrents of nzb files van de series die je opgegeven hebt en zodra deze gevonden zijn worden die gedownload en geplaats in een folder waar ze door de Bit Torrent client of News Reader opgepakt worden en vervolgens de bestanden gedownload worden.

Ik heb er voor gekozen om nzb files te gebruiken. Nu werkt Sick Beard nauw samen met de News Reader. Niet alleen worden de nzb bestanden geplaatst in een folder die door de News Reader “bewaakt” wordt, de News Reader geeft ook de download status door aan Sick Beard. Op het moment dat de nzb verwerkt is, en het downloaden van de bestanden begonnen is, wordt dit doorgegeven aan Sick Beard en de status aangepast. Ook wanneer het downloaden gereed is wordt dit doorgegeven aan Sick Beard en wordt de informatie in Sick Beard bijgewerkt.
Sick Beard werkt heel goed in combinatie met SABnzbd, een gratis News Reader. Nu wil het toeval dat SABnzbd ook geïntegreerd is in SpotGrit, dat ik al gebruik voor het handmatig downloaden van films en series. Om SABnzbd en Sick Beard goed samen te laten werken moet de configuratie van beide programma’s op elkaar afgestemd worden. In SABnzbd worden folders opgegeven waar de gedownloade bestanden opgeslagen worden. Deze folders worden door Sick Beard gebruikt om de bestanden verder te verwerken en op te slaan in een folder met bestanden, klaar om te kijken.

Nadat de bestanden gedownload zijn kan SABnzbd ook een e-mail sturen zodat je weet dat er nieuwe afleveringen zijn om te kijken, of dat een download mislukt is en de reden waaron deze mislukt is.

Sick Beard voert na het downloaden nog een aantal bewerkingen uit op de gedownloade bestanden. Zo plaats het de bestanden in een folder met de naam van de TV serie en kan het de bestandsnamen aanpassen om het een beetje begrijpelijk te houden. Ook verwijderd Sick Beard bestanden die met de download meegekomen zijn, maar niet gebruikt worden voor het afspelen van de afleveringen.

Nu is Sick Beard samen met SABnzbd een mooie combinatie om automatisch series te downloaden, maar we zijn er nog niet. Sick Beard is vooral gericht op Amerikaanse series en maakt gebruik van een TV database (TVDB) om de informatie over de betreffende TV serie te vinden, zoals uitzend informatie en welke aflevering wanneer wordt uitgezonden.
Wanneer een aflevering van een Amerikaans serie beschikbaar komt en gedownload is, dan missen we nog één ding: de ondertitels. Persoonlijk geef ik er de voorkeur aan om Engelstalige series te kijken met Nederlandse ondertitels. Ook daar is een oplossing voor. Er is een site waar vrijwel alle ondertitels van alle populaire TV series te vinden is, bierdopje.com. Aan de naam zou je het niet direct zeggen, maar toch is het zo. Maar ja, handmatig de juiste ondertitels vinden bij de gedownloade versie valt nog niet mee en is bovendien toch weer een hoop extra, handmatig, werk.

Ook hier is een oplossing voor, Auto-sub. Een programma dat op basis van de gedownloade afleveringen op bierdopje.com de bijbehorende ondertitels opzoekt en download. En als er nog geen ondertitels beschikbaar zijn, de opdracht in een queue plaatst en regelmatig controleert of de ondertitels al beschikbaar zijn.
Op deze manier krijg je al een beetje je eigen TV stations met “on-demand” uitzendingen.

Maar ik ben er nog niet. Ik kijk ook af en toe graag een film, en dat hoeft niet persé de meest recente film te zijn die net in de bioscoop draait. Soms hoor je van iemand over een goeie film die je beslist een keer moet zien. Het vinden van de film kan dan best een uitdaging zijn. Ook hiervoor is een oplossing die perfect aansluit bij de reeds aanwezige producten en daar mee samenwerkt. Dit programma heet Couch Potato. Het is enigszins vergelijkbaar met Sick Beard, maar dan voor films.
Couch Potato maakt gebruik van o.a. RSS feeds van internet film databases zoals IMDB en de website Movies.IO. Op Movies.IO kun je zoeken naar films en de films die je wilt bekijken toevoegen aan een watch list. Deze watch list wordt vervolgens gebruikt door Couch Potato om het nzb bestand te vinden en te downloaden. Daarnaast kun je vanuit Couch Potato ook rechtstreeks zoeken naar films en toevoegen aan de lijst met te downloaden films.

Ook Couch potato werkt met SABnzbd op een vergelijkbare manier als Sick Beard.
Wanneer je met nzb files werkt ben je afhankelijk van nzb search engines om de juiste nzb bestanden te vinden. Niet alle nzb web sites zijn geschikt om door SABnzbd, Sick Beard en Couch Potato gebruikt te kunnen worden. Een aantal gratis sites accepteren geen nieuwe gebruikers of ondersteunen de methode die gebruikt wordt niet. Er zijn een aantal betaal sites, maar daar maak ik liever geen gebruik van zolang er gratis alternatieven beschikbaar zijn.

Met deze verschillende programma’s, die nauw met elkaar samenwerken, heb je eigenlijk alles in huis om een plezierig avondje TV kijken tegemoet te gaan. Uiteraard kun je ook nog gebruik maken van diensten zoals Uitzending gemist, RTL gemist en SBS6 gemist voor Nederlandse producties en programma’s.

Nu zou je misschien denken dat ik wel klaar was, maar niets is minder waar. SABnzb, Sick Beard, Auto-sub en Couch Potato zijn web based applicaties. Er wordt een web server geïnstalleerd en de configuratie van de programma’s gebeurd via een web browser. Ook het opgeven van series en films om te downloaden gebeurd via de web browser. En dat biedt mogelijkheden. Allereerst hoef je niet persé op de PC waarop alles geïnstalleerd is je aanpassingen te doen en je te downloaden series en films toe te voegen. Je kunt het vanaf iedere PC doen. Bovendien kunnen de programma’s ook geïnstalleerd worden op een NAS, mits die dit ondersteund. En een NAS beschikt over het algemeen niet over een monitor, toetsenbord of muis.
Ik heb alles op mijn Media Center PC geïnstalleerd. Ik heb eigenlijk niet gekeken of het mogelijk is om het op één van mijn NAS-en te installeren.

Aangezien alle programma’s via een web interface te beheren zijn, er per applicatie een http server gebruikt wordt is het vrij simpel voor mij om deze ook vanaf internet te benaderen. Ik gebruik hiervoor een reverse proxy. Deze wordt nu al gebruikt om alles wat thuis web based is te benaderen, dus is het een kwestie van configureren om ook SABnzbd, Sick Beard, Couch Potato en Auto-sub toegankelijk te maken vanaf internet.

En om het echt helemaal af te maken heb ik er zelfs een web site voor gemaakt waarin alle programma’s geïntegreerd zijn. Vanuit één web site heb ik toegang tot alle afzonderlijke producten. De site heeft de toepasselijke naam “Media Download Center” gekregen. En nee, deze site is niet voor de hele wereld beschikbaar, maar alleen voor mijzelf, sorry.

Screenshots


Image:Er is geen bal op de TV

Image:Er is geen bal op de TV

Image:Er is geen bal op de TV

Image:Er is geen bal op de TV

Handleiding:

SABnzbd, Sick Beard en Coutch Potato handleiding

Twitter voor system notificaties

Guus Disselkoen  28 August 2012 18:23:32
Image:Twitter voor system notificaties

Social media als beheer tool.

Soms kom je op de meest vreemde ideeën. De ene keer blijkt het een stompzinnig idee te zijn, de andere keer simpelweg niet uitvoerbaar en soms is het zelfs geniaal. In welke categorie het volgende idee valt weet ik nog niet, misschien wel in de categorie zinloos.

Ik heb thuis een aantal servers draaien waaronder een aantal Linux servers. Standaard functionaliteit van een Linux server is het versturen van notificatie e-mails en informatieve mail zoals de logwatch. Sinds ik een e-mail scanner (gateway) gebruik die op Linux draait, MailScanner met MailWatch om exact te zijn, maak ik gebruik van deze notificaties en alerts. De e-mails worden doorgestuurd naar een Lotus Notes account en komen daar in een mail file terecht. Onlangs heb ik ook op de overige Linux servers de e-mail functionaliteit zo geconfigureerd dat alle notificaties en alert e-mail via de mail gateway naar het Lotus Notes account gestuurd worden. Alleen heb je dan een bak met e-mail waar je regelmatig door heen moet gaan om te weten te komen of alles naar behoren werkt. En dat is juist iets wat snel vergeten wordt. Misschien niet bij een bedrijfsomgeving waar dagelijks beheer uitgevoerd wordt. Bij mij thuis is dat niet het geval, daar regeert toch vooral het 'piep systeem'.

Nu kan ik natuurlijk alle systeem e-mail naar mijn eigen mail adres laten sturen, maar daar zit ik ook niet echt op te wachten. Veel e-mails zijn alleen maar informatief, anderen juist niet. Bovendien wil ik proberen mijn eigen mail file enigszins schoon te houden en niet vol te laten lopen met tientallen "warning" e-mails wanneer er op één of meerdere servers iets fout gaat. Wel wil ik het weten.

Nu kun je uiteraard ook een rule maken die e-mail, die aan bepaalde criteria voldoet, vanuit de vergaarbak doorstuurt naar je eigen mail adres. Maar ook dat vind ik niet handig, hoe vang je alles af en zorg je ervoor dat alleen datgene dat je wilt hebben ook daadwerkelijk doorgestuurd wordt?

En toen kreeg ik een idee: Twitter!
Ik heb vrijwel altijd een Twitter client open staan, zowel thuis als op het werk, en daarnaast een Twitter client op m'n mobiele telefoon.Niet dat ik er continu naar kijk, maar wel zeer regelmatig.

Het klinkt een beetje raar misschien, social media inzetten om servers thuis te beheren, maar ik vond het zo gek nog niet. Alles wat ik nodig heb is voorhanden, ik hoef er niets zelf voor te bouwen, en het is bovendien nog gratis ook!

Wat heb je er voor nodig?
  • Twitter account
  • Hootsuite account
  • Mail database en mail-in database document (Lotus Notes/Domino)

Hoe werkt het?

Allereerst heb ik op de Domino server een mail file aangemaakt en een mail-in document zodat er mail gestuurd kan worden naar de betreffende mail file. In de ACL van de mail file is Anonymous opgenomen met read acces. Waarom dit nodig is lees je later. Vervolgens heb ik in de mail file, waarnaar de e-mails van de Linux servers gestuurd worden, een rule aangemaakt die vrijwel alle berichten doorstuurt naar de mail-in database.

Vervolgens heb ik een Twitter account aangemaakt en aangegeven dat de tweets private zijn zodat niet iedereen deze kan volgen.
Om de e-mail berichten als tweet op Twitter te laten verschijnen gebruik ik Hootsuite. In Hootsuite kun je RSS en Atom feeds toevoegen aan je profiel. De berichten dia op deze manier opgehaald worden komen als tweet in de timeline van je twitter account.

De RSS feed voor de berichten wordt opgehaald via iNotes, de web interface van de Notes mail file, en dat is ook de reden dat Anonymous lees rechten moet hebben op de mail file.

Tot slot heb ik mij, met mijn eigen Twitter account, aangemeld als volger van het nieuw aangemaakte Twitter account en het verzoek goedgekeurd.

Het resultaat? Tweets in mijn Twitter timeline afkomstig van de notificatie e-mails met het subject en een short url naar het betreffende bericht. Op basis van het onderwerp kan ik bepalen of het betreffende bericht belangrijk genoeg is om te lezen en eventueel actie te ondernemen.

Image:Twitter voor system notificaties

Gek of geniaal?

Uiteraard is de oplossing niet perfect. De gebruikte e-mail database staat open en is, via internet, in principe voor iedereen toegankelijk via een web browser. Ik wil nog kijken of ik via de reverse proxy server de toegang kan beperken door er bijvoorbeeld een aparte host voor te definiëren  en alleen de Hootsuite servers toegang te geven tot de url.

Ongetwijfeld zijn er andere en wellicht betere manieren te bedenken om hetzelfde te bereiken. Mij ging het er om op een simpele manier, met middelen die gratis voorhanden zijn, via social media iets op te zetten dat praktisch en bruikbaar is.Ongetwijfeld ga ik hier nog verder aan werken en bedenken hoe ik het kan optimaliseren en uit kan breiden. Misschien een Facebook pagina?

Aan de mail-in database, waarin de berichten terechtkomen, is ook een internet e-mail adres gekoppeld, en is het mogelijk om ook andere berichten via Twitter te plaatsen en terug te zien in je eigen timeline. Ook bied het de mogelijkheid anderen toegang te geven tot de tweets. Een simpel request om het Twitter account te volgen, en dat goed te keuren, geeft anderen toegang tot de notificaties.

Of deze oplossing ook te realiseren is met andere e-mail systemen weet ik niet, maar met Lotus Notes/Domino zijn de mogelijkheden vrijwel onuitputtelijk. Ik kan mij geen praktischer of veelzijdiger systeem voorstellen.






Tessa Verbeek SEO specialist

Guus Disselkoen  18 August 2012 22:21:49
Image:Tessa Verbeek SEO specialist

Is dit een SEO expert?

vandaag ontving ik een email van Tessa Verbeek, SEO expert bij SEO Dutch. Voor degene die niet weet waar SEO voor staat (en ik kan het je niet kwalijk nemen), SEO staat voor Search Engine Optimization, oftewel je web site optimaliseren om gevonden te worden door search engines zoals Google en Bing. En ja, dat is tegenwoordig een vak apart. Ranking voor een web site in search engines is big business. Zeker als het gaat om commerciële web sites.

Nu zijn mijn web sites en blog niet commercieel, ben ik niet op zoek naar zoveel mogelijk bezoekers, maar vooral voor liefhebbers en belangstellenden. Bovendien draaien de web sites en blog op mijn eigen servers en kan ik een zeer groot aantal bezoekers niet aan.

Maar nu even terug naar de kern van het verhaal. Ik ontving vandaag de volgende email:


Hoi,

Mijn naam is Tessa Verbeek en ik zou u graag willen vertellen hoe uw blog.waarisguus.nl
zelfs een nog betere ranking kan krijgen in Google.

Ik ben een SEO expert werkende bij SEO Dutch en terwijl ik onderzoek deed voor enkele
collega's heb ik uw e-mail adres gevonden en besloten direct contact met u op te nemen.

Als u geïnteresseerd bent zal ik erg verheugd zijn om u aanvullende informatie
te versturen en alle nodige details om het in werk te stellen.

Alvast bedankt,

Tessa
seodutch.org

Nu ben ik nogal wantrouwig wanneer ik email ontvang van personen en/of bedrijven die ik niet ken en ga dan ook op onderzoek uit als ik het niet vertrouw. In dit geval kwam ik er al heel snel achter dat dit geen echt bericht was. Dankzij de blog van DenBolle.nl kwam ik er al snel achter dat dit bericht fake is en eigenlijk thuis hoort in de categorie spam. Geïnspireerd op het bericht op DenBolle.nl heb ik besloten de dame in kwestie op gepaste wijze in het zonlicht te zetten door er een artikel op deze blog aan te wijden.

Hieronder vind je dan ook het antwoord dat ik verstuurd heb naar Tessa Verbeek, SEO expert bij SEO Dutch..


Beste Tessa,

Met enige verbazing heb ik kennis genomen van je "aanbieding".
Allereerst: mijn blog, blog.waarisguus.nl, is vooral een hobby project en zeker niet bedoeld om zoveel mogelijk bezoekers te trekken. Uiteraard ben ik blij met ieder bezoek en de aandacht die er aan geschonken wordt. Maar het is toch vooral bedoeld voor een groep die interesse heeft in wat ik doe en waar ik me mee bezig houd. Dit geldt ook voor de andere sites die ik heb, en jij misschien nog niet ontdekt hebt.

Maar wat mij vooral opvalt is de manier waarop je contact zoekt. Laten we beginnen met de aanhef. De aard van het mailtje suggereert dat je zaken wilt doen met mij. Ik verwacht dan niet om aangesproken te worden met "Hoi". Voor zo ver ik mij kan herinneren hebben we niet samen op school gezeten of samen gekinkkert. Ook de rest van de tekst blinkt niet uit in goed Nederlands.

Vervolgens bied je je diensten aan als SEO expert. Mij vallen de volgende zaken op:
  • De link in je bericht naar je LinkedIn profiel werkt niet, een misser, en wekt niet veel vertrouwen.
  • In de ondertekening staat de naam van het bedrijf vermeld waarvoor je werkzaam bent, maar niet een link naar de web site. Bewust?
  • Ook mis ik in de ondertekening zaken zoals e-mail adres, telefoon nummer, KVK nummer en de adres gegevens van het bedrijf, niet erg professioneel en geeft weinig vertrouwen, Sterker nog, het schreeuwt "Geen zaken doen met mij".
  • Je deed onderzoek voor collega's en vond mijn e-mail adres. Ben je een handeltje voor jezelf begonnen, gebruikmakend van je 'reputatie' bij SEO Dutch?
  • Je zegt SEO expert te zijn werkend voor SEO Dutch. Als ik zoek op SEO in Google dan verwacht ik tenminste dat SEO Dutch in de top 10 van zoekresultaten te vinden. Helaas is dat niet het geval. Ik betwijfel of jullie überhaupt iets begrijpen van SEO.
  • Als jullie zo goed zijn, dan hoef je internet niet af te struinen naar blogs die optimalisatie kunnen gebruiken, deze klanten komen vanzelf naar jullie toe omdat jullie zo goed zijn. Oh nee... jullie zijn niet te vinden op internet.

Als je even iets verder gezocht had en uitgezocht zou hebben naar wie je je e-mail verstuurd dan zou je er achtergekomen zijn dat ik werkzaam ben in de ICT en een achtergrond heb op het gebied van web sites, Google, web analytics and social media. Verder heb ik een stevige, innige relatie met Google en worden mijn web sites meerder keren bezocht door de Google search bots, gemiddeld 1x per uur. Een nieuwe blog posting is binnen 30 minuten beschikbaar in de index van Google.

Maar nu even terug naar de kern van het verhaal. Wanneer ik een e-mail ontvang van iemand die ik niet ken, die werkt voor een bedrijf waar ik nog nooit van gehoord heb, en een zakelijk voorstel wil doen, dan wordt ik argwanend en ga ik op onderzoek uit. Ook in dit geval heb ik dat gedaan. En dan ontdek ik, dankzij Google, al heel snel wat er aan de hand is. SEO Dutch is fake en de mail die verstuurd wordt is gewoon spam. Ja, het ongevraagd versturen van e-mail en naar meerdere personen is spam. Ik heb dit dan ook gemeld aan de OPTA.

Wie mijn aandacht trekt kan er meestal ook op rekenen dat je mijn aandacht krijgt. Of je daar blij moet zijn is een ander verhaal. Jij hebt in ieder geval zoveel aandacht getrokken dat ik besloten heb er een blog aan te wijden. De blog kun je vinden op http://blog.waarisguus.nl/Apps/Blog.nsf/dx/tessa-verbeek-seo-specialist.htm en de e-mail conversatie is daar integraal te lezen.

Mocht je nog steeds mijn aandacht willen trekken dan stel ik voor dat je bij me aanbelt gekleed in een sexy lingerie setje en dat we vervolgens samen alle deeplinks en backlinks gaan ontdekken. Kan niet wachten op het resultaat.


En nu maar wachten op een reactie van Tessa Verbeek

Do you like spam?

Guus Disselkoen  16 April 2012 21:31:48
Image:Do you like spam?
Nee, deze blog gaat niet over ingeblikt vlees.

Deze blog gaat over spam dat als e-mail verstuurd wordt, niet dat dit de enige vorm van spam is, ook op internet fora komt het voor. Dit is wat Wikipedia er over zegt:
Spam is een verzamelnaam voor ongewenste berichten. Spam is ook bekend als Unsolicited Commercial E-mail en Unsolicited Bulk E-mail. Meestal wordt met de term ongewenste e-mail bedoeld, maar ook ongewenste reclameboodschappen op websites (o.a. fora) vallen onder spam. Spam is moeilijk te definiëren. Niet ieder initiatief van mensen of organisaties om contact te leggen is spam. Spam onderscheidt zich van andere vormen van commerciële communicatie doordat een bericht wordt gestuurd aan een groep die zeer veel groter is dan de potentiële doelgroep. Omdat deze afbakening te maken heeft met de proporties, zou je verwachten dat het moeilijk is om te bepalen of een bericht spam is of niet. Vanwege de enorme schaal waarop spammers opereren is het in de meeste gevallen echter zeer duidelijk.


Wie gebruik maakt van zakelijke e-mail of een (gratis) e-mail dienst zoals Google zal waarschijnlijk weinig last van spam hebben. Maar wie, zoals ik en vele anderen, gebruik maken van een eigen e-mail server moet zich wapenen tegen spam en allerlei andere niet gewenste e-mail berichten. We gooien het gemakkelijk op één hoop, maar eigenlijk zijn er verschillende vormen van spam. Het gaat niet alleen om e-mails die ons proberen te interesseren voor de aanschaf van viagra of andere 'lucratieve' aanbiedingen, het gaat ook om e-mails die ons verleiden om login gegevens te verstrekken of proberen ons een virus of Trojan te laten installeren.

Helaas wordt het internet steeds meer vervuild door lieden die geen eerlijke bedoelingen hebben en proberen om op slinkse wijze ons te benadelen. Soms door iets te verkopen en na betaling niets te leveren, maar ook door ons via e-mail iets te verkopen of informatie te ontfutselen. En daar moet je je tegen wapenen.

Dat er nog steeds mensen zijn die zo naïef zijn te geloven dat hun bank ze vraagt om login gegevens valt niet uit te bannen. Domme mensen zijn er altijd geweest en zullen er altijd blijven. Maar verder kan het geen kwaad je te wapenen tegen onheil van buitenaf en met name het onheil dat via e-mail onze PC bereikt.

Lange tijd heb ik alleen gebruik gemaakt van blacklists. Blacklists zijn lijsten van IP adressen die er om bekend staan spam te versturen, of andere vormen van evil content. Er zijn een aantal accurate en gerespecteerde bronnen waar je kunt verifiëren of het verstandig mail te accepteren van een bepaalde afzender. Op zich werkt dit aardig, er is een aanzienlijke lijst van mail servers die er om bekend staan spam te versturen, maar dat is slechts een topje van de ijsberg. Spammers die gebruik maken van bot-net's blijven grotendeels buiten schot. En voordat een IP adres opgenomen is in een blacklist is het leed al geschied en zijn er vanaf het betreffende IP adres al honderdduizenden e-mails verstuurd.
Een tweede, vrij simpele, controle is controleren of de verzendende server een legitieme mail server is. E-mail servers op internet hebben een MX record in de DNS severs zodat ze als e-mail server geregistreerd zijn. Door een controle uit te voeren of de verzendende mail server een geregistreerde mail server is kun je al veel ongewenste e-mail buiten de deur houden. En met behulp van virus scanners op de mail servers kunnen inkomende berichten gecontroleerd worden op schadelijke inhoud en eventuele virussen en trojans uit het bericht verwijderd worden.

Dit kun je nog aardig in de hand houden als je slechts één mail server hebt, maar zodra de mail omgeving wat complexer wordt, er meerdere e-mail domeinen in het spel zijn en er ook nog controle op uitgaande mail moet plaatsvinden dan wordt het wat complexer en ben je al snel toe aan andere oplossingen.

E-mail gateway

Steeds meer bedrijven, maar ook hobbyisten zoals ik, maken gebruik van een e-mail gateway. Zo'n e-mail gateway is een doorgeefluik tussen internet en de interne mail servers. Al het inkomende en uitgaande e-mail verkeer verloopt via deze gateway en op deze manier is er maar 1 plaats waar controle op het mail verkeer uitgevoerd hoeft te worden.  Op de gateway worden alle controles uitgevoerd om spam en virussen te weren en alleen de "schone" e-mail wordt doorgestuurd naar de interne mail servers. Op deze manier worden e-mail servers ontlast van allerlei bijkomende taken en alleen e-mail afhandelen. Maar e-mail gateways worden ook gebruikt voor uitgaande mail. Tegenwoordig zijn er applicaties en systemen die e-mail versturen en het is meestal niet wenselijk dat deze e-mails direct naar het internet gaan. Een op hol geslagen applicatie kan er voor zorgen dat er dusdanig veel e-mail verstuurd wordt dat een bedrijf op een blacklist terecht komt en aangemerkt wordt als spammer. En dat is niet iets wat je wilt. Door gebruik te maken van een e-mail gateway kun je dit voorkomen en alleen gecontroleerd e-mail versturen.

Lotus Protector

Zelf heb ik een tijd lang gebruik gemaakt van Lotus Protector als e-mail gateway. Lotus Protector is een IBM product en als IBM adept kon ik het uiteraard niet laten om eens nader naar het product te kijken en het zelf te gebruiken. Helaas is Lotus Protector niet een product dat ik als certified professional onbeperkt mag gebruiken voor niet commerciële doeleinden. Ik heb dan ook gebruik gemaakt van een trial licens voor 3 maanden. En na het aflopen van de trial license worden er geen updates meer opgehaald. Tijd voor een andere oplossing.

MailScanner

Gelukkig zijn er ook open source oplossingen om een zeer efficiënte e-mail gateway op te zetten zonder licentie kosten. Eén van de meest gebruikte producten hiervoor is MailScanner. MailScanner is een Linux product dat gebruik maakt van een standaard Linux e-mail server zoals Sendmail, Postfix of Exim. Alle e-mail in de inbound queue's wordt gescanned en gecontroleerd op spam en eventuele virussen en trojans. Op basis van de scans wordt e-mail niet doorgestuurd naar de mail server of eerst ontdaan van schadelijke content. MailScanner gebruikt hiet onder andere SpamAssassin voor. SpamAssassin is een open source project van de Apache foundation en staat alom bekend als één van de beste oplossingen in het weren van spam. Daarnaast kan MailScanner gebruik maken van geïnstalleerde anti virus software. Tevens is het mogelijk additionele producten te installeren om spam te weren, zoals grey-lists en recipient verification.

Mijn configuratie

In mijn netwerk heb ik een virtuele machine ingericht als e-mail gateway. het is een Linux server met CentOs 5.8, Sendmail 8.13.8, MailScanner 4.48.5 en MailWatch 1.1.5.1. MailWatch is een web interface om MailScanner te monitoren en e-mail berichten te analyseren. MailScanner en MailWatch maken gebuik van een MySQL database om de informatie op te slaan. Verder maak ik nog gebruik van ClamAV als anti-virus oplossing, Maxmind GeoIP voor het vertalen van IP adressen in country codes en Milter-greylisting om niet bekende spammers het leven zuur te maken.

In een configuratie als e-mail gateway fungeert de Sendmail server niet als e-mail server waar de mail afgeleverd wordt en vervolgens door e-mail clients opgehaald wordt, maar als relay server. E-mail wordt geaccepteerd en door MailScanner gecontroleerd en vervolgens doorgestuurd naar de interne mail servers. Ja, in mijn geval mail servers. Er is een geclusterde mailserver in mijn netwerk zodat bij uitval van een mail server het e-mail verkeer gewoon doorgaat.
In Sendmail is geconfigureerd voor welke domeinen mail doorgestuurd mag worden en voor welke domeinen mail ontvangen mag worden. Dit heeft ook betrekking op interne mail zoals systeem berichten vanaf interne servers die niet naar internet gaan maar op de mail servers afgeleverd moeten worden. Omgekeerd geldt dit ook. In de Sendmail configuratie is vastgelegd welke e-mail naat internet verstuurd mag worden en welke mail intern afgeleverd moet worden. Tenslotte is op de mail servers geconfigureerd welke servers mail mogen versturen via de e-mail gateway.

SPF

De Milter greylist optie is een additionele manier om potentiële spammers te weren. Wanneer van de verzendende partij niet vastgesteld kan worden of het een legitieme verzender is, dan wordt in eerste instantie de e-mail geweigerd en gevraagd de e-mail op een later tijdstip nogmaals aan te bieden. Legitieme mail servers zullen dit doen, spammers meestal niet. De Milter graylist maakt o.a. gebruik van de SPF standaard. SPF staat voor Sender Policy Framework. en wordt gebruikt om aan te geven welke mail server(s) mail mogen versturen voor een domein. Ontvangende mail servers kunnen op deze manier controleren of een mail server mail mag versturen namens een mail domein. De Milter greylist maakt hier gebruik van, als de versturende server een valide SPF record heeft, dan wordt de mail direct geaccepteerd en hoeft deze niet een tweede keer aangeboden te worden.

Al deze maatregelen zijn nog geen garantie dat ik nooit meer spam, virussen, trojans of phising mails ontvang, maar de kans hierop is wel vele malen kleiner geworden.




Werk in uitvoering

Guus Disselkoen  6 February 2012 00:06:48
Image:Werk in uitvoering
Bij de loodgieter thuis lekt de kraan ook.

Het heeft even, een zeer lange tijd zelfs, geduurd voordat de "kapotte" onderdelen op www.waarisguus.nl gerepareerd waren, maar dit weekend is het dan zo ver. De "gerepareerde" site staat online.
De site is ooit gebouwd met standaard Lotus Notes/Domino techniek en later herbouwd in XPages, een nieuwe techniek die in Lotus Notes/Domino 8.5 beschikbaar is gekomen. Niet dat het noodzakelijk was de site om te bouwen, maar het was een mooie gelegenheid om kennis en ervaring met XPages op te doen. En bovendien biedt XPages een aantal mogelijkheden die in standaard Lotus Notes/Domino applicaties niet mogelijk zijn.Eén van de mogelijkheden is het werken met 'custom controls', herbruikbare componenten die eenmaal gemaakt op meerdere pagina's. En custom controls kun je ook aanbieden aan anderen via OpenNTF. OpenNTF is een open source community voor Lotus Notes ontwikkelaars. Op OpenNTF is ook een RSS feed reader custom control beschikbaar. Deze custom control heb ik gebruikt op mijn site. Ik heb zelfs nog een aantal aanpassingen doorgevoerd die later ook in een nieuwe versie op OpenNTF beschikbaar gesteld is.

Na de upgrade van de Domino server naar versie 8.2 werkte de RSS reader custom control niet meer. De gebruikte java libraries werden niet meer door de server ondersteund. Als gevolg hiervan waren er 2 pagina's die niet meer werkten en een foutmelding gaven. Nu is mijn Java kennis niet zo denderend dat ik het even kon fixen, er zijn voldoende alternatieven voorhanden, maar in combinatie met Domino zag ik zo 1-2-3 geen mogelijkheid dit te fixen. Ik heb nog gezocht naar alternatieven maar niets bruikbaars kunnen vinden. Ik heb nog wel gebruik gemaakt van een custom control die via Google Reader de RSS feed toont, maar dat was niet echt de oplossing die ik zocht.

Mede door een presentatie afgelopen donderdag van een collega is het vuur voor XPages weer aangewakkerd en heb ik me voorgenomen er tijd voor vrij te maken. Inmiddels zijn er complete extention libraries beschikbaar met tal van controls voor o.a. social networks, REST en nog een aantal 'hot' topics op internet.
Uit nieuwsgierigheid ook even gekeken of er al een RSS reader control beschikbaar is die wel ondersteund wordt door de huidige versie van Domino. En ja, er was een nieuwe versie beschikbaar. Eén die gebaseerd is op een iets andere technologie en daardoor ook nog meer mogelijkheden heeft.

Ik heb de custom controls gedownload en geïnstalleerd, wat nog wel even wat moeite gekost heeft, en ben er mee aan de slag gegaan. Na wat testen en experimenteren was ik zover dat ik de controls kon gaan implementeren op de site. Na een aantal uren knutselen had ik weer de RSS feeds werkend op de site maar moest er nog wel e.e.a. gebeuren aan de layout van de pagina en de opmaak van de diverse onderdelen. En dat is best een tijdrovend klusje. style classes zijn gedefinieerd in meerdere style sheets en het aanpassen en bekijken kost tijd, veel tijd.

Ook was er nog een probleempje met de Sametime integratie. Een Sametime server wordt gebruikt voor de chat functionaliteit op de site. Na het virtualiseren van de infrastructuur is er een nieuwe Sametime server geïnstalleerd die bovendien niet meer aan een native Domino directory gekoppeld is, maar aan een (Domino) LDAP directory, waardoor de manier van inloggen veranderd is. Op zich een relatief kleine aanpassing, maar wel één die op diverse plekken doorgevoerd moet worden. Aangezien ik toch bezig was met het repareren van onderdelen was het een mooie gelegenheid om ook dit maar gelijk te fixen.

Vanavond is de site 'live' gegaan met de nieuwe componenten. Ik ben redelijk tevreden, maar af is het nog niet. Met name de layout van de getoonde RSS feeds zijn nog niet zoals ze moeten zijn. De gebruikte componenten maken gebruik van paragraph tags (

) en daar ben ik niet zo blij mee. Ik ben dan ook van plan de custom controls aan te gaan passen en wellicht uit te breiden met additionele opties.

Toekomst

Verder wil ik de site nog uitbreiden met integratie van social networks. De extention librarie bevat diverse componenten hiervoor. Momenteel zit er al (beperkte) integratie met social networks in de site, zoals een Facebook Like en een Google+ button, maar dat is op een vrij primitieve manier gerealiseerd. Nu er veel meer mogelijk is wordt het tijd om dat ook maar eens op de schop te gooien. Ik ben van plan de komende maanden hier tijd in te gaan steken, maar beloven doe ik niets.
 

Beter goed gejat dan ...

Guus Disselkoen  7 January 2012 17:35:33
Image:Beter goed gejat dan ...

En ja, we maken er ons allemaal wel eens schuldig aan.

Ik zal voor de verandering eens met het slot van het verhaal beginnen:
Ik heb de inhoud van iemands blog gewijzigd zonder te hacken of andere onrechtmatige handelingen te verrichten.

Hoe het begon

Enkele maanden geleden ben ik begonnen mijn eigen infrastructuur eens flink op de schop te nemen. Vrijwel alle servers zijn nu gevirtualiseerd en er is een dedicated HTTP server gekomen als centrale ingang voor (bijna) alle web gerelateerde zaken. Door middel van virtuele hosts en een reverse proxy wordt het verkeer intern naar de juiste (web) server gestuurd. Ook zijn een aantal web servers geclusterd en dat verhoogt de beschikbaarheid.

Doordat het verkeer binnenkomt op één webserver en van daaruit doorgestuurd wordt naar de interne web servers heb ik niets meer aan de bezoek statistiekenop besis van de logs van de interne web servers. Al het verkeer is afkomstig van de HTTP server en daardoor is niet meer te herleiden waar het verkeer vandaan komt of waar het naar toe gaat.
Niet dat dit essentieel is, maar het geeft mij een beeld over welke informatie door bezoekers het meest geraadpleegd wordt en of iemand via een zoekopdracht of andere website bij mij uitgekomen is. En het geeft een beetje een beeld wat er met de informatie gebeurd. De HTTP server is zo geconfigureerd dat er per virtuele host aparte log files zijn. Met AWStats wordt de informatie uit de log files omgezet naar statistieken over het bezoek van de afzonderlijke websites.

Op deze manier ben ik er achter gekomen dat iemand op haar blog gebruik maakt van een foto die op mijn blog gepubliceerd wordt. Nu denk ik dat iedereen die 'iets' op het web doet, of wel eens een PowerPoint presentatie maakt, op zoek is naar een bijpassend plaatje. Hetzelfde geldt voor mij. Het plaatje bij deze blog heb ik niet zelf getekend, maar gevonden met behulp van Google. En dat zullen vele mensen doen en het zal daarom niet voor niets zijn dat Google de mogelijkheid heeft om alleen naar afbeeldingen te zoeken.

Mag je de gevonden afbeeldingen zonder meer gebruiken op je eigen website, blog of presentatie?
Nee, tenzij het gaat om afbeeldingen waar geen auteursrecht op zit. Maar het is vrijwel ondoenlijk te achterhalen of er auteursrecht op een afbeelding zit en zo ja, wie de rechthebbende is. Bovendien stamt de auteurswet ook nog eens uit de tijd dat we met ganzenveer en perkament in de weer waren.
Sommige afbeeldingen kom je  op zo veel plaatsen tegen dat je bijna kunt verwachten dat ze zonder meer gebruikt mogen worden, voor anderen is het weer overduidelijk dat het niet mag. Zelf maak ik op mijn blog gebruik van vrijelijk te gebruiken afbeeldingen, maar heel veel afbeeldingen zijn gekocht. Er zijn diverse sites waar je "stock" foto's kunt kopen. Eenmaal aangeschaft mag je die foto's onbeperkt gebruiken voor diverse doeleinden.

Wie en website beheert of blogt zal ongetwijfeld wel eens linken naar andere sites om bezoekers te wijzen op interessante informatie of als achtergrond informatie bij het eigen verhaal. Daar is niets mis mee en is in feite de basis van het World Wide Web. Via links kom je verder en daar is ook de term "surfen op het web" door ontstaan. Het wordt echter een ander verhaal als je de content van een andere website gebruikt om jouw web pagina's of blog mee te vullen.  Ik heb websites gezien die alleen maar bestonden uit verzamelde content van andere websites.

De ontdekking

Toen ik onlangs de statistieken bestudeerde zag ik dat er via deze url een aantal bezoeken aan mijn website geweest zijn: http://3plus1crossmedia.wordpress.com/2010/01/18/mediale-trend-social-gaming/ Nieuwsgierig als ik ben heb ik de link gevolgd en kwam ik uit op een blog van Chantelgroot met een artikel over social gaming. Alleen was er op de site geen link te vinden naar mijn www.waarisguus.nl Ook zag ik niet direct een reden waarom er een link naar mijn site zou staan bij deze blog. Toen ik de pagina nog eens goed bestudeerde zag ik een afbeelding staan die me bekend voorkwam. Een plaatje van Farmville, dat ook op mijn blog gebruikt wordt. Toen ik naar de eigenschappen van de afbeelding keek zag ik dat het een deep-link is naar de afbeelding op mijn blog! Nu komt het wel vaker voor dat een afbeelding, afkomstig van mijn blog, ergens op internet opduikt. Maar dan heeft iemand de afbeelding gedownload en op de eigen server geplaatst.

Maar deep-linken is een ander verhaal. Van al het dataverkeer dat een website genereerd komt het grootste gedeelte voor rekening van media, afbeeldingen, filmpjes en attachments. En iemand moet voor dat dataverkeer betalen, namelijk de eigenaar van de betreffende web site. Met deep-linken maak je dus de goede sier met andermans content en laat deze bovendien opdraaien voor de kosten van het dataverkeer.

Tijd voor actie

Aangezien er op de blog geen e-mail adres te vinden is heb ik een reactie achtergelaten met het verzoek de afbeelding te verwijderen of tenminste aan bronvermelding te doen.
Image:Beter goed gejat dan ...
Tot op heden heb ik nog geen reactie gekregen en is ook mijn commentaar nog niet behandeld.
Nu heb ik het vermoeden dat Chantal niet meer zo'n actieve blogger is aangezien de meest recente blog van bijna 2 jaar geleden is. ik denk ook niet dat ik snel een reactie krijg.

Dan maar andere maatregelen. Wanneer je de content van anderen op jouw website of blog gebruikt dan heb je totaal geen controle er over. En daar heb ik handig gebruik van gemaakt. Ik heb een kopie gemaakt van het betreffende blog artikel dat door Chantal gebruikt wordt en daar een andere url voor gebruikt. In het oorspronkelijke artikel heb ik de farmville afbeelding vervangen door een andere afbeelding. En die nieuwe afbeelding wordt nu getoond in de blog van Chantal.

Oorspronkelijk zag de pagina er zo uit:
Image:Beter goed gejat dan ...

Na mijn actie ziet de pagina er zo uit:
Image:Beter goed gejat dan ...

Pas later had ik in de gaten dat de bronvermelding die genoemd wordt verwijst naar www.Dutchcowgirls.nl, voegt een extra dimensie toe aan de actie.
Nu maar hopen dat Chantal ook gevoel voor humor heeft.

De conclusie

Ongevraagd gebruik maken van content op andere websites is niet netjes en het kan er bovendien voor zorgen dat jouw pagina er wel eens heel anders uit komt te zien dan je verwacht.


Translate

Feeds

Companies

    Atos Origin
    Achmea
    Inter Access
    ilionx
    transavia.com
    IBM

Google searches

Referrers