IOCORE

Hämta information från ett körande objekt

Dennis Sangmo — Fri, 26 Aug 2011 12:27:55 +0000

Detta är en uppföljning på ett tidigare inlägg som ni kan finna här:

http://iocore.se/ppen-kllkod/crawla-en-lista-av-adresser-med-microsoft-web-management-seo-crawler-2/

Där pratade jag om hur man kan använda sig av Microsofts ramverk “Management.SEO.Crawler” utan att få användaren att fastna i laddning undertiden “ListCrawler”:en arbetade med att söka igenom respektive adress. Detta löstes genom att öppna upp en tråd (Thread) som arbetar parallellt som webbapplikationen. Men för att kunna presentera hur det går för den så måste information hämtas undertiden den körs. Jag kommer nu presentera min lösning på detta problem.

Göra trådarna tillgängliga

När väl användaren har sagt åt “ListCrawler”:en att arbeta med att analysera adresserna i en parallell tråd, och sedan skickats vidare till nästa vy, så kan det vara problem att veta vilket “Thread”-objekt som är det intressanta. Om ni läst förra inlägget och analyserat koden så har du säkert lagt märke till att det objekt identifierar sig med en av sina egenskaper som utgör sig att vara av typen “Guid”. Den ‘id’-nyckeln skickar vi med användaren till den vyn som jag tidigare nämnde. För när användaren väl är där så kommer vi hämta den intressanta informationen med hjälp av Ajax. “Straightforward” kan tyckas, vilket det också är, men där finns en sista sak att nämna innan vi hoppar in i koden.

Nu när användaren har sitt guid och anropar efter information med hjälp av Ajax så måste objektet också finnas tillgängligt. Jag löste detta genom att skapa ett statiskt bibliotek som tar hand om alla användarnas sådana “ListCrawler” objekt, indexerade med deras Guid objekt. Detta bibliotek befinner sig i ett statiskt objekt som hanterar förfrågningar mot biblioteket. There we have it!

public static class JobHandler
{
private static readonly Dictionary Jobs = new Dictionary(); // Biblioteket med alla Crawler objekt

// Metod som hämtar ett ListCrawlerobjekt med en Duid
private static ListCrawler GetWorkingListCrawler(Guid id)
{
return Jobs.ContainsKey(id) ? Jobs[id] : null;
}

public static bool HasWorkingCrawler(Guid id)
{
var wlc = GetWorkingListCrawler(id);
return wlc != null && wlc.HasWorkingCrawler;
}

public static ProgressInformationDTO GetProgressInformation(Guid id)
{
return GetWorkingListCrawler(id).ProgressInformation;
}

public static string GetBaseDirectoryPath(Guid id)
{
return GetWorkingListCrawler(id).FullDirectoryPath;
}

public static void Start(Guid id)
{
if (HasWorkingCrawler(id))
{
var lc = GetWorkingListCrawler(id);
lc.Start();
}
}

public static void Stop(Guid id)
{
if (HasWorkingCrawler(id))
{
var lc = GetWorkingListCrawler(id);
lc.Stop();
}
}

public static void AddListCrawler(ListCrawler lc)
{
Jobs.Add(lc.Id, lc);
}
}

JavaScript

Till detta så är det också en del javascript som arbete i användarens webbläsare. Koden består av ett intervall som kör fuktionen “DoIt” varje sekund. “DoIt” gör ett Ajax-anrop till kontrollern som i sin tur hämtar informationen från rätt “ListCrawler”-objekt och skickar tillbaka den till användarens webbläsare som i sin tur trycker ut den informationen till rätt element.

$(document).ready(
function () {
setInterval(DoIt, 1000);
$("#continue").hide();
$("#abortTakeMeBack").hide();

$("#abortBtn").click(function () {
$.getJSON("/Home/Abort", { "jobId": "@ViewBag.jobId" }, function (data, textStatus, jqXHR) {
if (data.status) {
$("#abortTakeMeBack").show();
window.clearInterval();
}
});
});

if (data.error != null) {
$("#progressError").html(data.error);
}

$("#CurrentUri").html(data.CurrentUri);
$("#BytesDownloaded").html(data.BytesDownloaded);
$("#UrlCounter").html(data.UrlCounter);
$("#TotalUrls").html(data.TotalUrls);
if (data.Percent != undefined) {
$("#progressText").html(data.Percent + "%");
$("#progressBar").width(data.Percent + "%");
}
});
}
});

Crawla en lista av adresser med “Microsoft.Web.Management.SEO.Crawler”

Dennis Sangmo — Fri, 19 Aug 2011 09:26:54 +0000

Jag fick i uppdrag att bygga en applikation som skulle kunna söka igenom hemsidor efter valideringsfel, punkter som inte följde generella standarder exempelvis ut en sökmotoroptimerings vinkel. Eftersom jag tidigare haft mycket erfarenhet av att använda mig av ett tillägg i IIS server vid namn “Microsoft SEO Toolkit”, så valde jag att bygga denna applikation kring det bibliotek som tillkommer när tillägget installeras. De kallar ramverket “Microsoft.Web.Management.SEO.Crawler” och har faktiskt många fördelar, men också många brister… Bara det faktum att Inga metoder är dokumenterade, så man får till viss det testa sig fram.

För att komma igång med biblioteket kan ni läsa en artikel som tar upp några av grunderna här: http://blogs.iis.net/carlosag/archive/2009/11/18/iis-seo-toolkit-start-new-analysis-automatically-through-code.aspx

Problemet med resultatet i den guiden är det faktum att i en MVC lösning så vill man inte att en webbsida skall stå still och ladda undertiden analysen genomförs. En laddnings-vy hade kanske varit en bättre ide, vilket är det jag kommer fokusera mig på i detta inlägg.

Hemligheten bakom denna lösning är baserad på en teknik som kallas “Threading” som tillåter dig att köra flera processer parallellt istället för att behöva vänta på att hela analysen är utförd. Till detta använder jag mig av Ajax för att hämta ut nuvarande status på det arbetande objektet samtidigt som den arbetar i en annan tråd.

Och nu till lite kod:

using System;
using System.Collections.Generic;
using System.Threading;
using Microsoft.Web.Management.SEO.Crawler;
using System.IO;

public class ListCrawler
{
public Guid Id { get; private set; }
public string DirectoryPath { get; set; }
public ProgressInformationDTO ProgressInformation { get; set; }
public string FullDirectoryPath
{
get
{
return (!SettingIsApplied || !ProgressInformation.IsComplete) ? "" : Path.Combine(DirectoryPath,Id.ToString());
}
}
public bool HasWorkingCrawler { get { return WorkingCrawler != null; } }
public bool WorkingCrawlerIsActive { get { return ProcessThread.IsAlive; } }

private WebCrawler WorkingCrawler { get; set; }
private List CrawlerList { get; set; }
private bool SettingIsApplied { get; set; }
private Thread ProcessThread { get; set; }
private CrawlerSettings Settings { get; set; }

public ListCrawler()
{
Settings = new CrawlerSettings();
CrawlerList = new List();
ProcessThread = new Thread(Execute);
SettingIsApplied = false;

Id = Guid.NewGuid();
}

public bool Start()
{
if (SettingIsApplied) ProcessThread.Start();
return SettingIsApplied;
}

public void Stop()
{
if (ProcessThread.IsAlive)
{
ProcessThread.Abort();
WorkingCrawler = null;
}
}

private void Execute()
{
ProgressInformation.TotalUrlCount = CrawlerList.Count;
ProgressInformation.UrlCounter = 0;
foreach (var item in CrawlerList)
{
ProgressInformation.UrlCounter++;
var dir = Path.Combine(DirectoryPath, Id.ToString());
Settings.StartUrl = item.Uri;
Settings.Name = ProgressInformation.UrlCounter.ToString();

item.Crawler = new WebCrawler(Settings);
WorkingCrawler = item.Crawler;
item.Crawler.Start();

ProgressInformation.CurrentUrl = item.Crawler.Settings.StartUrl.AbsoluteUri;
ProgressInformation.TotalBytesDownloaded += WorkingCrawler.BytesDownloaded;

while (item.Crawler.IsRunning)
{
ProgressInformation.TotalBytesDownloaded += WorkingCrawler.BytesDownloaded;
Thread.Sleep(500);
}

item.Crawler.Report.Save(dir);
}

ProgressInformation.IsComplete = true;
}
}

Vad är det då som händer här?

Detta är ett objekt som tillhandahåller en lista med adresser och “Crawler”-objekt som skall sökas igenom. Den har också en egenskap som är av typen “Thread” som jag kallar “ProgressThread” som instansieras i objektets konstruktor med metoden “Execute”. Det betyder att när tråden körs så kommer metoden “Execute” köras i den tråden ifrån rätt scope, vilket den gör när “Start”-metoden anropas.

I metoden “Execute” så händer en del saker men det som jag vill trycka på är att vi kan få “Thread”-objektet att sova utan att beröra resten av applikationen och det faktum att jag loopar igenom och analyserar alla objekt i listan.

Enkelt, eller hur?

Nästa vecka tar jag upp hur man kan göra för att hämta ut data från det körande objektet.

ASP.NET MVC – komprimera html med actionfilter

Alexander Nyquist — Thu, 18 Feb 2010 15:56:38 +0000

Genom att komprimera sin html kan man spara åtskillig datamängd. Jag tänkte här dela med mig av ett Actionfilter till ASP.NET MVC för att komprimera all output (genom att strippa bort onödig whitespace). Med nedanstående filter sparade jag 46kb per sidvisning, vilket blir relativt mycket om man har en välbesökt sida.

Först kommer definitionen av attributet som används för att kunna anropa filtret.

public class OptimizeHtmlOutputAttribute : ActionFilterAttribute
{
public override void OnResultExecuting(ResultExecutingContext filterContext)
{
HttpResponseBase response = filterContext.HttpContext.Response;
response.Filter = new OptimizeHtmlFilter(response.Filter);
}
}

Filtret består utav lite mer kod, dock är funktionen som utför allt arbete den överlagrade metoden “Write”.

public class OptimizeHtmlFilter : Stream
{
private readonly StringBuilder _responseHtml;
private readonly Stream _responseStream;

public OptimizeHtmlFilter(Stream inputStream)
{
_responseStream = inputStream;
_responseHtml = new StringBuilder();
}

#region Filter overrides

public StringBuilder ResponseHtml
{
get { return _responseHtml; }
}

public override bool CanRead
{
get { return true; }
}

public override bool CanSeek
{
get { return true; }
}

public override bool CanWrite
{
get { return true; }
}

public override long Length
{
get { return 0; }
}

public override long Position { get; set; }

public override void Close()
{
_responseStream.Close();
}

public override void Flush()
{
_responseStream.Flush();
}

public override long Seek(long offset, SeekOrigin origin)
{
return _responseStream.Seek(offset, origin);
}

public override void SetLength(long length)
{
_responseStream.SetLength(length);
}

public override int Read(byte[] buffer, int offset, int count)
{
return _responseStream.Read(buffer, offset, count);
}

#endregion

public override void Write(byte[] buffer, int offset, int count)
{
string stringBuffer = Encoding.Default.GetString(buffer);

var sb = new StringBuilder();

var lines = stringBuffer.Split(Environment.NewLine.ToCharArray(), StringSplitOptions.RemoveEmptyEntries);
foreach (var line in lines)
sb.Append(line.Trim());

buffer = Encoding.Default.GetBytes(sb.ToString());
_responseStream.Write(buffer, 0, buffer.Length);
}
}

Filtret används sedan genom att dekorera Actions (eller för den delen controllers) med [OptimizeHtmlOutput], exempelvis:

[OptimizeHtmlOutput]
public ActionResult Html(int id)
{
var report = _repository.GetReport(id);
return View("Csv", new CsvReport(report));
}

Dock bör man komma ihåg att inte optimera där det inte behövs. Man bör alltid profilera koden för att se vart flaskhalsarna sitter.

Visual Studio 2010 RC släppt

Alexander Nyquist — Thu, 11 Feb 2010 10:02:11 +0000

Äntligen är RC-versionen av Visual Studio 2010 släppt för oss “vanliga” utvecklare. Jag har nyss avinstallerat Beta 2:an och kan inte göra annat än att verkligen hålla tummarna för att RC-versionen är både snabbare och stabilare än betan.

Betaversionen läckte verkligen minne. Så fort man öppnade ett projekt med ett stort antal projekt (50+) eller försökte köra något större WPF-projekt med diverse kontroller och funktioner tog det ofta inte länge innan applikationen kraschade.

En annan (för mig) väldigt viktig punkt var att MVC 2 RC 2 fungerar att köra under Visual Studio 2010 RC. Detta har tidigare inte gått men skall nu vara möjligt.

Mer information:

Jason Zander om släppet av Visual Studio 2010 RC.

Phil Haack bloggpost om ASP.NET MVC 2 RC 2 på Visual Studio 2010 RC.

Hämta ut “slöa” queries ur mssql

Alexander Nyquist — Fri, 05 Feb 2010 08:14:37 +0000

Min morgon började roligt med en väldigt slö applikation. Jag misstänkte att flaskhalsen låg i databaslagret, och mycket riktigt hade jag rätt. Hur kom jag då fram till detta? Datbasservern jag använder är en MsSql 2008.

Efter lite sökande hittade jag en mycket användbar query för att plocka ur de dyraste frågorna som ställts mot databasen sedan den startades:

SELECT TOP 20 SUBSTRING(qt.text, (qs.statement_start_offset/2)+1,
        ((CASE qs.statement_end_offset
          WHEN -1 THEN DATALENGTH(qt.text)
         ELSE qs.statement_end_offset
         END - qs.statement_start_offset)/2)+1),
qs.execution_count,
qs.total_logical_reads, qs.last_logical_reads,
qs.min_logical_reads, qs.max_logical_reads,
qs.total_elapsed_time, qs.last_elapsed_time,
qs.min_elapsed_time, qs.max_elapsed_time,
qs.last_execution_time,
qp.query_plan
FROM sys.dm_exec_query_stats qs
CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) qt
CROSS APPLY sys.dm_exec_query_plan(qs.plan_handle) qp
WHERE qt.encrypted=0
ORDER BY qs.total_logical_reads DESC

Detta är ett väldigt smidigt sätt för att hitta flaskhalser i sin databas, en viktig detalj när man arbetar med sökmotoroptimering.

För er som använder MySql kan jag rekommendera motsvarigheten log_slow_queries.

Dependency Injection med PHP

Alexander Nyquist — Thu, 04 Feb 2010 15:53:11 +0000

Vid utveckling vill man alltid skapa så löst kopplade system som möjligt. Detta speciellt om man skriver enhetstester eller tillämpar testdriven utveckling. För att underlätta för sig själv skall man försöka följa de “SOLID”a principerna så gott det går.

D:et i SOLID står för Dependency Inversion, och betyder, enkelt sagt, att en klass inte skall vara hårt kopplad till en annan klass. För att lösa detta brukar man tillämpa en teknik som ofta kallas dependency injection, vilket innebär att klasser som skall instansieras får sina beroenden från den som instansierar klassen.

Ett exempel på en klass som inte följer Dependency Inversion är följande:

class HtmlParser
{
public function GetTitle($url)
{
$downloader = new HtmlDownloader();
$content = $downloader->download($url);

$title = preg_match(‘~(.*?)~’, $content, $match);

return $match;
}
}
?>

Denna klassen har ett beroende av HtmlDownloader, vilket innebär att man inte kan återanvända klassen HtmlParser från ett annat ställe. Vad händer om vi istället för att ladda ner filen via HTTP vill hämta innehållet från en lokal fil? Då måste vi antingen skapa en ny klass för detta, eller en ny metod för att göra detta.

En annan, och bättre, lösning på detta är att låta klassen HtmlParser ta en klass som implementerar ett gemensamt interface, som inparameter i konstruktorn, till exempel:

interface IHtmlProvider
{
function getHtml($path);
}

class LocalFileHtmlProvider implements IHtmlProvider
{
function getHtml($path)
{
// Läs och returnera från filsystemet
}
}

class RemoteHtmlProvider implements IHtmlProvider
{
function getHtml($path)
{
// Ladda ner via HTTP
}
}
?>

Detta gör att vi kan modifiera vår parser till att se ut enligt följande:

class HtmlParser
{
private $provider;

public function __construct(IHtmlProvider $provider)
{
$this->provider = $provider;
}

public function GetTitle($path)
{
$content = $this->provider->getHtml($path);

$title = preg_match(‘~(.*?)~’, $content, $match);

return $match;
}
}
?>

Nu kan vi enkelt byta källa för vår html, och återanvända koden precis var vi vill, så länge får källa implementerar IHtmlProvider. Vill vi bygga en FtpHtmlProvider är detta inga som helst problem.

I ett kommande inlägg kommer jag visa en teknik som kallas för Inversion of Control, och är nära besläktat med Dependency Injection.

Externa länkar med mer informtion:

Wikipedia om Dependency Injection

Wikipedia om Dependency Inversion Principle

Wikipedia om SOLID Principles

Användares statusuppdateringar på twitter

Alexander Nyquist — Thu, 09 Apr 2009 13:11:01 +0000

Tänkte dumpa en kodsnutt som hämtar en användares statusuppdateringar på twitter. No more no less.

$data = file_get_contents(‘http://twitter.com/statuses/user_timeline/26553013.json’);
$json = json_decode($data);

foreach($json as $message)
{
if($message->in_reply_to_screen_name === null)
echo $message->text;
}

Byt ut idt(26553013) mot den användaren du vill hämta datan för.

Listen up!

Alexander Nyquist — Wed, 18 Mar 2009 10:48:43 +0000

FireUnit – Smidigare enhetstestning i JavaScript

Alexander Nyquist — Thu, 12 Feb 2009 09:18:41 +0000

För oss som gillar enhetstestning har det nu kommit en riktigt smidigt plugin till Firebug – FireUnit. Pluginet möjliggör smidigare enhetstestning för JavaScript, vilket tidigare har varit ganska trivialt.

FireUnit är som sagt helt integrerat i FireBug, och placerar vid installation en ny flik vid namn ‘Test’ i fliksystemet.

Någonting som jag inte gillar är vissa namnkonventioner, till exempel har man bytt ut ordet ‘assert’ mot ‘ok’, vilket kan ses som väldigt trivialt, men enligt mig bör följa de andra unit-testningramverken(?).

För mer information om FireUnit hänvisar jag till skaparen John Resig’s blogg.

Serialisera array till XML

Alexander Nyquist — Mon, 09 Feb 2009 08:24:45 +0000

För tillfället sitter jag och skriver en REST-service för en viss tjänst, och var i behov av en klass eller funktion för att serialisera en php-array till XML. Efter lite googlande hade jag dock inte hittat någon simpel klass för att göra detta, förrutom en PEAR-klass. Dock valde jag att inte använda denna då det inte finns stöd för PEAR där tjänsten kommer att hostas. Jag bestämde mig då för att knåpa ihop en egen klass, och detta är resultatet:

Class XmlSerializer Extends XmlWriter
{
protected $rootnode;

public function __construct($rootnode)
{
// Use memory output
parent::openMemory();
parent::setIndent(true);

/* Use four spaces as indent */
parent::setIndentString(chr(0×20) .
chr(0×20) .
chr(0×20) .
chr(0×20)
);

$this->rootnode = $rootnode;
parent::startElement($this->rootnode);
}

public function startElement()
{
parent::startElement($this->rootnode);
}

public function serialize($data)
{
foreach($data as $key => $value)
{
if(is_array($value))
{
parent::startElement($key);
$this->serialize($value);
parent::endElement();

continue;
}

parent::writeElement($key, $value);
}
}

// Override function so that we dont need to call endElement by ourselves
public function output($flush)
{
parent::endElement();
return parent::outputMemory($flush);
}
}

Som ni ser är den välidgt, väldigt simpel, enbart med funktioner för att serialisera en array till php – inte vice versa. Kanske något att bygga in stöd för dock.

Här är ett simpelt exempel:

$data = array(
’status’ => ‘Success’,
‘data’ => array(
‘username’ => ‘Alexander Nyquist’,
‘password’ => ‘password’,
‘apikey’ => md5(‘password’)
)
);

$serializer = new XmlSerializer(‘response’);
$serializer->serialize($data);
echo $serializer->output(true);

Ovan resulterar i följande XML:

Error

Alexander Nyquist
password
5f4dcc3b5aa765d61d8327deb882cf99

Tack o hej!