IOCORE » asp.net-mvc

Hämta information från ett körande objekt

Dennis Sangmo — Fri, 26 Aug 2011 12:27:55 +0000

Detta är en uppföljning på ett tidigare inlägg som ni kan finna här:

http://iocore.se/ppen-kllkod/crawla-en-lista-av-adresser-med-microsoft-web-management-seo-crawler-2/

Där pratade jag om hur man kan använda sig av Microsofts ramverk “Management.SEO.Crawler” utan att få användaren att fastna i laddning undertiden “ListCrawler”:en arbetade med att söka igenom respektive adress. Detta löstes genom att öppna upp en tråd (Thread) som arbetar parallellt som webbapplikationen. Men för att kunna presentera hur det går för den så måste information hämtas undertiden den körs. Jag kommer nu presentera min lösning på detta problem.

Göra trådarna tillgängliga

När väl användaren har sagt åt “ListCrawler”:en att arbeta med att analysera adresserna i en parallell tråd, och sedan skickats vidare till nästa vy, så kan det vara problem att veta vilket “Thread”-objekt som är det intressanta. Om ni läst förra inlägget och analyserat koden så har du säkert lagt märke till att det objekt identifierar sig med en av sina egenskaper som utgör sig att vara av typen “Guid”. Den ‘id’-nyckeln skickar vi med användaren till den vyn som jag tidigare nämnde. För när användaren väl är där så kommer vi hämta den intressanta informationen med hjälp av Ajax. “Straightforward” kan tyckas, vilket det också är, men där finns en sista sak att nämna innan vi hoppar in i koden.

Nu när användaren har sitt guid och anropar efter information med hjälp av Ajax så måste objektet också finnas tillgängligt. Jag löste detta genom att skapa ett statiskt bibliotek som tar hand om alla användarnas sådana “ListCrawler” objekt, indexerade med deras Guid objekt. Detta bibliotek befinner sig i ett statiskt objekt som hanterar förfrågningar mot biblioteket. There we have it!

public static class JobHandler
{
private static readonly Dictionary Jobs = new Dictionary(); // Biblioteket med alla Crawler objekt

// Metod som hämtar ett ListCrawlerobjekt med en Duid
private static ListCrawler GetWorkingListCrawler(Guid id)
{
return Jobs.ContainsKey(id) ? Jobs[id] : null;
}

public static bool HasWorkingCrawler(Guid id)
{
var wlc = GetWorkingListCrawler(id);
return wlc != null && wlc.HasWorkingCrawler;
}

public static ProgressInformationDTO GetProgressInformation(Guid id)
{
return GetWorkingListCrawler(id).ProgressInformation;
}

public static string GetBaseDirectoryPath(Guid id)
{
return GetWorkingListCrawler(id).FullDirectoryPath;
}

public static void Start(Guid id)
{
if (HasWorkingCrawler(id))
{
var lc = GetWorkingListCrawler(id);
lc.Start();
}
}

public static void Stop(Guid id)
{
if (HasWorkingCrawler(id))
{
var lc = GetWorkingListCrawler(id);
lc.Stop();
}
}

public static void AddListCrawler(ListCrawler lc)
{
Jobs.Add(lc.Id, lc);
}
}

JavaScript

Till detta så är det också en del javascript som arbete i användarens webbläsare. Koden består av ett intervall som kör fuktionen “DoIt” varje sekund. “DoIt” gör ett Ajax-anrop till kontrollern som i sin tur hämtar informationen från rätt “ListCrawler”-objekt och skickar tillbaka den till användarens webbläsare som i sin tur trycker ut den informationen till rätt element.

$(document).ready(
function () {
setInterval(DoIt, 1000);
$("#continue").hide();
$("#abortTakeMeBack").hide();

$("#abortBtn").click(function () {
$.getJSON("/Home/Abort", { "jobId": "@ViewBag.jobId" }, function (data, textStatus, jqXHR) {
if (data.status) {
$("#abortTakeMeBack").show();
window.clearInterval();
}
});
});

if (data.error != null) {
$("#progressError").html(data.error);
}

$("#CurrentUri").html(data.CurrentUri);
$("#BytesDownloaded").html(data.BytesDownloaded);
$("#UrlCounter").html(data.UrlCounter);
$("#TotalUrls").html(data.TotalUrls);
if (data.Percent != undefined) {
$("#progressText").html(data.Percent + "%");
$("#progressBar").width(data.Percent + "%");
}
});
}
});

Crawla en lista av adresser med “Microsoft.Web.Management.SEO.Crawler”

Dennis Sangmo — Fri, 19 Aug 2011 09:26:54 +0000

Jag fick i uppdrag att bygga en applikation som skulle kunna söka igenom hemsidor efter valideringsfel, punkter som inte följde generella standarder exempelvis ut en sökmotoroptimerings vinkel. Eftersom jag tidigare haft mycket erfarenhet av att använda mig av ett tillägg i IIS server vid namn “Microsoft SEO Toolkit”, så valde jag att bygga denna applikation kring det bibliotek som tillkommer när tillägget installeras. De kallar ramverket “Microsoft.Web.Management.SEO.Crawler” och har faktiskt många fördelar, men också många brister… Bara det faktum att Inga metoder är dokumenterade, så man får till viss det testa sig fram.

För att komma igång med biblioteket kan ni läsa en artikel som tar upp några av grunderna här: http://blogs.iis.net/carlosag/archive/2009/11/18/iis-seo-toolkit-start-new-analysis-automatically-through-code.aspx

Problemet med resultatet i den guiden är det faktum att i en MVC lösning så vill man inte att en webbsida skall stå still och ladda undertiden analysen genomförs. En laddnings-vy hade kanske varit en bättre ide, vilket är det jag kommer fokusera mig på i detta inlägg.

Hemligheten bakom denna lösning är baserad på en teknik som kallas “Threading” som tillåter dig att köra flera processer parallellt istället för att behöva vänta på att hela analysen är utförd. Till detta använder jag mig av Ajax för att hämta ut nuvarande status på det arbetande objektet samtidigt som den arbetar i en annan tråd.

Och nu till lite kod:

using System;
using System.Collections.Generic;
using System.Threading;
using Microsoft.Web.Management.SEO.Crawler;
using System.IO;

public class ListCrawler
{
public Guid Id { get; private set; }
public string DirectoryPath { get; set; }
public ProgressInformationDTO ProgressInformation { get; set; }
public string FullDirectoryPath
{
get
{
return (!SettingIsApplied || !ProgressInformation.IsComplete) ? "" : Path.Combine(DirectoryPath,Id.ToString());
}
}
public bool HasWorkingCrawler { get { return WorkingCrawler != null; } }
public bool WorkingCrawlerIsActive { get { return ProcessThread.IsAlive; } }

private WebCrawler WorkingCrawler { get; set; }
private List CrawlerList { get; set; }
private bool SettingIsApplied { get; set; }
private Thread ProcessThread { get; set; }
private CrawlerSettings Settings { get; set; }

public ListCrawler()
{
Settings = new CrawlerSettings();
CrawlerList = new List();
ProcessThread = new Thread(Execute);
SettingIsApplied = false;

Id = Guid.NewGuid();
}

public bool Start()
{
if (SettingIsApplied) ProcessThread.Start();
return SettingIsApplied;
}

public void Stop()
{
if (ProcessThread.IsAlive)
{
ProcessThread.Abort();
WorkingCrawler = null;
}
}

private void Execute()
{
ProgressInformation.TotalUrlCount = CrawlerList.Count;
ProgressInformation.UrlCounter = 0;
foreach (var item in CrawlerList)
{
ProgressInformation.UrlCounter++;
var dir = Path.Combine(DirectoryPath, Id.ToString());
Settings.StartUrl = item.Uri;
Settings.Name = ProgressInformation.UrlCounter.ToString();

item.Crawler = new WebCrawler(Settings);
WorkingCrawler = item.Crawler;
item.Crawler.Start();

ProgressInformation.CurrentUrl = item.Crawler.Settings.StartUrl.AbsoluteUri;
ProgressInformation.TotalBytesDownloaded += WorkingCrawler.BytesDownloaded;

while (item.Crawler.IsRunning)
{
ProgressInformation.TotalBytesDownloaded += WorkingCrawler.BytesDownloaded;
Thread.Sleep(500);
}

item.Crawler.Report.Save(dir);
}

ProgressInformation.IsComplete = true;
}
}

Vad är det då som händer här?

Detta är ett objekt som tillhandahåller en lista med adresser och “Crawler”-objekt som skall sökas igenom. Den har också en egenskap som är av typen “Thread” som jag kallar “ProgressThread” som instansieras i objektets konstruktor med metoden “Execute”. Det betyder att när tråden körs så kommer metoden “Execute” köras i den tråden ifrån rätt scope, vilket den gör när “Start”-metoden anropas.

I metoden “Execute” så händer en del saker men det som jag vill trycka på är att vi kan få “Thread”-objektet att sova utan att beröra resten av applikationen och det faktum att jag loopar igenom och analyserar alla objekt i listan.

Enkelt, eller hur?

Nästa vecka tar jag upp hur man kan göra för att hämta ut data från det körande objektet.

ASP.NET MVC – komprimera html med actionfilter

Alexander Nyquist — Thu, 18 Feb 2010 15:56:38 +0000

Genom att komprimera sin html kan man spara åtskillig datamängd. Jag tänkte här dela med mig av ett Actionfilter till ASP.NET MVC för att komprimera all output (genom att strippa bort onödig whitespace). Med nedanstående filter sparade jag 46kb per sidvisning, vilket blir relativt mycket om man har en välbesökt sida.

Först kommer definitionen av attributet som används för att kunna anropa filtret.

public class OptimizeHtmlOutputAttribute : ActionFilterAttribute
{
public override void OnResultExecuting(ResultExecutingContext filterContext)
{
HttpResponseBase response = filterContext.HttpContext.Response;
response.Filter = new OptimizeHtmlFilter(response.Filter);
}
}

Filtret består utav lite mer kod, dock är funktionen som utför allt arbete den överlagrade metoden “Write”.

public class OptimizeHtmlFilter : Stream
{
private readonly StringBuilder _responseHtml;
private readonly Stream _responseStream;

public OptimizeHtmlFilter(Stream inputStream)
{
_responseStream = inputStream;
_responseHtml = new StringBuilder();
}

#region Filter overrides

public StringBuilder ResponseHtml
{
get { return _responseHtml; }
}

public override bool CanRead
{
get { return true; }
}

public override bool CanSeek
{
get { return true; }
}

public override bool CanWrite
{
get { return true; }
}

public override long Length
{
get { return 0; }
}

public override long Position { get; set; }

public override void Close()
{
_responseStream.Close();
}

public override void Flush()
{
_responseStream.Flush();
}

public override long Seek(long offset, SeekOrigin origin)
{
return _responseStream.Seek(offset, origin);
}

public override void SetLength(long length)
{
_responseStream.SetLength(length);
}

public override int Read(byte[] buffer, int offset, int count)
{
return _responseStream.Read(buffer, offset, count);
}

#endregion

public override void Write(byte[] buffer, int offset, int count)
{
string stringBuffer = Encoding.Default.GetString(buffer);

var sb = new StringBuilder();

var lines = stringBuffer.Split(Environment.NewLine.ToCharArray(), StringSplitOptions.RemoveEmptyEntries);
foreach (var line in lines)
sb.Append(line.Trim());

buffer = Encoding.Default.GetBytes(sb.ToString());
_responseStream.Write(buffer, 0, buffer.Length);
}
}

Filtret används sedan genom att dekorera Actions (eller för den delen controllers) med [OptimizeHtmlOutput], exempelvis:

[OptimizeHtmlOutput]
public ActionResult Html(int id)
{
var report = _repository.GetReport(id);
return View("Csv", new CsvReport(report));
}

Dock bör man komma ihåg att inte optimera där det inte behövs. Man bör alltid profilera koden för att se vart flaskhalsarna sitter.