Een Document Management oplossing is goed in het beheren van ‘content’, procesondersteuning, het geven van inzich, overzicht en controle. Maar hoe komt de content het systeem binnen? Een kanaal kan ‘volledig digitaal’ zijn, gevoed vanuit andere applicaties, email, office. Er is echter nog steeds een papieren stroom die ook in het DMS behoort te landen. Kortom, er is behoefte op aansluiting met scanning.

Zou het niet fantastisch zijn als het proces van validatie en indexering, overdracht naar een DMS waar content kan worden beheerd tot het kan worden vernietigd, volledig web based en op een Open Source stack zou kunnen draaien? Dat kan! En Ephesoft is de toegang!

Ephesoft is een  Open Source ‘Mailroom Automation’ oplossing die precies dat doet. En meer.
[[This article exists in English as well.]]

Het bedrijf Ephesoft is opgestart en wordt geleid door voorheen Kofax medewerkers; er is dus behoorlijk wat domeinkennis aan boord. Het bedrijf heeft de capaciteit om dit product in hoog tempo uit te bouwen en op een niveau te brengen dat het voorziet in de behoefte (voor zover het dat nog niet doet dan). Net als bij Alfresco is het product van de grond af opnieuw opgebouwd en zijn de leermomenten van fouten uit het verleden toegepast, en het product weer verder verbeterd.

Hoe het werkt
De scanner levert batches van tiff bestanden aan Ephesoft (de applicatie). Via een webbrowser kunnen medewerkers de scans valideren en herkende metadata eventueel corrigeren. Het systeem is dus in staat om naast het weer tekst maken van de gescande afbeelding, ook herkenning van metadata te realiseren. Denk aan NAW gegevens, documentnummers, barcodes, line items… Deze metadata kan vervolgens verderop in het proces worden meegegeven aan het DMS. Zoals gemeld kunnen medewerkers de metadata controleren en verbeteren waarna Ephesoft de gescande bestanden tesamen met de metadata via de CMIS standaard kan doorgeven aan het DMS. (Mits CMIS compliant natuurlijk.) Voor mij is het DMS Alfresco.

Dat zowel DMS als scan applicatie zowel web based als open source zijn, geeft enorme vrijheid om deze te implementeren in de organisatie en architectuur. Qua eventueel maatwerk bestaan veel voorbeelden (want: open source), en qua architectuur bestaal allerlei keuzen om bepaalde (of alle delen) ‘in de cloud’ of bij een derde partij te hosten, terwijl de medewerkers volledig plaats en tijd onafhankelijk kunnen werken met slechts een webbrowser! Dit kan Het ultieme Nieuwe Werken!

Ephesoft functionaliteit

Ephesoft is de applicatie voor ‘intelligent document capture’. Het bestaat uit het volgende ‘modulaire’ proces:

Document Ingestion
Ephesoft ontvangt content/documenten uit een bron. Dit kunnen natuurlijk gescande batches tiff documenten zijn (elke folder met tiff bestanden wordt als batch gezien). Het systeem kan echter ook gevoed worden door elk ander systeem, denk aan email (bericht met bijlagen) of content uit een DMS wat up uniforme wijze geclassificeerd kan worden en aan een DMS kan worden aangeboden ter archivering of opslag. De huidige 1.9 versie van de software maakt van email en bijlage PDF documenten die full-text indexeerbaar zijn en via het Ephesoft proces classificeerbaar zijn en waar metadata uit geëxtraheerd kan worden. Een open source tool om email te archiveren en van metadata te voorzien!

OCR & Barcode
De volgende stap in het proces is om de feitelijke tekst van de afbeelding of het document te verkrijgen. Als het gaat over een scan, komt dot neer op OCR (Optical Character Recognition). Ephesoft maakt gebruik van een modulair stysteem, en er is keuze welke OCR engine hiervoor te gebruiken. De community versie komt geconfigurered met  Tesseract als OCR engine, de Enterprise versie met Recostar Professional, een closed source OCR tool. Overigens zou ook  ORCopus kunnen worden ingezet als open source ORC engine, als deze nog niet standaard configureerbaar.

Documenten die oorspronkelijk uit een gecontroleerde omgeving komen zoals een DMS,  zouden voorzien kunnen zijn van enige vorm van barcodes. Ephesoft wordt standaard geleverd met de mogelijkheid om Code39 barcodes (de ‘normale’ 1 dimensionale barcodes, zoals bekend uit de supermarkt), QR codes (2 dimensionale codes) , and datamatrix codes (ook 2 dimensional). De 1-dimensionale barcode kan typisch gebruikt worden voor iets als een document/klant/briefnumer, en de 2 dimensional versie kan veel meer informatie bevatten. (QR codes wordne ondermeer gebruikt om de link naar (intranet/DMS?) webpagina’s te bevatten.

Classification (and Separation)
Ephesoft kan leren hoe de eerste en laatste pagina’s van een document er uitzien. Met deze informatie kan een stapen documenten ineens gescand worden, en is het niet meer nodig om scheidingsvellen tussen de te scannen documenten op te nemen. De gescande velletjes worden vanaf dat moment als een document beschouwd. Het systeem kan verschillende document types herkennen, met verschillende begin/eindpagina’s, op basis van de layout en het voorkomen van zaken als keywords, barcodes en andere herkenbare ‘landmarks’.

Voordeel is dat men zich in de scanstraat niet meer druk hoeft te maken over scheidingspagina’s, er kan gewoon een stapel originelen worden gescand en het systeem kan herkennen welke pgina’s een document vormen. Dit kan veel tijd en moeite schelen.

Extraction
Een van de mooie functies van Ephesoft is dat het entiteiten kan herkennen binnen een document. Zaken als namen, adressen, postcodes, klantnummers etc. kan worden herkend en opgeslagen als metadataveld. Dit is van enorme meerwaarde als het document aan een DMS wordt toegevoegd. Een DMS kan vervolgens op basis van deze aanvullende/beschrijvende metadata routering bepalen, of rapportages en overzichten genereren.

Distribution
Als de documenten gescand, van tekstlaag en metadata (extractie) zijn voorzien, en naar pdf zijn geconverteerd, moet Ephesoft ze ‘ergens laten’.  Ephesoft community wordt geleverd met twee eindpunten voor deze pdf’s. De meest basale is dat de bestanden naar een (netwerk)schijf worden weggeschreven. Een nadeel is dat een bestand op de netwerkschijf vaak niet alle metadata kan bevatten die eerder herkend is. Wel behoud het de voordelen vna een volledig geindexeerd en doorzoekbaar pdf document. Er zijn natuurlijk toepassingen waar dit ongewenst is.

Het andere alternatief is dat het pdf bestand via de CMIS standaard aan een ander systeem wordt overgedragen. CMIS is een open standaard onderhouden door het OASIS consortium. CMIS staat voor Content Management Interoperability Standard, wat ik al eerder heb beschreven. CMIS heeft de fantastische mogelijkheid dat zowel het document als de metadata kan worden uitgewisseld. Ephesoft kan vervolgens dit CMIS ‘end point’ configureren dat de pdf versie (of desgewenst (ook) de tiff) van de scans met metadata naar Alfresco kan worden overgezet.  (Lees verder in “Configuring Ephesoft and Alfresco for CMIS integration“; in English).

User interface om Batches te verwerken
De Ephesoft applicatie heeft twee types web-based interface. De eerste is bedoeld voor de gebruikers die de kwaliteit van de scans en de metadata in de gaten houden of verbeteren. De Ephesoft engine doet zijn best om de metadata te herkennen, maar dit zal waarschijnlijk nooit 100% zijn. In deze interface krijgen gebruikers overzicht over de gescande batches in termen van prioriteit en status. Per batch kunnen de documenten gevalideerd worden, pagina’s worden verplaatst, geroteerd (of verwijderd) en de metadata die niet correct is herkend kan worden verbeterd of aangevuld, zoals in de afbeelding hieronder. Hoewel Ephesoft een web-applicatie is, kan de gebruiker gebruik maken van een groot aantal keyboard shortcuts om de effectiviteit te verhogen.  (Voor verdere details, zie de User Manual)

User inferface om het systeem te beheren (e.g. admin interface)
Het Ephesoft systeem moet natuurlijk ook beheerd worden. Met de administratie interface kan men de Batches configureren. Per batch klasse kunnen Modules worden geactiveerd en geconfigureerd.  Zo kan de ene Batch klasse een CMIS endpointhebben naar  systeem A, de documenten in een andere Batch klasse worden afgeleverd in systeem B, en de documenten uit een derde klasse worden opgeslagen op een folder op een netwerkschijf.  (Voor meer details, zie de Admin Manual).

In dit screenshot kunnen de modules van de huidige Batch klasse worden geselecteerd om te configureren.

Het is een beetje jammer dat het beheer van gebruikers is gedelegeerd naar een applicatieserver. Vanuit een business standpunt is dit geen ramp, het is gebruikelijk dat een applicatieserver koppelt met een systeem als Active Directory. De community versie wordt geleverd met Tomcat als applicatieserver, waarbij de gebruikers terug te vinden zijn in de user.xml file van Tomcat.

Ephesoft vanuit technisch perspectief
Ephesoft is een Java gebaseerde web-applicatie die draait op een server. Dit betekent dat de gebruikers alleen maar een webbrowser nodig hebben! De server gebruikt JBPM als basis voor het modulaire proces. Elke module kan worden geconfigureerd, en eenvoudig worden aan- of uitgezet, of worden vervangen door een module met gelijksoortige functionaliteit.

De server is ontworpen om te kunnen functioneren in een cluster (om single-point-of-failure te vermijden en een hoge erg beschikbaarheid te kunnen garanderen) en tevens voor gebruik ‘in de cloud’. Door deze ontwerp-beslissingen zijn robuuste en hedendaagse architecturen te realiseren. Waarom de server in eigen beheer draaien en niet in de cloud? Parameters zoals scan volume, beschikbare bandbreedte, de spreiding van de organisatie over het land/continent/wereld beinvloeden mede hoe een ideale architectuur er uit kan zien. Ephesoft kan zich aanpassen aan vele architecturen, en zal niet gauw in de weg zitten.

De Ephesoft applicatie is een Java application die draait in een Applicatie Server. De community versie wordt geleverd met Tomcat, maar specifieke versies van  JBoss, Weblogic en Websphere worden ook ondersteund. De applicatie gebruikt ImageMagick voor de grafische transformaties (schalen, van tiff naar png). De OCR module binnen Ephesoft kan worden vervangen. De Enterprise versie wordt geleverd met  Recostar Processional, Community komt met Tesseract. In mijn beleving zou Tesseract ook nog vervangen kunnen worden door ORCopus.

hOCR staat voor de tool die de tiff’s kan combineren met de tekst laag (in de .hocr files) tot een pdf file (evt. met meerdere pagina’s per document). Deze .horc files bevatten zowel de text die herkend is van de afbeelding, alsook de locatie van de woorden/letters op de pagina. Net zoals Tesseract, is ook deze tool is beschikbaar voor zowel Windows als Linux. Op moment van schrijven was MySQL de enige ondersteunde database, maar op de korte termijn worden ook MSSQL, oracle, Postgress en DB2 ondersteund. De actuele technische details kunnen online worden teruggevonden.

Het business model
Ephesoft kent een vergelijkbaar subscription model als Alfresco. De Community Edition komt onder de  GPL v2 license, en is dus gratis te gebruiken, zonder ondersteuning van Ephesoft, zonder garanties. U bent dan aangewezen op de wiki, fora, internet etc. De Enterprise Edition is verder getest en wordt geleverd met een commerciele (kwalitatief betere)  OCR oplossing. De subscription is gebaseerd op het aantal CPU’s die in gebruik zijn op de server, niet door het aantal gebruikers, aantal scans of andere beperkingen. Er bestaan een aantal nivo’s van ondersteuning, van het inschieten van issues tot 24/7 ondersteuning. Zie de Ephesoft website voor meer details.

Het ‘bewijs’
Ik heb flink met Ephesoft gestoeid om het (op mijn manier) technisch werkend te krijgen. Naast wat technische details waar ik tegenaangelopen ben, leer ik ook graag grenzen (en verkrijg ik inzcht) door over deze grenzen heen te gaan. Ik had mij een aantal doelen gesteld:

1. Configureer Ephesoft zodanig dat de resulterende pdf’s in Alfresco worden opgeslagen middels CMIS. Dit is gelukt, maar niet met de mate van detail die ik had verwacht. Zie “Configuring Ephesoft and Alfresco using CMIS integration” voor de details (in English). De eindconclusie is: ja het werkt.  Vooral voor de ‘simpelere’ attribuut types. In de inmiddels vorige  community version (1.8.1.6) ging het CMIS transportmis voor data types als Long and Double (CMIS kent alleen Integer en Decimal). Dit blijkt mede te zijn opgelost door als String de waarden over te dragen.
2. installeer Ephesoft en Alfresco in een enkele  Tomcat instance. Dit is geen real-life scenario, in een productie omgeving zullen deze juist gescheiden zijn. Het geeft echter wel een idee welke componenten, libraries en omgevingsvariabelen nodig zijn, en hoe e.e.a. geconfigureerd is, en hoe dit te tweaken is. Bovendien is het aantrekkelijker een enkele VMware op te starten voor demo doeleinden. Ik heb dit uitgeprobeerd op het Windows platform, en de conclusie is: ‘Bijna klaar’. Ik heb beide applicaties in een enkele Tomcat geinstalleerd, en uiteindelijk liep de stap van het samenvoegen van tiff en hocr tot pdf bestand mis. Zie “Ephesoft and Alfresco into one Tomcat instance” voor meer details (gestaakt, wekens wisselen van versies, installaties, en beperkte vrije tijd).
3. Als Open Source adept draait een server ‘natuurlijk’ Linux. ‘Helaas’ blijken de huidige klanten van Ephesoft allemaal Windows te draaien, dus het lijkt vooral mijn probleem . Aangezien het om een Java applicatie gaat, zou dit niet al te complex zijn. De crux zal zitten in de helperapplicaties als Tesseract, ImageMagick en hOCR. mijn eerste stap is om Tesseract op Linux werkend te krijgen (Bij de Ephesoft Windows distributie wordt dit werkend meegeleverd). Dat was eenvoudig, zie “Alfresco using Tesseract OCR on Ubuntu Linux” (English). De volgende stap is om de verdere applicatie werkend te krijgen op Linux (zie “DRAFT: Install Ephesoft on Ubuntu Linux” voor de details – English, en nadrukkelijk ‘draft’). Dit is uiteindelijk nog niet afgerond. Enerzijds door tijdgebrek (het is hobby-project voor mij), anderzijds (b)lijken er een aantal paden hardcoded te zijn voor Windows. Het systeem wil perse de windows TesseractConsole.exe aanroepen, en die bestaat niet in Linux wereld. Ik wacht nog op wat vrije tijd om de broncode door te nemen en aan te passen, maar aangezien dit een project is in eigen tijd…

The near future
De Nederlandse versie van deze blog is ingehaald door de realiteit. Inmiddels is de 1.9 versie van Ephesoft vrijgegeven. Deze maakt van Ephesoft een krachtige email-classificatie tool. In de Document ingestion fase kan naast de gescande tiff ook email worden ‘ingevoerd’. Email met bijlage worden naar pdf geconverteerd, en alle features zoals entity extractie kunnen hierop worden uitgevoerd! Daarnaast worden binnenkort verwacht:

• Form processing, zone OCR/ICR/OMRPDF/
• Multi page tiff import
• Table extraction
• veel meer…

Daarnaast worden ‘groepen’ geintroduceerd, zodat batch classes aan bepaalde groepen kunnen worden gekoppeld.  Ik kijk erg uit naar hands-on tijd met de nieuwe 1.9 release…

Mijn conclusie

Allereerst: Wat een fantastisch product. En een pluim voor de respons van de mensen van Ephesoft, men reageert heel snel en uitgebreid op vragen en foutrapporten.

Vanuit een architectuur standpunt vind ik de 100% server/web-based oplossing interessant. Gebruikers hebben alleen een webbrowser nodig. Ideaal voor HetNieuweWerken! De mogelijkheden zijn krachtig, ik kan het wel zien werken…

Ik ben erg fan van de Document Ingestion fase. Natuurlijk zijn scans slechts een van de vele stromen informatie die geclassificeerd en van metadata voorzien dient te worden. Het ligt erg voor de hand dat het ongeacht de stroom, door dezelfde logica heen gaat! Of de documenten nou vanuit scan, email of een DMS komen, de extractie logica is op deze wijze eenduidig.

Downside is dat het product relatief nieuw is. In het licht van open source betekent dit dat nog geen levendige community bestaat, maar nog  in opbouw is. Zo ontdekte ik dat de Issue Management oplossing nog in ontwikkeling is, maar aan de andere kant, het product moet ook ontwikkeld worden en er moeten klanten gevonden worden, ook Ephesoft kan de tijd maar eenmaal besteden. De wiki is in opbouw, evenals de discussie fora. er is wel degelijk aandacht voor de documentatie, in de wiki zijn recentelijk weer mooie tutorials toegevoegd. De website communiceert helder wat er in een volgende release verwacht kan worden, en wanneer deze release gescheduled staat. Tot op heden wordt er prima naar planning geleverd!

Het beheer van gebruikers is een punt van aandacht. Aan de ene kant hoeft niet elke applicatie zelf aan gebruikersbeheer doen. Aan de andere kant, als er geen fatsoenlijke applicatieserver is (liefst met koppeling naar AD) zou het verdomd handig zijn als er wel een kaal minimum is, wat iets meer kan bieden dan de users.xml in Tomcat…

Ik was licht teleurgesteld door de CMIS integratie. Het mappen van de pdf output op de standaard cmis:document ging prima. Het werd spannend toen ik de datatypes in Alfresco gelijk trok aan de datatypes in Ephesoft. CMIS voorziet niet in alle data types, en het bleek dat sommige types als String werden aangeboden. Dat moet de ontvangende Alfresco kant natuurlijk ook weten…

Ik vind het een mooie tool, ben blij verrast door de breedte van de oplossing, en ik heb een warm gevoel bij de Ephesoft organisatie.

Mijn to-do lijst

• Ik wil een onderzoek doen om de kwaliteit van OCR te kunnen vergelijken tussen de open source en de closed source OCR oplossingen.
• Ik wil graag de code bekijken en bezien waar deze kan worden aangepast om de helper tools voor de verschillende platform te kunnen configureren. Daarna kan ik verder met mijn alles-op-Linux experiment.

[update 16 jan 2011: toegevoegd link naar "DRAFT: install Ephesoft on Ubuntu Linux"]

Recent heeft de Europese ombudsman een uitspraak gedaan over wanneer Open Source moet worden aanbesteed en wanneer niet. Deze uitspraak heeft nogal gevolgen voor Open Source oplossingen met een gesupporteerde versie. Tjarda Peelen legt uit.

Tjarda Peelen over Open Source aanbestedingen

(Find the Dutch version in this article)
(Find the Spanish version in this article)

Some time ago, Alfresco, Signavio and Camunda started Activiti, an open source alternative for enterprise BPM. The

first question that crossed my mind was “why a new BPM engine”? Basically, there are some reservations about the jBPM Alfresco implementation in the areas of developing and controlling processes. Alfresco had more reasons to reconsider an (embedded) BPM engine. There are customer considerations against limitations to the LGPL license (or the perception thereof) which is why the Activiti project is developed under the Apache 2 license.

Vision

JBPM is a ‘technically oriented’ BPM engine. The Activiti project’s vision is that it should be a lightweight engine, easy to use (for Java developers) and that ‘workflow’ could also be social. Remind the could be. The Activiti project does not prescribe how an organization should use BPM, but it wants to facilitate collaborating around the business process.
Traditionally, the development of (business) processes is the ‘analysts’ domain. This role develops process diagrams, defines the flow of jobs, defines to what role a job is assigned, and what automated steps take place. Next in line, the ‘developers’ create “executable code” of it. Activiti has a number of elements in it which can facilitate collaboration among the roles involved like analysts, managers and developers.

First, Activi utilizes BPNM2.0, the now widely accepted open standard for process modeling. The beauty of this 2.0 version of the standard is that next to the schema language, the underlying defining XML standardized as well. Activiti can directly execute this XML. This has the advantage that the analyst and the developer work on the same process scheme and therefore underlying XML. They can read each other’s work, and actually work on the same schema’s. That will do a lot for the effectiveness of communication. Activiti also provides an additional module where all roles involved are facilitated to collaborate in a ‘2.0’ style, and improve the process of developing business processes, and improve existing ‘running’ process definitions. I will elaborate on this later in this article.

For Alfresco the Activiti path is a well thought out decision. Two of the founding fathers of jBPM actually joined

Alfresco in order to achieve this open source BPM engine. Alfresco already had the experience of running an open source project because it is open source itself. Next to that they have run the Apache Foundation-route before when they created the OpenCMIS project, now included in the Apache Chemistry project. (Did I mention SpringSurf Alfresco developed and donated to SpringSource? Quite some open source activity here…)

The concept

For ease of explaining, let’s assume that in the development and operation of BPM processes the following four roles are involved:

• The analyst has understanding of the business domain and defines processes and tasks.
• The developer creates the executable code, to fill in the automated tasks and lookups as resulted from the analysts work.
• The process participant is any person in the organization that gets a task assigned in running business processes.
• The administrator is the role that ensures that the BPM system will operate. Tasks that ‘get stuck’ or processes that fail can be restarted, removed or reassigned. This role is understanding why processes function as they do in terms of errors, performance etc.

I will explain the modules of Activiti using the chart below.

Activiti Engine

The heart of the system is the Activiti Engine. This is the work horse where BPNM2.0 XML format is ‘imported’ and depending on the logic the described process steps are created and dispatched. This advanced engine has an extremely low overhead in terms of memory usage and database storage/manipulation. The engine generates jobs that can get assigned to individuals / groups / roles. There may also be “system tasks” defined that can do all kind of automated tasks. Think of document manipulations in a DMS (using CMIS?), communication with other systems using web services for example, changes in (external) databases, etc. Processes that are no longer active are moved to an archive, to improve on execution speed.

Activiti comes with many types of activities / tasks. Next to that a simple Java API exists that enables organizations to define their own tasks. If a basic set of functionality is implemented these tasks can be graphically modeled and the engine can execute. This way, the custom activity can be reused and configured by the analyst using the graphical user interface.

The Activiti Engine is as open as possible. Besides extensive access through the Java API, you can access a REST interface to query and control the application. This means that the applications which make use of the Activiti Engine not necessarily have to be programmed in Java. This allows presentation of the task list in applications build in languages like PHP or .NET. The Activiti Engine can be queried in many ways to generate work lists, metrics,  ongoing processes etc. etc. Think of searching running processes, using the numerical value of an attribute is greater than x, sorted by start date.

Activiti is designed as an enterprise grade BPM engine, thus is also scalable. It is prepared to function in the cloud, instances of the engine can run in parallel if desired, and it integrates seamlessly into an existing application for example using the Spring framework.

The last feature I want to be mentioned is the ability to automate the testing process. There are facilities built to test using JUnit (version 3 and 4) to test the process. This is great news because it saves a lot of clicking to the many paths of a process to go through. This is a process facilitated by the engine deploy, run and undeploy the process definition. All steps can be executed, where automated tasks like sending email can be (temporarily) switched off. Using the JUnit results it can be determined whether the business logic in the process is working as intended.

Activiti Explorer

The Activiti Explorer is the user interface for the process participants. Here the personal and group task lists can be found. Group tasks can be claimed, and tasks can be completed. This means that data in a form can be completed or process choices can be made. Tasks can be reassigned to other users, and ad-hoc tasks can be created and assigned to anyone on the spot. Similarly, a user can ad-hoc create sub-tasks to divide a task into a number of smaller assignments.

Activiti Modeler

Activiti Modeler was developed by Signavio. The Modeler is a web application in which processes can be modeled using the BPMN2.0 schema. The process definitions are stored in BPMN2.0 XML format stored on the server. Like the SpringSurf framework the modeler communicates to the server via JSON. In the default configuration, the Activiti process definitions will be stored on the servers file system.

Activiti Designer

Activiti Designer is an Eclipse plugin. In this way, the developer can work on both the process XML and the graphical schema and the code in the same developer environment and easily switch between the related pieces of logic. Basically it does just exactly what you’d expect.

Activiti Probe

Activiti Probe provides an overview of running processes. This application is typically for administrator-like roles. Here you can monitor if the BPM engine is still functioning, how the resource usage is doing, and check up on the log files. Process instances can be deployed into the engine. If the process unexpectedly fails, running tasks can be restarted, reassigned, or the process be stopped or restarted.

At present Activiti Probe is “limited” to display system settings and relevant database tables. This is in my opinion already much better than the ‘web based command line tool’ that is currently shipped with Alfresco version of JBoss. However, it is not yet what one would expect of an Enterprise tool. A graphical tool with more management possibilities and more ways of finding running (or failed) processes, is in the pipeline.

Activiti Cycle

Activiti Cycle is the module where the social, collaboration aspect is located. BPM traditionally is the domain of business analysts. On the other hand, the developers combine the flow with the (custom) logic, make it communicate with repositories and ‘make the process work’. Activiti Cycle is an environment focused on collaboration with the process in its center. Processes can have relations with “artifacts” such as (for example Visio, Office, CAD) files, Maven repositories, Jira issues, a source code repository (like SVN). All roles involved in the creation,  and execution of a process can collaborate and discuss about the related processes and artifacts in context. There are many features that could be used, but the tool does not force off ‘how to do it. “ Depending on how an organization intends to deal with the process of mastering BPM, the tool can be used accordingly. Various benefits can be gained, like people are more involved, solutions become more realistic (i.e. successful), and the design / development process is documented properly and subsequently decisions can be traced back to how, when and why.

Integration into Alfresco

Integration of Activiti into other systems is the responsibility of the embedding system. Activiti is intended as a ‘generic’ BPM engine. Luckily Activiti and Alfresco share the same standards (including SpringSurf), making integration with Alfresco “relatively easy”. The integration team at Alfresco is mainly engaged in creating “activity types” (to automate manipulations of the repository), mapping Alfresco users to Activiti (and the effects on authorization in Alfresco), and integrating task-related user interface elements to the Alfresco (Share) frameworks ( think of the service forms to generate the task screens).

Current Status

At the moment Aactiviti is a project heavily in development. The first release candidate is out just this afternoon (we count Version 5 RC1 at time of writing). According the roadmap, seven point-releases are scheduled from the start of 2010 up till July (5.1 – 5.7) , one each month. Although it is an indication in terms of planning, it is a tight schedule, but also a serious indication of the rapid pace of product development. At this point in time Activiti is not the enterprise grade, production ready competition to ‘commercial’ mature BPM solutions. As the pace of development continues, it could soon be suitable for “simple processes”, provided the required basic blocks are there. Personally I’m really excited for what the integration with Alfresco will bring… Take a look at the activiti.org web site for the Today’s current status, and keep an eye on the roadmap!

Screenshots are reused from the activiti.org web site
CMIS is the Content Management Interoperability Standard managed by OASIS.
OpenCMIS (is part of the Apache Chemistry project) is a Java implementation of the CMIS standard.
BPNM2.0 is a standard managed by the OMG (Object Management Group).
JBPM is the open source workflow engine of JBoss, so owned by RedHat.

(There is also an English version of this posting)
(Find the Spanish version in this article)

Enige tijd geleden is Alfresco samen met Signavio en Camunda gestart met Activiti, een open source alternatief voor enterprise waardige BPM. De eerste vraag die bij mij opkwam was ‘waarom een nieuwe BPM engine’? Op zich zijn er wel wat kanttekeningen bij de JBPM implementatie in Alfresco op het terrein van ontwikkelen en beheersen van processen. Maar daarnaast had Alfresco meer redenen om eens goed opnieuw over een BPM engine na te denken. Enerzijds zitten er beperkingen aan de LGPL licentie (danwel de perceptie daarvan) waardoor Activiti project wordt ontwikkeld onder de Apache 2 licentie.

Visie

Daarnaast is JBPM een ‘technisch georiënteerde’ BPM engine. In het Activiti project heeft men de visie dat populair gezegd workflow ook ‘sociaal’ zou moeten kunnen zijn. Let wel, moet kunnen zijn. Het Activiti project schrijft niet voor hoe een oganisatie het gebruik van BPM organisatorisch moet inrichten, het wil gezamenlijk samenwerken kunnen faciliteren.

Traditioneel is het ontwikkelen van (bedrijfs)processen het domein van ‘analisten’. Deze ontwikkelen processchema’s, bepalen dat taken bij rollen terecht moeten komen, en welke stappen er geautomatiseerd plaats moeten vinden. Vervolgens gaan ontwikkelaars met deze plannen aan de slag om er ‘uitvoerbare code’ van te maken. Activiti heeft een aantal elementen in zich waardoor meer samenwerking gefaciliteerd kan worden tussen de analisten, beheerders en de ontwikkelaars. Enerzijds wordt gebruik gemaakt van BPNM2.0. Dit is een inmiddels breed geaccepteerde open standaard om processen te modelleren. Het mooie van deze 2.0 versie van de standaard is dat naast de schema taal, ook de achterliggende, definiërende XML gestandaardiseerd is. Activiti kan deze XML rechtstreeks uitvoeren. Dit heeft tot voordeel dat de analist en de ontwikkelaar van hetzelfde schema en dezelfde onderliggende XML uitgaan. Ze kunnen elkaars werk lezen, sterker nog, ze zouden op dezelfde schema’s kunnen werken. En dat communiceert erg effectief.  Anderzijds heeft Activiti een module in ontwikkeling waar de analist en de ontwikkelaar gezamenlijk kunnen werken aan processen, en ook bestaande processen kunnen gaan verbeteren. Ik kom hier later in dit artikel op terug.

Voor Alfresco is het pad van Activiti een doordachte actie. Zo zijn twee ‘founding fathers’ van JBPM bij Alfresco in dienst getreden om deze open source BPM engine te realiseren. Daarnaast is de kennis en ervaring in huis hoe een open source project te draaien. Alfresco is natuurlijk zelf open source, maar met OpenCMIS, ook door Alfresco gestart en inmiddels gedoneerd aan de Apache foundation, heeft Alfresco inmiddels de nodige ervaring met het opstarten van Apache projecten. Activiti moet daar uiteindelijk ook terecht gaan komen.

Het concept

Laten we voor het gemak even uitgaan dat er bij het ontwikkelen en in bedrijf houden van BPM processen de volgende vier rollen betrokken zijn:

• De analist overziet het bedrijfsdomein en bepaalt hoe processen lopen.
• De ontwikelaar neemt het resultaat van de analist over, en ontwikkelt een technische workflow die uitvoerbaar is, die allerhande geautomatiseerde en door mensen uitvoerbare taken kan bevatten.
• De procesdeelnemer is de persoon in de organisatie die een taak uit een proces krijgt toegewezen om iets bij te dragen aan het proces,
• De beheerder is de rol die er voor zorgt dat het BPM systeem blijft werken. ‘vastzittende’ taken of processen kunnen worden herstart, verwijderd, en deze rol heeft inzicht in waarom processen functioneren zoals ze doen in termen van foutmeldingen, performance etc.

Aan de hand van het schema hieronder zal ik uitleggen hoe een en ander bij elkaar hoort in Activiti.

Activiti Engine

Het kloppend hart van het systeem is de Activiti Engine. Dit is het werkpaard waar de BPNM2.0-formaat XML wordt ‘ingevoerd’ en afhankelijk van de beschreven logica processtappen worden aangemaakt en uitgestuurd. Deze geavanceerde engine heeft een extreem lage overhead in termen van geheugengebruik en database opslag. De engine genereert taken die naar personen/groepen/rollen gestuurd kunnen worden. Daarnaast kunnen er ‘systeemtaken’ worden gegenereerd om allerhande geautomatiseerd werk uit te voeren. Denk aan document manipulaties in een DMS (via CMIS?), communicatie met andere systemen middels bijvoorbeeld webservices, mutaties in (externe) databases, etc.  Processen die niet meer actief zijn worden verplaatst naar een archief.

Activiti wordt geleverd met veel typen activiteiten/taken. Daarnaast is er een eenvoudige API waarmee organisaties hun eigen taken kunnen definieren, die vervolgens kunnen worden gemodelleerd en door de engine kunnen worden uitgevoerd. Op deze wijze kan de maatwerk activiteit eenduidig worden hergebruikt, via een nette user interface worden geconfigureerd, en daarmee ook door de analisten worden gebruikt.

De Activiti Engine is zo open mogelijk. Naast uitgebreide toegang middels een Java API, kan via een REST interface een applicatie van alles aan de engine ‘vragen’. Dit betekent dat de applicaties die van de Activiti Engine gebruik maken niet noodzakelijkerwijs ook in Java geprogrammeerd hoeven te zijn. De programmeertaal van de omliggende applicaties is dus middels het REST protocol ontkoppeld. Hierdoor kan de takenlijst bijvoorbeeld in een PHP of een .NET applicatie worden gepresenteerd. De Activiti Engine kan worden bevraagd op allerlei manieren, om werklijsten te genereren, statistieken te vergaren, om lopende processen op meerdere manieren terug te kunnen vinden. Denk bijvoorbeeld aan zoeken naar lopende processen waarbij de numerieke waarde van een attribuut groter is dan x, geordend op startdatum.

Activiti is ontworpen als enterprise BPM engine, dus ook om schaalbaar te zijn. Het is voorbereid om te functioneren in de cloud, instances van de engine kunnen parallel draaien, en het integreert desgewenst naadloos in een bestaande applicatie in het Spring framework.

De laatste feature die ik niet onvermeld wil laten is de mogelijkheid om processen automatisch te kunnen testen. Er zijn faciliteiten ingebouwd om middels JUnit testen (versie 3 en 4) het proces te kunnen testen. Dit is fantastisch nieuws omdat dit heel veel klikken scheelt om de vele paden van een proces te doorlopen. Dit wordt door de engine gefaciliteerd door een proces tijdelijk te deployen, uit te voeren (maar evt. versturen van email etc. achterwege te laten), en weer te ‘undeployen’. Aan de hand van de JUnit resultaten kan worden bepaald of de businesslogica in het proces functioneert zoals het bedoeld is.

Activiti Explorer

De Activiti Explorer is de ingang voor de procesdeelnemers. Hier zijn de persoonlijke- en de groepstaaklijsten te vinden. Groepstaken kunnen worden geclaimd, en taken kunnen worden uitgevoerd. Dit betekent dat gegevens kunnen worden ingevuld in een formulier, of proceskeuzes kunnen worden gemaakt. Taken kunnen aan andere gebruikers worden toegekend, en er kunnen zelfs ter plekke ad-hoc taken worden gemaakt om iemand iets onder de aandacht te brengen. Ook zouden sub-taken kunnen worden aangemaakt om de taak ad-hok op te delen in een aantal deeltaken.

Activiti Modeler

De Activiti Modeler is ontwikkeld door Signavio. De Modeler is een web-applicatie waarin processen volgends de BPMN2.0 standaard kunnen worden gemodelleerd. De procesdefinities worden in het BPMN2.0 formaat op de server opgeslagen. Net zoals het SpringSurf framework communiceert de modeler ook middels JSON met de server. In de standaard Activiti configuratie worden de processen op de server op het filesysteem opgeslagen.

Activiti Designer

Activiti Designer is een Eclipse plugin. Op deze wijze kan de ontwikkelaar zowel het grafisch proces als de xml en de code naast elkaar zien en hier eenvoudig tussen switchen. Eigenlijk gewoon precies wat je ervan zou verwachten.

Activiti Probe

Activiti Probe geeft overzicht over lopende processen. Deze applicatie is typisch voor beheerder-achtige rollen. Hier kan men ondermeer bekijken of de BPM engine nog  functioneert, resource gebruik, hoe staat het met de logfiles. Ook kunnen proces instances naar de engine worden gedeployed. Als het proces onverhoopt niet goed loopt kunnen taken opnieuw worden ‘gestart’, of het proces worden gestopt of herstart.

Op dit moment is Activiti Probe ‘beperkt’ tot het tonen van systeeminstellingen en relevante database tabellen. Dit is in mijn beleving beter dan de ‘commandline tool’ die op dit moment met Alfresco wordt geleverd. Het is echter nog niet wat van een Enterprise tool mag worden verwacht. Een meer grafische tool met mogelijkheden tot zoeken van processen op allerlei kenmerken zit in de planning.

Activiti Cycle

Activiti Cycle is een module waar het sociale, samenwerkingaspect wordt uitgewerkt. Traditioneel is BPM het domein van business analisten, terwijl aan de andere kant juist de ontwikkelaars met het samenstel van code, repositories en het BPM proces het geheel laten ‘werken’. Met Aciviti Cycle wordt een omgeving gecreëerd waar samengewerkt kan worden rond processen. Processen kunnen relaties hebben met ‘artifacts’, zoals (bv. visio) bestanden, maven repositories, Jira issues, een source code repository (zoals SVN). Er zijn mensen die bij een proces betrokken zijn, en over allerhande zaken in context kunnen discussiëren. Er zijn veel features die kunnen worden gebruikt, maar de tool dwingt niet af ‘hoe het moet’. Afhankelijk van hoe een organisatie met BPM om wil gaan kan de tool worden ingezet. Voordelen die gerealiseerd kunnen worden zijn dat de mensen meer betrokken zijn, oplossingen realistischer (dus succesvoller) worden, en het ontwerp/ontwikkelproces wordt gedocumenteerd en achteraf het gevolgde pad is te reconstrueren (waarom en op basis waarvan zijn besluiten genomen).

Integratie met Alfresco

Integratie met systemen is de verantwoordelijkheid van de systemen zelf. Activiti is bedoeld als ‘generieke’ BPM engine. Gelukkig delen Activiti en Alfresco dezelfde standaarden (waaronder SpringSurf) , waardoor integratie met Alfresco als ‘relatief eenvoudig’ omschreven mag worden. Het integratie team aan Alfresco zijde is vooral bezig op het gebied van ‘activiteit-typen’ (automatische mutaties op de repository), koppeling van Activiti gebruikers naar Alfresco gebruikers, en het inpassen van taakgerelateerde user interface elementen aan de Alfresco (Share) frameworks (denk aan de forms-service om taakschermen te genereren).

Huidige status

Op dit moment is het Activiti project zwaar in ontwikkeling. Er wordt hard gewerkt aan een release candidate (we tellen versie 5 op moment van schrijven). Volgens de roadmap zijn de eerste 7 punt-releases (5.1 – 5.7) gepland, en wel maandelijks vanaf januari. Dat is een straf schema, een indicatie qua planning, maar ook een indicatie van het hoge tempo van ontwikkeling van het product. Activiti is nog niet productiewaardig als concurrent van de ‘commerciële’ BPM oplossingen. Als het tempo van ontwikkeling doorgaat, is het binnenkort wellicht geschikt voor ‘eenvoudige processen’ waarvoor dan al wel voldoende functionaliteit aanwezig is. Persoonlijk zit ik heel erg te wachten wat de integratie met Alfresco gaat opleveren… Let vooral op de activiti.org website voor de exacte huidige status, en houd een oog op de roadmap!

Vorige week was de Alfresco Developer Conference in Parijs, waar de laatste stand van zaken rondom de technische kant van Alfresco voor ontwikkelaars uit de doeken werd gedaan. Namens VLC was Bas Peters aanwezig, hij heeft een verslag over zijn bezoek geschreven op zijn weblog. Het artikel is in het Engels.

Het actieplan Nederland Open in Verbinding (NOiV) heeft tot doel overheidsinstanties aan te moedigen gebruik te maken van Open Standaarden en Open Source. Ondanks de toenemende mogelijkheden en de druk van de overheid lopen Nederlandse overheidsinstellingen achter bij andere Europese landen.

Bas Peters van VLC heeft een whitepaper geschreven waarin de mogelijkheden van Open Source Document Management (of Enterprise Content Management) worden beschreven, specifiek voor Nederlandse gemeentes. Daarin gaat hij ook in op de unieke eigenschappen die Alfresco heeft, en de professionele mogelijkheden die er voor beheer, implementatie en support van Alfresco te krijgen zijn. Het whitepaper laat zien dat er geen excuses meer zijn om als Nederland achter te lopen als het gaat om de toepassing van open source voor document management gerelateerde oplossingen.

Het paper is te downloaden op de website van VLC.