Намаляване на неуспешните онлайн поръчки с 30% и 100% увеличение видимостта на платежните инструменти – това прави AIOPSGROUP за световния моден бранд MCM, като внедрява AI за e-commerce мониторинг, позволяващ наблюдението на всички вътрешни и фонови процеси на клиента, както и гарантиращ оптимизирано потребителско преживяване. Това всъщност е само един от многото казуси, които компанията разрешава ежедневно. Известна със своите e-commerce разработки, AIOPSGROUP помага на глобални бизнеси чрез създадено от тях Big Data&Splunk решение за мониторинг. Идеята за него се заражда още преди две години, а днес то се използва при над 70% от клиентите им.
Устойчив бизнес и минимизиране на загубите
Натрупаният дългогодишен опит в e-commerce сектора (прочети повече за създаването на AIOPSGROUP) ги насочва към търсене на начин за минимизиране паричните загуби на клиентите. „С практиката установихме един често срещан проблем – когато някоя клиентска система спре да работи по някаква причина, това се разбира твърде късно. За период от час-два, което е ужасно много време, особено говорейки за големите онлайн търговци, клиентът може да изгуби солидна сума.
Така се роди идеята да направим разработка, която помага веднага да се идентифицират подобни проблеми и да се реагира бързо за премахването им,“ споделя софтуерният архитект Петър Гаджев.
Решението представлява система за мониторинг за e-commerce инфраструктура и е базирано на Splunk.
“Използваме Splunk по-скоро като инструмент за визуализация, а логиката за обработката на самите данни е нещо, което ние сами сме написали. Концепцията представлява множество входящи данни, от различни системи на клиента. Те се агрегират в Splunk и цялото решение се базира на събития. Това означава, че ние събираме събития свързани с промяна на състоянието като например актуализиране на статуса на поръчка, като тези събития се натрупват в Splunk под формата на структурирани или неструктурирани данни в индекси. Това може да са application логове, както и данни за продукти, поръчки и т.н. oт e-commerce ситемите на клиентите. С тях ние създаваме нотификации въз основа на различни Key Performance Indicators (KPI), “ разяснява Петър.
Той обяснява, че технологиите които се използват за работата на решението са основно Splunk и неговия Query език, с който се интерпретират данните, както и Python. Оказва се, че решението е ориентирано не само към техническите, но и към бизнес хората, защото данните могат да се използват по какъвто е необходим начин и от двете страни. То помага за проследяване на броя поръчки, реализирани плащания с различни оператори, брой продукти и наличности.
„Има доста бизнес KPI`s, които могат да се визуализират и реално нашият инструмент има две лица. Едното е Business Intelligence и е фокусирано върху мениджмънта на клиента, а другото е за разпознаване на проблеми и тяхното разрешаване,“
разказва Петър.
Той споделя, че се разработват и дейта пайплайни (data pipelines) базирани на Spring Cloud Data Flow, които се ползват в различни ситуации. „С тях се попълват данни от различни REST API-та и се препращат към Splunk, където се анализират.“
Да подходиш индивидуално към всеки клиент
В началото на своята разработка, екипът е изправен пред това да създаде един унифициран Data модел, който да се използва за възможно най-голям брой източници на данни. „Голямо предизвикателство беше първоначалният подход, с който извличането на данни не се случваше директно в Splunk, а по-скоро в системите на самите клиенти, така нареченият push механизъм. Това беше трудно, защото бяхме зависими от клиентите и от техните IT екипи. В началото беше трудоемко да се реализира преминаването от push към pull. В момента цялата логика е изцяло в продукта, всяка интеграция анализира първо REST API-то, от където идват данните и ако нямаме акселератор за това REST API, пишем нов като нищо не се изисква от страна на клиента,“ разказва Петър.
Друга специфика, с която се сблъскват е, че клиентите използват различни системи отвъд e-commerce платформата и имат много интеграции с вътрешни системи, като всички предоставят различни API-та и начини за получаване на информацията. Това налага екипът да използва разнообразни технологии, в зависимост от конкретния клиент и инфраструктура. „Предизвикателно е когато работиш с толкова много източници на данни, затова за да се направи този дейта пайплайн (data pipeline) възможно най-скалируем и унифициран, решихме да използваме Spring Cloud Data Flow framework, с което се справихме с доста от проблемите,“ обяснява Петър. Той споделя, че понякога разработват и допълнителни функционалности върху клиентска инфраструктура като Microsoft Azure, AWS.
Нов ден, ново предизвикателство
Екипът, отговорен за Big Data&Splunk решението за мониторинг се състои от 6 човека, като основните роли в него са софтуерни и DevOps инженери. Петър споделя, че едно от нещата, което му харесва в работата е това, че всеки ден се сблъсква с нови и нови предизвикателства. Разнообразието от интеграции, възможността да работи с огромен обем от данни и това да предлага различни решения е другото, което го мотивира.
„С нашия продукт разрешаваме истински бизнес проблеми и е изключително приятно да виждаш смисъла от работа си и то приложен на практика,“
казва Петър.
Въпреки многото функционалности на решението, екипът е съсредоточен върху това да създава нови и да го подобрява постоянно, като в момента се работи върху пълна автоматизация на процесите по тестване и внедряване. Работата на екипа се улеснява доста, ако могат с няколко клика да вдигнат стейджинг или лайв среда,“ пояснява Петър.
Интересуваш се от проектите и работата в AIOPSGROUP? Разгледай техните свободни позиции тук.