+
Вход

Въведи своя e-mail и парола за вход, ако вече имаш създаден профил в DEV.BG/Jobs

Забравена парола?
+
Създай своя профил в DEV.BG/Jobs

За да потвърдите, че не сте робот, моля отговорете на въпроса, като попълните празното поле:

72-54 =
+
Забравена парола

Въведи своя e-mail и ще ти изпратим твоята парола

Как в AIOPSGROUP разработват Big Data&Splunk решение за мониторинг

Намаляване на неуспешните онлайн поръчки с 30% и 100% увеличение видимостта на платежните инструменти – това прави AIOPSGROUP за световния моден бранд MCM, като внедрява AI за e-commerce мониторинг, позволяващ наблюдението на всички вътрешни и фонови процеси на клиента, както и гарантиращ оптимизирано потребителско преживяване. Това всъщност е само един от многото казуси, които компанията разрешава ежедневно. Известна със своите e-commerce разработки, AIOPSGROUP помага на глобални бизнеси чрез създадено от тях Big Data&Splunk решение за мониторинг. Идеята за него се заражда още преди две години, а днес то се използва при над 70% от клиентите им.

Устойчив бизнес и минимизиране на загубите

Натрупаният дългогодишен опит в e-commerce сектора (прочети повече за създаването на AIOPSGROUP) ги насочва към търсене на начин за минимизиране паричните загуби на клиентите. „С практиката установихме един често срещан проблем – когато някоя клиентска система спре да работи по някаква причина, това се разбира твърде късно. За период от час-два, което е ужасно много време, особено говорейки за големите онлайн търговци, клиентът може да изгуби солидна сума.

Петър Гаджев

Така се роди идеята да направим разработка, която помага веднага да се идентифицират подобни проблеми и да се реагира бързо за премахването им,“ споделя софтуерният архитект Петър Гаджев.

Решението представлява система за мониторинг за e-commerce инфраструктура и е базирано на Splunk.

“Използваме Splunk по-скоро като инструмент за визуализация, а логиката за обработката на самите данни е нещо, което ние сами сме написали. Концепцията представлява множество входящи данни, от различни системи на клиента. Те се агрегират в Splunk и цялото решение се базира на събития. Това означава, че ние събираме събития свързани с промяна на състоянието като например актуализиране на статуса на поръчка, като тези събития се натрупват в Splunk под формата на структурирани или неструктурирани данни в индекси. Това може да са application логове, както и данни за продукти, поръчки и т.н. oт e-commerce ситемите на клиентите. С тях ние създаваме нотификации въз основа на различни Key Performance Indicators (KPI), “ разяснява Петър.

Той обяснява, че технологиите които се използват за работата на решението са основно Splunk и неговия Query език, с който се интерпретират данните, както и Python. Оказва се, че решението е ориентирано не само към техническите, но и към бизнес хората, защото данните могат да се използват по какъвто е необходим начин и от двете страни. То помага за проследяване на броя поръчки, реализирани плащания с различни оператори, брой продукти и наличности.

„Има доста бизнес KPI`s, които могат да се визуализират и реално нашият инструмент има две лица. Едното е Business Intelligence и е фокусирано върху мениджмънта на клиента, а другото е за разпознаване на проблеми и тяхното разрешаване,“

разказва Петър.

Той споделя, че се разработват и дейта пайплайни (data pipelines) базирани на Spring Cloud Data Flow, които се ползват в различни ситуации. „С тях се попълват данни от различни REST API-та и се препращат към Splunk, където се анализират.“

Днес те питаме…

Каква е основната причина да си търсиш нова работа?
Loading ... Loading …
Да подходиш индивидуално към всеки клиент

В началото на своята разработка, екипът е изправен пред това да създаде един унифициран Data модел, който да се използва за възможно най-голям брой източници на данни. „Голямо предизвикателство беше първоначалният подход, с който извличането на данни не се случваше директно в Splunk, а по-скоро в системите на самите клиенти, така нареченият push механизъм. Това беше трудно, защото бяхме зависими от клиентите и от техните IT екипи. В началото беше трудоемко да се реализира преминаването от push към pull. В момента цялата логика е изцяло в продукта, всяка интеграция анализира първо REST API-то, от където идват данните и ако нямаме акселератор за това REST API, пишем нов като нищо не се изисква от страна на клиента,“ разказва Петър.


Друга специфика, с която се сблъскват е, че клиентите използват различни системи отвъд e-commerce платформата и имат много интеграции с вътрешни системи, като всички предоставят различни API-та и начини за получаване на информацията. Това налага екипът да използва разнообразни технологии, в зависимост от конкретния клиент и инфраструктура. „Предизвикателно е когато работиш с толкова много източници на данни, затова за да се направи този дейта пайплайн (data pipeline) възможно най-скалируем и унифициран, решихме да използваме Spring Cloud Data Flow framework, с което се справихме с доста от проблемите,“ обяснява Петър. Той споделя, че понякога разработват и допълнителни функционалности върху клиентска инфраструктура като Microsoft Azure, AWS.

Нов ден, ново предизвикателство


Екипът, отговорен за Big Data&Splunk решението за мониторинг се състои от 6 човека, като основните роли в него са софтуерни и DevOps инженери. Петър споделя, че едно от нещата, което му харесва в работата е това, че всеки ден се сблъсква с нови и нови предизвикателства. Разнообразието от интеграции, възможността да работи с огромен обем от данни и това да предлага различни решения е другото, което го мотивира.

„С нашия продукт разрешаваме истински бизнес проблеми и е изключително приятно да виждаш смисъла от работа си и то приложен на практика,“

казва Петър.

Въпреки многото функционалности на решението, екипът е съсредоточен върху това да създава нови и да го подобрява постоянно, като в момента се работи върху пълна автоматизация на процесите по тестване и внедряване. Работата на екипа се улеснява доста, ако могат с няколко клика да вдигнат стейджинг или лайв среда,“ пояснява Петър.

Интересуваш се от проектите и работата в AIOPSGROUP? Разгледай техните свободни позиции тук.