RU2813110C1 - Способ и система автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения - Google Patents
Способ и система автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения Download PDFInfo
- Publication number
- RU2813110C1 RU2813110C1 RU2023126040A RU2023126040A RU2813110C1 RU 2813110 C1 RU2813110 C1 RU 2813110C1 RU 2023126040 A RU2023126040 A RU 2023126040A RU 2023126040 A RU2023126040 A RU 2023126040A RU 2813110 C1 RU2813110 C1 RU 2813110C1
- Authority
- RU
- Russia
- Prior art keywords
- metafiles
- visualization
- store
- data
- visualization parameters
- Prior art date
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000010276 construction Methods 0.000 title claims abstract description 19
- 238000003491 array Methods 0.000 title abstract 4
- 238000002955 isolation Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 5
- 230000007717 exclusion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Abstract
Изобретение относится к способу и системе автоматической визуализации больших массивов данных. Техническим результатом является расширение арсенала технических средств автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения, повышение точности визуализации результатов анализа больших массивов данных. Технический результат достигается благодаря осуществлению способа автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения, в котором: получают датасеты и аппроксимируют их, выделяя упрощенное представление исходных данных и получая цифровые маски, хранящие паттерны их построения; по представленным датасетам строится визуализация и формируются метафайлы с соответствующими параметрами визуализации; метафайлы связываются с ранее полученными цифровыми масками; при получении нового датасета его аппроксимируют и получают цифровую маску, которую сравнивают с ранее сформированными цифровыми масками и при нахождении совпадения привязывают соответствующие метафайлы с параметрами визуализации; формируют визуализацию нового датасета с помощью привязанных на предыдущем шаге метафайлов. 2 н. и 12 з.п. ф-лы, 9 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
[1] Настоящее техническое решение, в общем, относится к области вычислительной техники, а именно к способу автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения.
УРОВЕНЬ ТЕХНИКИ
[2] В настоящее время информационные системы, предлагающие пользователю возможность визуализации при анализе данных, т.е. функционал создания графиков, описывающих данные, содержат в себе ограниченный набор типов графиков, например: круговая диаграмма, временной график, сводная таблица, воронка и т.д. Далее пользователь самостоятельно выбирает наиболее информативный с его точки зрения тип графика. Данная работа требует высокой квалификации, результат всегда субъективен, и работа может занять продолжительное время.
[3] При этом в существующих подходах к визуализации результатов анализа данных в известных BI-системах график, как правило, настраивается для комбинации фильтров, что ограничивает возможности автоматизации процесса визуализации.
[4] Из уровня техники известно техническое решение, описанное в RU 2386172 «ПРАВКА ТЕКСТА ПРОИЗВОЛЬНОЙ ГРАФИКИ ПОСРЕДСТВОМ ИЕРАРХИЧЕСКОГО СПИСКА», 29.06.2005, МАЙКРОСОФТ КОРПОРЕЙШН (US): «способ программного обеспечения графики, который автоматически создает графическое содержание, когда пользователь вводит или модифицирует иерархический список данных содержания и выбирает один из множества вариантов выбора графических определений графических элементов. Кроме того, настоящее изобретение включает в себя пользовательский интерфейс с тремя разными отображениями. Первое отображение представляет пользователю одну или более галерей, включая галерею с множеством графических определений. Второе отображение представляет собой область ввода содержания. И последнее отображение представляет собой полотно для рисования». Описывается инструмент выбора типа и настройки графика человеком, речь об автоматизации не идет.
[5] Из уровня техники известно техническое решение, описанное в RU 2488159 «РАНЖИРОВАНИЕ ТИПОВ ВИЗУАЛИЗАЦИИ НА ОСНОВАНИИ ПРИГОДНОСТИ ДЛЯ ВИЗУАЛИЗАЦИИ НАБОРА ДАННЫХ», 30.03.2009, МАЙКРОСОФТ КОРПОРЕЙШН (US): «Генерируют метаданные визуализации для каждого из множества различных типов визуализации, причем метаданные визуализации содержат данные, описывающие один или более атрибутов типа визуализации, конкретные оси и конкретную последовательность данных для каждого конкретного типа визуализации. Генерируют метаданные набора данных для набора данных, причем метаданные набора данных содержат данные, описывающие один или более атрибутов упомянутого набора данных. Вычисляют оценки пригодности для каждого из множества различных типов визуализации на основании метаданных визуализации и метаданных набора данных, при ранжировании множества различных типов визуализации на основании вычисленных оценок пригодности. Определяют превышает ли каждая из вычисленных оценок пригодности порог. Отображают на интерфейсе пользователя визуальные представления каждого из множества различных типов визуализации, когда вычисленная оценка пригодности превышает порог. Принимают выбор одного из отображенных визуальных представлений и представляют набор данных, используя типы визуализации, соответствующие выбранному визуальному представлению».
При этом в данном решении проводится анализ графиков из ограниченного множества и анализируются их метаданные, что ограничивает возможности автоматизации.
[6] Из уровня техники известна также библиотека Python AutoViz: выполняет визуализацию в виде диаграмм из плоского текстового файла. На вход библиотеке подается файл (Excel, CSV, txt или json), и AutoViz визуализирует его диаграммами и графиками. Своего интеракивного графического интерфейса не имеет. Взаимодействие с библиотекой происходит программно, через входные параметры.
[7] Недостатками данных решений являются специфические условия для автоматизации процесса визуализации результатов анализа больших массивов данных, либо отсутствие автоматизации, кроме этого существующие решения производят визуализацию недостаточно точно, с существенными искажениями.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
[8] Данное техническое решение направлено на устранение недостатков, присущих существующим решениям, известным из уровня техники.
[9] Решаемой технической проблемой в данном техническом решении является обеспечение возможности автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения.
[10] Основным техническим результатом, проявляющимся при решении вышеуказанной проблемы, является расширение арсенала технических средств путем обеспечения возможности автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения. Дополнительным техническим результатом является повышение точности визуализации результатов анализа больших массивов данных.
[11] Указанные технические результаты достигаются благодаря осуществлению способа автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения, реализуемого с помощью процессора и устройства хранения данных, включающего следующие шаги:
• получают датасеты и аппроксимируют их, выделяя упрощенное представление исходных данных и получая цифровые маски, хранящие паттерны их построения;
• по представленным датасетам строится визуализация и формируются метафайлы с соответствующими параметрами визуализации;
• сформированные на предыдущем шаге метафайлы связываются с ранее полученными цифровыми масками;
• при получении нового датасета для построения визуализации его аппроксимируют и получают цифровую маску;
• полученную цифровую маску сравнивают с ранее сформированными цифровым масками и при нахождении совпадения привязывают соответствующие метафайлы с параметрами визуализации;
• формируют визуализацию нового датасета с помощью привязанных на предыдущем шаге метафайлов.
[12] В одном из частных примеров осуществления способа метафайлы хранят параметры визуализации с исключением пиковых значений.
[13] В другом частном примере осуществления способа метафайлы хранят параметры визуализации с транспонированием.
[14] В другом частном примере осуществления способа метафайлы хранят параметры визуализации с дополнением тренда характеристиками интенсивности изменения.
[15] В другом частном примере осуществления способа метафайлы хранят параметры визуализации с совмещением периодов.
[16] В другом частном примере осуществления способа метафайлы хранят параметры визуализации с подбором типа шкалы по осям.
[17] В другом частном примере осуществления способа метафайлы хранят параметры визуализации с установкой минимальных и максимальных ограничений по осям.
[18] Кроме того, заявленные технические результаты достигаются за счет системы автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения, содержащей:
• по меньшей мере одно устройство обработки данных;
• по меньшей мере одно устройство хранения данных;
• по меньшей мере одну программу, где одна или более программ хранятся на одном или более устройствах хранения данных и исполняются на одном и более устройствах обработки данных, причем одна или более программ обеспечивает выполнение следующих шагов:
• получают датасеты и аппроксимируют их, выделяя упрощенное представление исходных данных и получая цифровые маски, хранящие паттерны их построения;
• по представленным датасетам строится визуализация и формируются метафайлы с соответствующими параметрами визуализации;
• сформированные на предыдущем шаге метафайлы связываются с ранее полученными цифровыми масками;
• при получении нового датасета для построения визуализации его аппроксимируют и получают цифровую маску;
• полученную цифровую маску сравнивают с ранее сформированными цифровым масками и при нахождении совпадения привязывают соответствующие метафайлы с параметрами визуализации;
• формируют визуализацию нового датасета с помощью привязанных на предыдущем шаге метафайлов.
[19] В одном из частных примеров осуществления системы метафайлы хранят параметры визуализации с исключением пиковых значений.
[20] В другом частном примере осуществления системы метафайлы хранят параметры визуализации с транспонированием.
[21] В другом частном примере осуществления системы метафайлы хранят параметры визуализации с дополнением тренда характеристиками интенсивности изменения.
[22] В другом частном примере осуществления системы метафайлы хранят параметры визуализации с совмещением периодов.
[23] В другом частном примере осуществления системы метафайлы хранят параметры визуализации с подбором типа шкалы по осям.
[24] В другом частном примере осуществления системы метафайлы хранят параметры визуализации с установкой минимальных и максимальных ограничений по осям.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[25] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых:
Фиг. 1 иллюстрирует блок-схему выполнения заявленного способа.
Фиг. 2 иллюстрирует пример упрощенного представления графика.
Фиг. 3 иллюстрирует пример построения цифровой маски на основе датасета.
Фиг. 4 иллюстрирует пример аппроксимации датасета.
Фиг. 5 иллюстрирует пример упрощенной маски датасета.
Фиг. 6 иллюстрирует примеры графика с пиктограммами, показывающими интенсивность изменения (роста или падения) показателя.
Фиг. 7 иллюстрирует помесячную историю некоторого показателя в течение 2 лет.
Фиг. 8 иллюстрирует пример совмещенной визуализации.
Фиг. 9 иллюстрирует систему для реализации заявленного способа.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[26] Ниже будут описаны термины и понятия, необходимые для реализации настоящего технического решения.
[27] Датасет или набор данных (data set или dataset) - это коллекция данных. В случае с табличными данными набор данных соответствует одной или нескольким таблицам баз данных, где каждый столбец таблицы соответствует отдельной переменной, и каждая строка соответствует записи в наборе данных. Наборы данных хранят значения для каждой переменной, например высоту и вес объекта, для каждого члена набора данных. Наборы данных могут также состоять из коллекции документов или файлов.
[28] Заявленное техническое решение может выполняться, например системой, машиночитаемым носителем, сервером и т.д. В данном техническом решении под системой подразумевается в том числе компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
[29] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
[30] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных, например таких устройств как оперативно запоминающие устройства (ОЗУ) и/или постоянные запоминающие устройства (ПЗУ). В качестве ПЗУ могут выступать, включая, но не ограничиваясь, жесткие диски (HDD), флеш-память, твердотельные накопители (SSD), оптические носители данных (CD, DVD, BD, MD и т.п.) и др.
[31] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
[32] Термин «инструкции», используемый в этой заявке, может относиться, в общем, к программным инструкциям или программным командам, которые написаны на заданном языке программирования для осуществления конкретной функции, такой как, например, получение и обработка данных, формирование профиля пользователя, прием и передача сигналов, анализ принятых данных, идентификация пользователя и т.п.Инструкции могут быть осуществлены множеством способов, включающих в себя, например, объектно-ориентированные методы. Например, инструкции могут быть реализованы, посредством языка программирования С++, Java, Python, различных библиотек (например, Microsoft Foundation Classes) и т.д. Инструкции, осуществляющие процессы, описанные в этом решении, могут передаваться как по проводным, так и по беспроводным каналам передачи данных, например, Wi-Fi, Bluetooth, USB, WLAN, LAN и т.п.
[33] Представленный способ автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения (на Фиг. 1 представлена схема способа) решает задачи обеспечения возможности автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения и повышения точности визуализации результатов анализа больших массивов данных за счет последовательного выполнения следующих шагов:
• получают датасеты и аппроксимируют их, выделяя упрощенное представление исходных данных и получая цифровые маски, хранящие паттерны их построения;
• по представленным датасетам строится визуализация и формируются метафайлы с соответствующими параметрами визуализации;
• сформированные на предыдущем шаге метафайлы связываются с ранее полученными цифровыми масками;
• при получении нового датасета для построения визуализации его аппроксимируют и получают цифровую маску;
• полученную цифровую маску сравнивают с ранее сформированными цифровым масками и при нахождении совпадения привязывают соответствующие метафайлы с параметрами визуализации;
• формируют визуализацию нового датасета с помощью привязанных на предыдущем шаге метафайлов.
[34] На первом этапе способа датасет «упрощается» и это упрощенное представление графика является ключом настройки (в паре «ключ настройки - значение настройки»). Упрощение происходит на основе методик и алгоритмов аппроксимации данных. Выбор конкретного способа аппроксимации исходного датасета не важен для описываемого технического решения. Аппроксимация датасета необходима для получения упрощенного представления исходных данных с тем, чтобы на основе такого представления автоматизировать повторное использование оптимальных настроек графического представления данных. Автоматизация достигается за счет того, что аппроксимированные данные становятся цифровой маской исходных данных и обладают следующими свойствами:
• построены на основе исходных данных;
• отражают характерные особенности исходных данных;
• имеют малый размер для удобства хранения и построения связи с настройками визуализации.
[35] Полученная именно таким образом, цифровая маска будет являться ключом настройки. При этом непосредственное применение функций свертки (хеш-функций) к исходным данным, без аппроксимации, даст уникальный отпечаток именно этих данных и не позволит проводить сравнение датасетов, с целью выявить подобие.
[36] В описываемом решении искомый ключ настройки, с одной стороны, является непосредственным образом аппроксимированного датасета, сохраняет сведения о его характерных особенностях, а с другой стороны, не является строгим идентификатором исходного датасета. Нахождение подобия по полученным таким образом идентификаторам позволяет распознавать данные, имеющие схожие по картине распределения значения, наличию периодической цикличности, другие характерные особенности и автоматически применять для визуализации ранее подобранные оптимальные настройки. Например, упрощенному представлению графика на Фиг. 2 соответствует цифровая маска:
Это значение приблизительно отражает состав исходных данных, при этом оно достаточно компактно, что позволяет использовать его в качестве ключа для построения связи с набором настроек визуализации.
Например, на Фиг. 2, шкалы X и Y разбиваются на N частей и строится «пиксельное» представление графика - если график попадает в квадрат, то значение квадрата становится равным 1. Таким образом, в этом примере датасет «упрощается» до двумерного массива N*N и от этого упрощенного представления легко и быстро посчитать хэш-значение. В примере на Фиг. 2 проиллюстрировано загрубленное (пикселизированное) представление графика функции синус. Или, например, от графика берется производная, значение которой может быть, всегда положительно. Или, например, от графика можно взять минимальные и максимальные значения шкал. Изначально, когда для анализируемого датасета нет (или не найдено) метаданных настройки, визуализация происходит по исходным данным «как есть» без применения каких-либо настроек. Далее, ознакомившись с таким первоначальным графиком, пользователь может воспользоваться системой поиска более оптимального (удобного для анализа) отображения графика данных, включая:
- исключение пиковых значений;
- транспонирование;
- дополнение тренда характеристиками интенсивности изменения;
- совмещение периодов;
- подбор типа шкалы по осям;
- установка min/max-ограничений по осям.
Полученные на данном этапе настройки визуализации сохраняются, ключом поиска для их повторного использования становится цифровая маска исходного датасета:
[цифровая маска] => [набор настроек]
Например: см. таблицу ниже (связь Маска ->Настройка)
Рассмотрим пример построения цифровой маски на основе датасета, представленного на Фиг. 3.
Аппроксимируем данный датасет с шагом 4 по осям X и Y (на Фиг. 4).
Таким образом, мы получим упрощенную маску исходного датасета, удовлетворяющую нашим требованиям - близкую к исходному, но более простую: представлено на Фиг. 5.
Если размер исходного датасета достаточно велик, так, что за одну итерацию аппроксимации с выбранным шагом получается более 1000 точек, операцию следует повторять до получения маски менее 1000 точек.
[37] Получение цифровых масок датасетов происходит на основе известных методик и алгоритмов аппроксимации данных, возможно использование готовых библиотек, реализующих необходимый функционал аппроксимации. Функционал поиска и связи реализован на уровне баз данных в языке SQL.
[38] В качестве дополнительного примера практического применения приведем исключение из анализа точек с пиковыми значениями. В ручном режиме исключение точек реализовано через интерактивное взаимодействие пользователя с точками/узлами графика. В автоматическом режиме, с исрпользованием описанного технического решения выявляются точки со значительно отличающимися значениями от основного массива значений. Затем устанавливают порядок размерности отличия: в 10 раз, в 100 раз, и т.д. Если такие точки/узлы находятся, они исключаются (либо предлагаются к исключению) из визуализации графика.
[39] Для выявления точек с пиковыми значениями сначала рассчитывается среднее значение исследуемого показателя в представленных для анализа календарных границах. Затем происходит оценка порядка отклонения значений от среднего по набору данных в целом. Оценка происходит последовательно от большего порядка к меньшему. Если найдены значения больше/меньше среднего в 1000 раз - они исключаются (или предлагаются к исключению) при визуализации. Если такого порядка отклонений нет, происходит поиск значении с меньшим порядком в 100 раз/10 раз и т.д. При этом у пользователя есть возможность управлять шагом порядка отклонения или остановить работу алгоритма на произвольном шаге.
[40] В рамках данной задачи, для оценки отклонений допустимо применение готовых библиотек, реализующих распространенные статистические методики. Новизна применения достигается за счет применения данного инструмента уже во время визуализации с возможностью ручной настройки процесса пользователем для поиска наиболее подходящего способа графического представления данных.
[41] В качестве еще одного дополнительного примера практического применения приведем выявление и обозначение на тренде графика характеристик интенсивности изменения.
Выявляются участки графика, имеющие:
• неизменное значение производной (участок с равномерным изменением показателя);
• монотонное изменение производной первого порядка и производная второго порядка неизменна (участок монотонного ускорения/замедления изменения показателя);
• монотонное изменение производной второго порядка и производная третьего порядка неизменна (участок интенсивного ускорения/замедления изменения показателя). Затем, в соответствии с выявленными участками на графике располагаются пиктограммы, иллюстрирующие интенсивность изменения (роста или падения) показателя (на Фиг. 6).
[42] В качестве дополнительного примера практического применения приведем совмещение сегментов периодических (календарных) трендов для выявления цикличности изменений (либо отклонений цикличности). Например, на Фиг. 7 последовательно показана помесячная история некоторого показателя в течении 2 лет.
Используя описанное техническое решение автоматически выявляется наличие полной ежемесячной истории за 2-летний период и предлагается вариант совмещенной визуализации, см. на Фиг. 8.
Совмещенная визуализация, таким образом, позволит наглядно оценить динамику показателя в сравнении период-к-периоду.
[43] В общем виде (см. Фиг. 9) система автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения (900) содержит объединенные общей шиной информационного обмена один или несколько процессоров (901), средства памяти, такие как ОЗУ (902) и ПЗУ (903) и интерфейсы ввода/вывода (904).
[44] Процессор (901) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в системе (900) также необходимо учитывать графический процессор, например, GPU NVIDIA с программной моделью, совместимой с CUDA, или Graphcore, тип которых также является пригодным для полного или частичного выполнения способа, а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.
[45] ОЗУ (902) представляет собой оперативную память и предназначено для хранения исполняемых процессором (901) машиночитаемых инструкций для выполнения необходимых операций по логической обработке данных. ОЗУ (902), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом, в качестве ОЗУ (902) может выступать доступный объем памяти графической карты или графического процессора.
[46] ПЗУ (903) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.
[47] Для организации работы компонентов устройства (900) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (904). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.
[48] Для обеспечения взаимодействия пользователя с устройством (900) применяются различные средства (905) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.
[49] Средство сетевого взаимодействия (906) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п.В качестве одного или более средств (906) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.
[50] Конкретный выбор элементов устройства (900) для реализации различных программно-аппаратных архитектурных решений может варьироваться с сохранением обеспечиваемого требуемого функционала. В частности, подобная реализация может быть выполнена с помощью электронных компонент, используемых для создания цифровых интегральных схем. Не ограничиваясь, могут быть использоваться микросхемы, логика работы которых определяется при изготовлении, или программируемые логические интегральные схемы (ПЛИС), логика работы которых задается посредством программирования. Для программирования используются программаторы и отладочные среды, позволяющие задать желаемую структуру цифрового устройства в виде принципиальной электрической схемы или программы на специальных языках описания аппаратуры: Verilog, VHDL, AHDL и др. Альтернативой ПЛИС являются: программируемые логические контроллеры (ПЛК), базовые матричные кристаллы (БМК), требующие заводского производственного процесса для программирования; ASIC - специализированные заказные большие интегральные схемы (БИС), которые при мелкосерийном и единичном производстве существенно дороже. Таким образом, реализация может быть достигнута стандартными средствами, базирующимися на классических принципах реализации основ вычислительной техники.
[51] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.
Claims (29)
1. Способ автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения, реализуемый с помощью процессора и устройства хранения данных, включающий следующие шаги:
получают датасеты и аппроксимируют их, выделяя упрощенное представление исходных данных и получая цифровые маски, хранящие паттерны их построения;
по представленным датасетам строится визуализация и формируются метафайлы с соответствующими параметрами визуализации;
сформированные на предыдущем шаге метафайлы связываются с ранее полученными цифровыми масками;
при получении нового датасета для построения визуализации его аппроксимируют и получают цифровую маску;
полученную цифровую маску сравнивают с ранее сформированными цифровым масками и при нахождении совпадения привязывают соответствующие метафайлы с параметрами визуализации;
формируют визуализацию нового датасета с помощью привязанных на предыдущем шаге метафайлов.
2. Способ по п. 1, характеризующийся тем, что метафайлы хранят параметры визуализации с исключением пиковых значений.
3. Способ по п. 1, характеризующийся тем, что метафайлы хранят параметры визуализации с транспонированием.
4. Способ по п. 1, характеризующийся тем, что метафайлы хранят параметры визуализации с дополнением тренда характеристиками интенсивности изменения.
5. Способ по п. 1, характеризующийся тем, что метафайлы хранят параметры визуализации с совмещением периодов.
6. Способ по п. 1, характеризующийся тем, что метафайлы хранят параметры визуализации с подбором типа шкалы по осям.
7. Способ по п. 1, характеризующийся тем, что метафайлы хранят параметры визуализации с установкой минимальных и максимальных ограничений по осям.
8. Система автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения, содержащая:
по меньшей мере одно устройство обработки данных;
по меньшей мере одно устройство хранения данных;
по меньшей мере одну программу, где одна или более программ хранятся на одном или более устройствах хранения данных и исполняются на одном и более устройствах обработки данных, причем одна или более программ обеспечивает выполнение следующих шагов:
получают датасеты и аппроксимируют их, выделяя упрощенное представление исходных данных и получая цифровые маски, хранящие паттерны их построения;
по представленным датасетам строится визуализация и формируются метафайлы с соответствующими параметрами визуализации;
сформированные на предыдущем шаге метафайлы связываются с ранее полученными цифровыми масками;
при получении нового датасета для построения визуализации его аппроксимируют и получают цифровую маску;
полученную цифровую маску сравнивают с ранее сформированными цифровыми масками и при нахождении совпадения привязывают соответствующие метафайлы с параметрами визуализации;
формируют визуализацию нового датасета с помощью привязанных на предыдущем шаге метафайлов.
9. Система по п. 1, характеризующаяся тем, что метафайлы хранят параметры визуализации с исключением пиковых значений.
10. Система по п. 1, характеризующаяся тем, что метафайлы хранят параметры визуализации с транспонированием.
11. Система по п. 1, характеризующаяся тем, что метафайлы хранят параметры визуализации с дополнением тренда характеристиками интенсивности изменения.
12. Система по п. 1, характеризующаяся тем, что метафайлы хранят параметры визуализации с совмещением периодов.
13. Система по п. 1, характеризующаяся тем, что метафайлы хранят параметры визуализации с подбором типа шкалы по осям.
14. Система по п. 1, характеризующаяся тем, что метафайлы хранят параметры визуализации с установкой минимальных и максимальных ограничений по осям.
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2813110C1 true RU2813110C1 (ru) | 2024-02-06 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090016641A1 (en) * | 2007-06-19 | 2009-01-15 | Gianluca Paladini | Method and apparatus for efficient client-server visualization of multi-dimensional data |
| RU2488159C2 (ru) * | 2008-05-13 | 2013-07-20 | Майкрософт Корпорейшн | Ранжирование типов визуализации на основании пригодности для визуализации набора данных |
| WO2017111197A1 (ko) * | 2015-12-24 | 2017-06-29 | 한국교육학술정보원 | 학습 분석에서 빅데이터 시각화 시스템 및 방법 |
| US20180225416A1 (en) * | 2017-02-08 | 2018-08-09 | 10X Genomics, Inc. | Systems and methods for visualizing a pattern in a dataset |
| RU2017102380A (ru) * | 2017-02-28 | 2019-08-19 | Общество с ограниченной ответственностью "Кибердинамика" | Способ визуального отображения структуры данных в виде графа кластеров данных и интерактивного анализа аномалий множества источников данных, система и устройство для осуществления способа |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090016641A1 (en) * | 2007-06-19 | 2009-01-15 | Gianluca Paladini | Method and apparatus for efficient client-server visualization of multi-dimensional data |
| RU2488159C2 (ru) * | 2008-05-13 | 2013-07-20 | Майкрософт Корпорейшн | Ранжирование типов визуализации на основании пригодности для визуализации набора данных |
| WO2017111197A1 (ko) * | 2015-12-24 | 2017-06-29 | 한국교육학술정보원 | 학습 분석에서 빅데이터 시각화 시스템 및 방법 |
| US20180225416A1 (en) * | 2017-02-08 | 2018-08-09 | 10X Genomics, Inc. | Systems and methods for visualizing a pattern in a dataset |
| RU2017102380A (ru) * | 2017-02-28 | 2019-08-19 | Общество с ограниченной ответственностью "Кибердинамика" | Способ визуального отображения структуры данных в виде графа кластеров данных и интерактивного анализа аномалий множества источников данных, система и устройство для осуществления способа |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10970431B2 (en) | Automated model development process | |
| EP3580653B1 (en) | Automated interface design | |
| US12112102B2 (en) | Techniques for applying generative design to the configuration of mechanical assemblies | |
| US7552032B2 (en) | Method and system for automated design | |
| US20150026635A1 (en) | Method for generating control-code by a control-code-diagram | |
| US10423416B2 (en) | Automatic creation of macro-services | |
| WO2020023811A1 (en) | 3d object design synthesis and optimization using existing designs | |
| CN109376153A (zh) | 一种基于NiFi的数据写入图数据库的系统及方法 | |
| US20080004855A1 (en) | Design support apparatus, design support method, and design support program | |
| CN110956261A (zh) | 一种评价指标的确定方法及系统 | |
| RU2813110C1 (ru) | Способ и система автоматической визуализации больших массивов данных с помощью поиска и выделения их паттернов построения | |
| EP2128778A1 (en) | Simulation control program, recording medium, simulator and simulation control method | |
| WO2021062113A1 (en) | Architectural design software incorporating intelligent data-driven user guidance | |
| CN111985014A (zh) | 一种基于标准图集的建模方法及系统 | |
| JP7186411B1 (ja) | 情報処理システム、情報処理方法及び情報処理プログラム | |
| CN112114998B (zh) | 一种静态随机存储器中冗余信息修复方法、装置、存储介质及终端 | |
| JP7824014B2 (ja) | インタラクティブな決定木修正 | |
| CN116304628A (zh) | 一种时间序列特征提取方法、装置、设备、介质和产品 | |
| Cibulski et al. | Super-ensembler: Interactive visual analysis of data surface sets | |
| JP2023022706A (ja) | 学習支援装置、学習支援方法および学習支援プログラム | |
| JP7799759B1 (ja) | 情報提供装置、情報提供方法及び情報提供プログラム | |
| WO2022039740A1 (en) | Subdivision-based surface editor | |
| WO2024225933A1 (ru) | Объединения данных информационных систем для их визуализации | |
| CN114995314B (zh) | 用于核电厂dcs系统中变量使用信息自动统计方法及系统 | |
| WO2024158312A2 (ru) | Способ и система обработки данных с помощью хеширования для их последующего извлечения и использования |