Управление данными виды подхода к управлению данными. Система управления данными
Управление данными – основа администрирования БД.
Основная концепция управления данными.
Организация управления данными.
Администрирование БД.
Заключение.
Управление данными – основа администрирования базами данных
Управление данными включает в себя процессы переработки данных, начиная от сбора данных и заканчивая их архивацией и доведением до пользователей. При этом рассматриваются как технологические, так и организационные вопросы сбора, обработки данных. Администрирование БД – это компонент управления данными, связанный с СУБД.
Управление данными можно рассматривать на уровне источника данных, центра данных, проекта (программы). Каждый уровень может включать предыдущие уровни управления данными. Например, управление данными на уровне центра обязательно включает сбор данных от источников данных. Крупная научная программа может включать несколько экспериментов, каждый из которых может иметь свой план управления данными.
План управления данными – это организационный документ, в котором определены все этапы переработки данных, а также средства их реализации.
Целями создания плана управления данными является улучшение сбора, доступа и использования информации; развитие БД; стандартизация процедур сбора и обмена данными.
Основная концепция управления данными
Создание плана управления данными должно учитывать долгопериодные решения по
развитию и стандартизации общих технологий сбора и обмена данными, позволяющих уменьшить временной лаг между сбором и доступом к данным;
увеличению кооперации при сборе, архивации, обработке и картированию данных;
созданию распределенных БД;
объединению новых и исторических данных для получения соответствующих временных рядов;
совместимости БД за счет использования общих протоколов форматирования и контроля качества для отдельных дисциплин;
доступу к архивным данным.
Методология управления данными должна быть основана на применении наиболее эффективных средств:
создания многоуровневых каталогов данных;
использования каталогов для поиска и оценки дубликатов;
поиска и обмена данными;
конвертирования данных в общие форматы;
контроля данными на различных этапах переработки данных;
создания новых методов обработки данных;
доступ к данным на компактных дисках, Интернет и др.
План управления данными способствует лучшему пониманию всеми участниками проекта, объединения научных интересов, общественных потребностей и правовых вопросов. Управление данными начинается с проектирования измерительной программы экспедиции или проекта, создания БД и заканчивается доступом пользователей к качественно проконтролированным и хорошо задокументированным БД. План управления данными должен быть ключевым элементом всех крупных проектов и программ. План управления данными поможет максимизировать возврат инвестиций, сделанных в проект с помощью финансирования для целей всестороннего использования получаемых данных, т.е. план управления данными есть механизм распространения и использования результатов проекта, специальная активность, выполняемая в рамках национальной и международной или корпоративной политики, основанной на лучшей практике обработки данных.
Этот план должен описывать работу, технологические требования и соответствующие результаты в проектировании измерительной активности, отчетности по сбору данных, документировании, контроле качества и создании БД, доступа к данным.
Одной из главных задач любого проекта, а особенно центра данных, является создание баз метаданных. Общие подходы в управлении данными позволяют получить пользу как специалистам, работающим в этих проектах, так и обществу в целом (более быстрое использование данных); сделать эффективнее использование большинства источников данных; хорошо задокументировать и проконтролировать данные, предназначенные для общего использования по окончании проекта.
Адекватное управление данными определяется возможностями национальных организаций политическими аспектами, техническими проблемами, условиями финансирования проектов, хорошей координацией всех участников проекта, наличием соответствующего квалифицированного штата.
Логический уровень (формализованное/модельное описание)
Логический уровень информационной технологии представляется комплексом взаимосвязанных моделей, формализующих информационные процессы при трансформации информации в данные. Формализованное в виде моделей представление информационной технологии позволяет связать параметры информационных процессов и дает возможность реализации управления информационными процессами и процедурами. На рис. 2.12 приведена логическая модель базовой информационной технологии, которая отражает схему взаимосвязи моделей информационных процессов.
На основе модели предметной области, характеризующей объект управления, создается общая модель управления, по которой, в свою очередь, формируются модели решаемых задач. Так как для решения задач управления применяют различные информационные процессы, то необходимо строить модель их организации, которая на логическом уровне увязывает применяемые при решении задач процессы управления.
Рис. 2.12.
При обработке данных формируются все основные информационные процессы: обработка, обмен и накопление данных, преставление знаний.
Модель обработки данных включает в себя формализованное описание процедур организации вычислительного процесса (операционные системы), преобразования (алгоритмы и программы сортировки, поиска, создания и преобразования статических и динамических структур) и логического вывода (моделирования).
Модель обмена данными содержит формальное описание процедур, выполняемых в вычислительной сети: передачи (кодирование, модуляция в каналах связи), коммутации и маршрутизации (протоколы сетевого обмена) и описывается с помощью международных стандартов: OSI (взаимодействие отрытых систем), локальных сетей (IEEE 802) и спецификации сети Интернет (см. гл. 18).
Модель накопления данных описывает как систему управления базой данных (СУБД), так и саму информационную базу, которая может быть определена как база данных и база знаний. Процесс перехода от смыслового (информационного) представления к физическому осуществляется трехуровневой системой моделей информационной базы: концептуальной (какая и в каком объеме информация должна накапливаться при реализации информационной технологии), логической (структура и взаимосвязь элементов информации) и физической (методы размещения данных и доступа к ним на машинных носителях). Функции управления базами данных регламентируют (см. гл. 19): язык баз данных SQL (Structured Query Language); информационно-справочную систему IRD (Information Resource Dictionary System); протокол удаленного доступа операций RDA (Remote Data Access), PAS (Publicly Available Specifications) Microsoft на открытый прикладной интерфейс доступа к базам данных ODBC (Open Data Base Connectivity) API (Application Program Interface).
Модель представления знаний выбирается в зависимости от полноты воспроизведения и содержания предметной области, а также вида решаемых задач. В настоящее время используют такие модели представления знаний, как логические, алгоритмические, семантические, фреймовые и интегральные.
Модель получения информации строится с учетом стандартов, регламентирующих структуры данных и документов, а также форматы данных:
- o средств языка ASNl (Abstract Syntax Notation One), предназначенного для спецификации прикладных структур данных - абстрактного синтаксиса прикладных объектов;
- o форматов метафайла для представления и передачи графической информации CGM (Computer Graphics Metafile);
- o спецификации сообщений и электронных данных для электронного обмена в управлении, коммерции и транспорте EDIFACT (Electronic Data Interchange for Administration, Commence and Trade);
- o спецификации документов и их структур ODA (Open Document Architecture);
- o спецификации структур документов для производства, например SGML (Standard Generalized Markup Language);
- o языков описания документов гипермедиа и мультимедиа, например: HyTime, SMDL (Standard Music Description Language), SMSL (Standard Multimedia/Hypermedia Scripting Language), SPDS (Standard Page Description Language), DSSSL (Document Style Semantics and Specification Language), HTML (HyperText Markup Language);
- o спецификации форматов графических данных, например форматов JPEG, JBIG и MPEG.
Модель отображения информации строится с учетом стандартов X Windows, MOTIF, OPEN LOOK, VT, CGI, PHIGS, машинной графики GKS, графического пользовательского интерфейса GUI.
Модели управления информацией, данными и знаниями увязывают базовые информационные процессы, синхронизируют их на логическом уровне.
Так как базовые информационные процессы оперируют с информацией, данными и знаниям и, то управление информацией происходит через процессы получения (сбор, подготовка и ввод) и отображения (построение графики, текста и видео, синтез речи); управление данными осуществляется через процессы обработки (управление организацией вычислительного процесса преобразования), обмена (управление маршрутизацией и коммутацией в вычислительной сети, передачей сообщений по каналам связи) и накопления (системы управления базами данных), а управление знаниями - через представление знаний (управление получением и генерацией знаний).
Физический уровень (программно-аппаратная реализация)
Физический уровень информационной технологии представляет ее программно-аппаратную реализацию. На физическом уровне информационная технология рассматривается как система, состоящая из крупных подсистем: обработки, обмена, накопления данных, получения и отображения информации, представления знаний и управления данными и знаниями (рис. 2.13). С системой, реализующей информационные технологии на физическом уровне, взаимодействуют пользователь и разработчик системы.
Рис. 2.13.
Подсистемы обработки данных строятся на базе электронных вычислительных машин различных классов и отличаются как по вычислительной мощности, так и по производительности. В зависимости от потребности решаемых задач используются как большие универсальные ЭВМ (мейнфреймы) для обработки громадных объемов информации, так и персональные компьютеры (ПК). В сети используются как серверы, так и клиенты (рабочие станции).
Подсистемы обмена данными включают в себя комплексы программ и устройств (модемы, усилители, коммутаторы, кабели и др.), создающих вычислительную сеть и осуществляющих коммутацию, маршрутизацию и доступ к сетям.
Подсистема накопления данных реализуется с помощью байков и баз данных на внешних устройствах компьютера, который ими управляет. Возможна организация как локальных баз и банков, реализуемых на отдельных компьютерах, так и распределенных банков данных, использующих сети ЭВМ и распределенную обработку данных.
Подсистемы получения , отображения информации и представления знаний используют для формирования модели предметной области из ее фрагментов и модели решаемой задачи. На стадии проектирования разработчик формирует в памяти компьютера комплекс моделей решаемых задач. На стадии эксплуатации пользователь обращается к подсистеме отображения информации и представления знаний и, исходя из поставленной задачи, выбирает соответствующую модель решения, после чего через подсистему управления данными включаются другие подсистемы.
Подсистема управления данными и знаниями , как правило, частично реализуется на тех же компьютерах, на которых реализуются соответствующие подсистемы, а частично с помощью систем управления организацией вычислительного процесса и систем управления базами данных. При больших потоках информации создаются специальные службы администраторов сети и баз данных.
Определение
Data Management — это комплексная серия процедур, которые следует соблюдать, а также разрабатывали и поддерживали качественные данные, используя технологию и имеющиеся ресурсы. Также можно определить, что это выполнение архитектур по определенным предварительно определенными правилами и процедурами для управления полным жизненным циклом данных компании или организации. Она берется за все дисциплины, д & # 39; связанные с ресурсами управления данными.
Следующие ключевые этапы и процедуры или дисциплины управления данными:
1. Система управления базами данных
2. Администрация баз данных
3. Хранилище данных
4. Моделирование данных
6. Безопасность данных
7. Перемещение данных
8. Архитектура данных
9. Анализ данных
1. Система управления базами данных:
Это один из комп & # 39; компьютерные программы различных типов и брендов, доступных в наши дни. Эти программы предназначены специально для управления данными. Это лишь некоторые из них; Ms. Access, MsSQL, Oracle, My Sql и др. Выбор любого из них зависит от политики компании, опыта и администрирования.
2. Администрирование баз данных:
администрирования данных — это группа, которые отвечают за все аспекты управления данными. Роли и обязанности & # 39; связки этой команды зависят от компании по всем политиками по управлению базами данных. Они реализуют системы, использующие протоколы программного обеспечения процедур, для поддержки следующих свойств:
a. База данных разработки и тестирования
b. Безопасность базы данных
c. Резервные копии базы данных
d. Целостность базы данных и ее программное обеспечение
e. Выполнение базы данных
f. Обеспечение максимальной доступности базы данных
3. Хранилище данных
хранилище данных, иначе говоря, это система организации исторических данных, ее емкости и др. Фактически эта система содержит сырье для управления системами поддержки запросов. Это сырье такова, что аналитики могут получать любой тип исторических данных в любой форме, такие как тенденции, отмеченные тем данные, сложные вопросы и анализ. Эти отчеты важны для любой компании для просмотра своих инвестиций или бизнес-тенденций, которые, в свою очередь, будут использованы для будущего планирования.
Хранилище данных основывается на следующих терминах:
a. Базы данных организованы таким образом, что все элементы данных, д & # 39; связанные с одинаковыми событиями, д & # 39; связаны между собой,
b. Все изменения в базах данных записываются для будущих отчетов
c. Любые данные в базах данных не удаляются либо не напечатаны, данные статические, только для чтения
d. Данные являются последовательными и содержат всю организационную информацию.
4. Моделирование данных
Моделирование данных — это процесс создания модели данных путем применения и теории модели для создания экземпляра модели данных. Моделирование данных на самом деле, определение, структурирование и организации данных с помощью предварительно определенного протокола. Затем эти структуры реализуются в системе управления данными. Кроме того, это также будет препятствовать некоторым ограничением в базе данных в структуре.
5. Обеспечение качества данных
качества данных — это процедура, которая будет внедрена в системах управления данными, для удаления аномалий и несоответствий в базах данных. Это также выполняет очистку баз данных для повышения качества баз данных.
6. Безопасность данных
Это также называется защитой данных, это система или протокол, который внедряется в системе для обеспечения того, что базы данных хранятся полностью безопасно, и никто не может повредить с помощью контроля доступа. С другой стороны, защита данных также обеспечивает конфиденциальность и защиту персональных данных. Многие компании и правительства мира создали закон о защите персональных данных.
7. Перемещение данных
Это одно понятие, широко д & # 39; связано с хранилищем данных, которое является ETL (извлечение, преобразование и загрузка). ETL — это процесс, участвует в хранилищах данных, и это очень важно, поскольку данные загружаются на склад.
8. Архитектура данных
Это важнейшая часть системы управления данными; это процедура планирования и определения целевых состояний данных. Это, понимая целевое состояние, описывая, как обрабатываются, хранятся и используются данные в любой данной системе. Он создал условий для обработки операции, что позволяет создавать потоки данных и контролирует потоки данных в любой данной системе.
В основном, архитектура данных несет ответственность за исключение целевых состояний и выравнивания при начального развития, а затем поддерживается внедрением незначительных наблюдений. При демонтаже штатов архитектура данных разбивается на незначительные подуровни и детали, а затем покупается до нужной формы. Эти уровни можно создать с тремя традиционными архитектурными процессами данных:
a. Концептуальная, которая представляет всех субъектов & # 39 объектов хозяйственной деятельности
b. Логический означает, как эти коммерческие структуры эт & # 39; связанные.
c. Физическая, это реализация механизма данных для конкретной функции базы данных.
Из вышеприведенных утверждений мы можем определить, что архитектура данных включает в себя полный анализ взаимосвязи & # 39; связи между функциями, типом данных и технологии.
9. Анализ данных
анализ данных — это серия процедур, которые используются для извлечения необходимой информации и составления отчетов о выводах. В зависимости от типа данных и запроса, это может включать применение статистических методов, тенденции, выбора или отклонения определенных подмножеств данных на основе конкретных критериев. Фактически, анализ данных — проверка или утверждения существующей модели данных или извлечение необходимых параметров для достижения теоретической модели над реальностью.
Добыча данных — это процедура получения неизвестных, но полезных параметров данных. Также можно определить, что это серия процедур для извлечения полезной и нежелательной информации из больших баз данных. Добыча данных — это принцип сортировки больших благодаря большому количеству данных и выбор соответствующей и необходимой информации для каких-либо конкретных целей.
Управление данными – это процесс, который подразумевает сбор, хранение, обработку и интерпретацию накопленных данных. Сегодня для многих компаний управление данными – это отличная возможность понять данные, которые уже собраны, «узнать» конкурентов, выстроить предикативную аналитику (прогнозирование), ответить на многие вопросы бизнеса.
Управление данными
Что включает управление данными? Перечислим основные процессы:
- Управление базами данных
- ETL-процессы (извлечение, преобразование и загрузка данных)
- Сбор данных
- Защита и шифрование данных
- Моделирование данных
- Собственно анализ данных
Исходя из вышеперечисленного становится ясно, что для успешного управления данными необходимо:
- Решить технические вопросы (выбрать базу данных, определить, где будут храниться данные – в облаке, на сервере и т.д.)
- Найти грамотные человеческие ресурсы 🙂
Основные проблемы при управлении данными
Среди самых распространенных ошибок и трудностей, которые возникают при сборе, хранении и интерпретации данных, называют:
- Неполные данные
- «Задваивание» данных (причем нередко противоречащих друг другу)
- Устаревшие данные
Во многих вопросах на этапе сбора загрузки данных может помочь такой продукт, как , который помогает соединять данные из разных источников, обогащать и готовить их к использованию в системах Business Intelligence.
Анализ данных
У вас уже есть подходящий объем нужных и важных данных? Теперь, помимо хранения, их нужно анализировать. Анализ данных поможет ответить на многие вопросы бизнеса, принять взвешенные решения, «увидеть» своего покупателя, оптимизировать складские и логистические процессы. В общем, анализ данных важен и нужен в любой сфере, любой компании, на любом уровне.
Решение для анализа данных состоит из трех основных блоков:
- Хранилище данных;
- ETL-процедуры (извлечение, преобразование и загрузка данных);
- Система отчетности и визуальной аналитики.
Все это кажется достаточно сложным, но на самом деле не все так страшно.
Современные аналитические решения
Что делать компаниям, у которых нет штата аналитиков? И нет программиста-разработчика? Но есть желание делать аналитику!
Конечно, решение есть. Сейчас на рынке представлено достаточно автоматизированных систем для аналитики и – что важно! – визуализации ваших данных.
В чем плюсы таких систем (типа ):
- Возможность быстро внедрить (скачивайте программу и устанавливаете хотя бы к себе на ноутбук)
- Нет необходимости в сложных IT- или математических знаниях
- Невысокая стоимость (от 2 000 руб. в месяц за лицензию на март 2018 года)
Таким образом, внедрить такой аналитический продукт может любая компания: неважно, сколько сотрудников в ней работает. Tableau подходит и индивидуальным предпринимателям, и крупным компаниям. В апреле 2018 года ООН выбрала Tableau в качестве аналитической платформы для всех своих офисов по всему миру!
Компании, которые работают с такими автоматизированными системами аналитики, отмечают, что табличные отчеты, которые раньше строились за 6 часов, в Tableau собираются буквально за 10-15 минут.
Не верите? Попробуйте сами – скачайте бесплатную пробную версию Tableau и получите обучающие материалы по работе с программой:
Скачать Tableau