Это не официальный сайт wikipedia.org 01.01.2023

Неструктурированные данные — Википедия
Википедия

Неструктурированные данные

Неструктури́рованные да́нные — данные, которые не соответствуют заранее определённой модели данных, и, как правило, представлены в форме текста с датами, цифрами, фактами, расположенными в нём в произвольной форме[1][2]. Такие данные трудно анализировать, особенно при помощи традиционных программ, предназначенных для работы со структурированными данными (аннотированными или хранящимися в базах).

По оценкам Merrill Lynch 1998 года около 80—90 % от всей потенциально полезной деловой информации было представлено в неструктурированной форме[1], однако это соотношение не было основано на статистике или количественных исследованиях, а являлось предположением[2]. Computerworld оценивает объём неструктурированных данных в организациях в 70—80 % от всех данных[3].

ИсторияПравить

Самые ранние исследования в области бизнес-аналитики были сосредоточены не на числовых данных, а на неструктурированных текстовых данных. Уже в 1958 году такие исследователи в области информационных технологий, как Х. П. Лун, изучали способы извлечения и классификации данных в неструктурированном тексте.[3] Тем не менее, только с начала 2000-х годов имеющиеся технологии догнали исследовательский интерес. В 2004 году SAS Institute разработал SAS Text Miner, который использует сингулярное разложение, чтобы факторизовать текстовое пространство высокой размерности на подпространства меньшей размерности для значительного упрощения машинного анализа[4][неавторитетный источник?]. Достижения в области математики и технологий машинной обработки текстов стимулировали проведения исследований коммерческими организациями в таких областях, как анализ тональности текста (сентимент-анализ), сбор и анализ мнений потребителей, автоматизация центров обработки вызовов[5][неавторитетный источник?]. Появление технологий больших данных в конце 2000-х годов стимулировало повышенный интерес к программам для анализа неструктурированных данных в современных областях, таких как прогнозирование и причинно-следственный анализ (root cause analysis)[6].

Трудности терминологииПравить

Термин «неструктурированные данные» может считаться неточным по нескольким причинам:

  • структура, даже если она не определена формально, может подразумеваться;
  • данные, обладающие структурой некоторой формы, могут по-прежнему характеризоваться как неструктурированные, если их структура не предназначена для машинной обработки;
  • неструктурированная информация может иметь некоторую структуру (такая информация называется полуструктурированной) или даже быть хорошо структурированной, но теми способами, которые являются неочевидными без предварительного согласования.

Работа с неструктурированными даннымиПравить

Такие техники, как интеллектуальный анализ данных (data mining), обработка естественного языка (Natural Language Processing) и интеллектуальный анализ текста, предоставляют методы поиска закономерностей с целью так или иначе интерпретировать неструктурированную информацию.

Методы структурирования текста обычно включают ручное тегирование (метаданные) или разметку по частям речи для дальнейшего структурирования текста. Архитектура управления неструктурированной информацией (UIMA) обеспечивает общую основу для обработки этой информации для извлечения значений и создания структурированных данных на основе неструктурированной информации[4]. Программное обеспечение, которое создает машинно-обрабатываемую структуру данных, использует лингвистические, звуковые и визуальные структуры, которые существуют во всех формах человеческого общения[5]. Например, специальные алгоритмы могут вывести структуру из текста путем анализа морфологии, синтаксиса предложений, и так далее. Затем неструктурированную информацию можно разметить для снятия неоднозначности, а для улучшения поиска используются методы оценки релевантности.

Примером «неструктурированных данных» могут служить книги, журналы, документы, метаданные, медицинские записи, аудио, видео, аналоговые данные, изображения, а также файлы, имеющие основой неструктурированный текст: сообщения электронной почты, веб-страницы, документы, созданные с помощью текстовых процессоров. Неструктурированная информация может храниться в форме структурированных объектов (например, в форме файлов или документов), которые сами по себе имеют структуру. При этом сочетание структурированных и неструктурированных данных в совокупности также называется «неструктурированные данные»[6]. Например, в веб-страницах на языке HTML уже есть разметка, однако она пригодна лишь для отображения. В ней не содержится информация о значениях или функциях тех или иных размеченных элементов в виде, пригодном для автоматической обработки. Разметку средствами XHTML проще обрабатывать автоматически, но, обычно, в ней не содержится семантических значений выражений.

Так как неструктурированные данные обычно хранятся в форме электронных документов, программы для анализа содержания или управления документами предпочитают классифицировать скорее целые документы, чем производить манипуляции внутри документов. Таким образом, программы для обработки такого типа данных обычно представляют средства для создания коллекций документов с неструктурированной информацией. Однако сегодня существуют также решения, работающие с атомарными элементами меньшими, чем целый документ[7].

Поисковые системы стали одним из популярных инструментов для индексации и поиска в неструктурированных данных.

ПримечанияПравить

  1. ↑ Unstructured data Архивная копия от 21 сентября 2020 на Wayback Machine // geeksforgeeks.org
  2. ↑ [https://web.archive.org/web/20171020135110/https://www.pcmag.com/encyclopedia/term/unstructured-data Архивная копия от 20 октября 2017 на Wayback Machine Unstructured data] // PC Magazine Encyclopedia
  3. ↑ Grimes, Seth A Brief History of Text Analytics  (неопр.). B Eye Network. Дата обращения: 24 июня 2016. Архивировано 8 декабря 2017 года.
  4. ↑ Albright, Russ Taming Text with the SVD  (неопр.). SAS. Дата обращения: 24 июня 2016. Архивировано 21 сентября 2017 года.
  5. ↑ Desai, Manish Applications of Text Analytics  (неопр.). My Business Analytics @ Blogspot. Дата обращения: 24 июня 2016. Архивировано 13 октября 2016 года.
  6. ↑ Chakraborty, Goutam Analysis of Unstructured Data: Applications of Text Analytics and Sentiment Mining  (неопр.). SAS. Дата обращения: 24 июня 2016. Архивировано 13 января 2017 года.
  7. ↑ Datagrav: A Framework for Knowledge Sharing Using Transclusion Enabled Collaboration Media | Sergey Kochuguev — Academia.edu  (неопр.). Дата обращения: 21 сентября 2016. Архивировано 15 декабря 2019 года.

СсылкиПравить

Источник — https://ru.wikipedia.org/w/index.php?title=Неструктурированные_данные&oldid=125779865