Big data: что происходит в современных исторических архивах

Мы живем в эпоху Big data, или больших данных. Этот модный термин на слуху у всех. Но что он значит на самом деле? Как ты уже знаешь, информации в мире становится больше с каждым днём. Как упорядочить этот хаос? Как научиться обращать себе и людям на пользу то, что получится в итоге? Именно этими вопросами и занимается наука о больших данных.

Работа с большими данными — это одно из направлений программирования, которые определяют наше будущее. Уже сейчас исследования и результаты Big data становятся настоящим спасением для представителей очень многих профессий, включая историю. Какую бы профессию ты ни выбрал, рано или поздно тебе придётся познакомиться с большими данными. Так почему бы это не сделать прямо сейчас, ещё в школе?

Во-первых, тебе станет намного интереснее учиться. Во-вторых, ты будешь владеть супер-инструментом, который поможет тебе получать высшие баллы за школьные презентации, рефераты и проекты. А в третьих, ты будешь как нельзя лучше подготовлен и к учёбе в вузе, и к своей будущей профессии. Заинтригован? Тогда поехали!

Как объять необъятное

Чтобы познакомиться с Big data, мы сначала немного погрузимся в прошлое, а потом сделаем мощный скачок в настоящее – в мир новейших технологий. По сути, мы сделаем небольшое упражнение по связыванию воедино прошлого, настоящего и будущего – по примеру современных историков, которым всё чаще приходится прибегать к использованию этих самых больших данных. Но сначала поговорим о том, как и почему историки (эти классики науки во все времена!) докатились до жизни такой – цифровой...

Ты наверняка представляешь себе, какой огромный массив самой разной информации накопило человечество за всю свою историю. Это и различные артефакты, и документы, и устное творчество, и запечатлённые кем-то воспоминания, и слухи, и даже исторические анекдоты.

Однако многие коллекции исторических источников настолько велики, что на их прочтение у исследователя ушла бы целая жизнь! Поэтому на помощь историкам всё чаще приходят новые технологии. Это и массовая оцифровка исторических источников, и работа с огромными массивами информации – всё, что входит в понятие цифровой науки.

«Цифровой поворот» в исторической науке

Оцифровка источников

«Цифровой поворот» в исторической науке чаще всего связывают с массовой оцифровкой исторических источников. Да, первый шаг к тому, чтобы объять необъятное в современном мире – это оцифровать его!

В России уже запущено довольно много проектов по оцифровке историко-культурного наследия. И это не только всевозможные документы, но и фотографии артефактов.

На стыке истории и компьютерных технологий рождаются самые разные идеи. Например, создаются такие трёхмерные объекты исторических памятников, как виртуальная реконструкция Московского Страстного монастыря. 

Выход в интернет

Чем больше оцифрованных материалов, тем больше возможностей познакомиться с ними у интернет-пользователей всего мира. А это значит, что и сама история стала более доступной, учитывая ценность опубликованных в сети источников. Теперь ты можешь зайти в цифровые архивы, познакомиться с интерактивными картами, хрониками событий, временными линиями. 

Цифровые инструменты

Понятно, что объём данных настолько велик, что его нельзя хранить и обрабатывать обычными способами. Поэтому для учёных-историков разрабатываются новые цифровые инструменты. Теперь для того, чтобы работать с большими массивами исторической информации, необходимо обладать надёжной и удобной методикой, основанной на технологии Big data.

Big data, или Большие данные

Термин «big data» известен приблизительно с 2008 года. Однако большие данные существовали задолго до его появления. Так, например, на технологиях обработки Big data изначально строили свои сервисы соцсети и поисковики. Ты наверняка замечал, что сервисы часто предлагают тебе именно то, что ты любишь? Это и есть один из результатов работы с большими данными.

Что это такое

В первую очередь Big data – это информация, то есть разнообразные данные больших объёмов, которые хранятся на цифровых носителях. К ним относятся и тексты, и фотографии, и машинные коды.

Обычно к категории Big data относят потоки данных свыше 100 Гб в день. А если таких потоков великое множество? Таким количеством информации сложно оперировать с помощью обычного компьютера. Для этого нужны специальные инструменты. Так были созданы алгоритмы, которые также называют Big data. 

Итак, Big data – это и сами большие данные, и их хранение, и их обработка. Если чуть усложнить определение, Big data – это современное технологическое направление, связанное с хранением и обработкой крупных массивов данных, которые постоянно растут. 

Где хранятся и как обрабатываются большие данные

Данные хранятся в data-центрах с мощными серверами. Чтобы обрабатывать большие массивы данных, используют суперкомпьютеры, мощность и вычислительные возможности которых многократно превосходят обычные.

Big data обрабатывают с помощью облачных серверов и распределённых вычислительных мощностей. 

Где их можно применять практически

Технологии больших данных применяются везде, где можно собрать большой объём информации и проанализировать его: в бизнесе, госсекторе, промышленности. С помощью больших данных проводятся масштабные исследования в медицине, сельском хозяйстве и даже индустрии развлечений.

Самые большие на сегодняшний день данные – демографические базы, основанные на переписях населения.

Результаты исследований помогают выявлять неочевидные закономерности. Так, например, можно узнать, какую машину купит семья с двумя детьми и собакой. Или что предпочитают есть на обед те, кому нравится классическая музыка.

Наверное, ты уже понял, что технологии больших данных помогают не только собирать и обрабатывать информацию, но и совершать новые открытия в разных областях науки, включая историю.

«Дальнее чтение» как инструмент работы историка

Очевидно, что прочитать обычным способом огромное количество исторических и литературных источников нереально. И тогда на помощь учёным приходит так называемое «дальнее чтение».

В отличие от обычного чтения, «дальнее чтение» позволяет учёному рассмотреть объект исследования как бы с дистанции. Он не концентрируется на деталях одного текста, а пытается вычленить общие закономерности для сотен и тысяч текстов. И, конечно, без технологий Big data здесь не обойтись!

Используя «дальнее чтение», можно делать очень любопытные выводы. Так, например, было сделано открытие в области антропометрической истории. Проанализировав рекрутские списки XIX века, в которых указывался рост новобранцев, историки выяснили, что чем выше благосостояние населения, тем выше средний рост людей. Правда, интересно?! 

Кто работает с большими данными

Чаще всего российским учёным в работе с большими данными помогают data-специалисты. Однако сегодня историки и сами активно обучаются компьютерным технологиям.

Знания в области прикладных информационных технологий в истории всё чаще можно получить в современных вузах. Так, например, такую специализацию предлагает кафедра исторической информатики Московского государственного университета имени М.В.Ломоносова.

Технологии больших данных всё больше влияют на развитие исторической науки. Современные учёные начали обсуждать идею макроскопа – специального исторического подхода к анализу больших данных. Очень вероятно, что уже в ближайшем будущем нас ждёт новая история России, написанная с использованием больших данных.

Big data для тебя: уже сейчас!

Кто может освоить большие данные

На самом деле найти себя в этом могут люди с самыми разными интересами. Big data считается междисциплинарной наукой, потому что находится на стыке очень разных востребованных направлений. Это и искусственный интеллект, и машинное обучение, и нейронные сети, которые используются в медицине, биологии, истории, экономике, социологии, логистике, физике, генетике, финансах.

Освоить работу с большими данными гораздо легче будет тем, кто хорошо разбирается в математике и программировании. Мы надеемся, ты из таких!

Где этому учат

Специалистом по анализу больших данных можно стать практически в любом вузе, где обучают IT-профессиям. Но зачем ждать так долго, когда приблизиться к своей мечте можно уже сейчас, в школе?

Да, отдельного предмета по Big data в обычной школе пока ещё нет. Но такой курс, как правило, уже изучают ребята, которые учатся в IT-классах. Если тебе не повезло оказаться в таком классе, не отчаивайся: сейчас есть много курсов, платных и бесплатных, которые можно подобрать под любой запрос. Кроме того, есть отличные книги, обучающие видео и даже целые онлайн-сообщества, где изучают это направление.

Образовательные акции и открытые уроки

В России ежегодно запускаются проекты, цель которых – дать возможность любому школьнику узнать больше о технологиях искусственного интеллекта, машинного обучения и анализа больших данных.

Например, в 2019 году прошла Всероссийская образовательная акция «Урок Цифры» для школьников. Одной из тем были как раз «Большие данные». Открытые уроки по этой теме не так давно проводились на базе Университета ИТМО в Санкт-Петербурге. Ребята узнали, что такое большие данные, откуда они появляются, как их анализируют, для чего используют, а также с чего стоит начать, чтобы погрузиться в область машинного обучения, и какие специалисты уже сегодня требуются на рынке труда.

IT-кубы

IT-кубы – это центры цифрового образования для детей, которые создаются сейчас по всей России. Партнёры этих центров – крупнейшие IT-компании!

Ты можешь выбрать подходящее направление и изучать его в течение года или двух. Обучение в IT-кубе бесплатное, но чтобы поступить туда, придётся пройти несколько этапов отбора. Причём проверять будут не навыки работы в IT, а твои мышление и логику. Результатом обучения станет самостоятельный проект, например, компьютерная игра или виртуальная экскурсия по школе.

IT-кубы уже есть во многих регионах, а к 2024 году их будет 340 по всей стране!

Школьники отвечают на «Большие вызовы»!

Уже многие твои ровесники активно интересуются большими данными, понимая, что за ними будущее. Они не только учатся работать с Big data, но и участвуют в IT-олимпиадах и конкурсах, разрабатывая свои собственные проекты. Один из таких конкурсов ежегодно проводится на базе образовательного центра «Сириус» в Сочи.

Всероссийский конкурс научно-технологических проектов «Большие вызовы» – это масштабное мероприятие для старшеклассников и студентов, которые занимаются научной или исследовательской деятельностью.

В этом конкурсе есть и направление «Большие данные и машинное обучение», где ребята разрабатывают алгоритмы работы с большими объёмами информации. И, кстати, за ними пристально следят очень крупные компании. Кому не хочется в ближайшие годы заполучить талантливого и перспективного специалиста?!

Как ты уже убедился, освоить работу с Big data непросто, но вполне по силам тому, кто умеет ставить перед собой цели и видит перспективы этого направления. Уже сейчас, когда ты ещё учишься в школе, знакомство с большими данными поможет тебе приблизиться к своей мечте и спланировать свою будущую карьеру до поступления в вуз. Дерзай: весь мир со всеми его «большими данными» – перед тобой!