Ярослав Хуторной принял участие в семинаре по алгоритмизации и хранению данных
Российские и зарубежные эксперты обсудили на семинаре передовые технологии работы с данными и обменялись опытом разработки и применения подобных технологий в своих проектах.
21 октября в петербургском Доме Ученых им. М. Горького состоялся семинар по алгоритмизации данных и хранению неструктурированных данных — Data Algorithm & Unstructured Data Storage Workshop.
Во встрече приняли участие эксперты российских вузов и компаний, которые занимаются исследованиями и разработками в области технологий работы с данными: МГУ, СПбПУ, СПбГУ, ИТМО, Институт системного программирования РАН и Karfidov Lab.
Доклады касались таких тем, как сжатие данных, сокращение размерности данных (Data Compression), сжатие и хранение данных с помощью технологий ИИ (AI in compression, AI storage), обработка изображений и видео (Image & Video Processing), сжатие видео (Video Processing), аппаратное ускорение алгоритмов (Algorithms Hardware Acceleration), алгоритмы помехоустойчивого кодирования (Error Correction Coding, Erasure Coding) и другие.
В число приглашенных вошел Ярослав Хуторной — инженер-исследователь Лаборатории ПСПОД, специалист в области нейронных сетей. Он выступил с докладом «Большие языковые модели как механизмы сжатия данных» — “Large Language Models as Data Compression Engines”.
Докладчик рассказал о перспективах использования больших языковых моделей (Large Langauge Models) для компрессии данных. Благодаря высокой масштабируемости такие модели не только эффективно решают задачи в области обработки натурального языка, но и показывают способность манипулировать более абстрактными и нелингвистическими данными. Их использование в качестве предсказательных моделей в связке с арифметическим кодировщиком имеет потенциал для того, чтобы получить наилучшую степень сжатия данных по сравнению с существующими подходами.
Спикер отметил: если посмотреть на построение языковых моделей через призму компресcии, можно обнаружить, что всегда существует оптимальное соотношение между размером модели и ее эффективностью. Дальнейшее масштабирование моделей ненамного увеличивает их эффективность, при этом их вычислительная сложность значительно растет. Это приводит к необходимости поиска новых более практичных и компактных решений. В качестве такого решения Ярослав продемонстрировал новейшие модели пространства состояний (State Space Models), раскрыл их выгодные особенности и сравнил их эффективность с существующими подходами.
