Поверхность функции потерь в нейронных сетях является критическим аспектом их обучения, и понимание ее свойств важно для улучшения их эффективности. В данной работе исследуется изменение поверхности функции потерь при увеличении размера выборки. Проводится теоретический анализ сходимости поверхности функции потерь в полносвязной нейронной сети, доказывается верхняя оценка на абсолютную разность значений функции ошибки при добавлении одного объекта в выборку. Эмпирический анализ показывает справедливость полученных теоретических результатов на различных наборах данных, демонстрируя сходимость поверхности функции потерь для задачи классификации изображений. Результаты исследования открывают новые свойства локальной геометрии поверхности функции потерь в нейронных сетях и имеют применение в развитии методов определения достаточного размера выборки.

Определение подходящего размера выборки имеет решающее значение для построения эффективных моделей машинного обучения. Существующие методы часто либо не имеют строгого теоретического обоснования, либо привязаны к конкретным статистическим гипотезам о параметрах модели. В настоящей работе представляются два новых метода, основанных на значениях правдоподобия на бутстрапированных подвыборках. Демонстрируется корректность одного из этих методов на в модели линейной регрессии. Вычислительные эксперименты как с синтетическими, так и с реальными наборами данных показывают, что предложенные функции сходятся по мере увеличения размера выборки, что подчеркивает практическую полезность подхода. Библ. 13. Фиг. 4. Табл. 1.

In trajectory control problems for airplane-type unmanned aerial vehicles (UAVs), it is important to ensure the smoothness of reference trajectories. Feedback control design generally requires knowledge of their derivatives. If reference actions arrive as real-time signals from an autonomous source, the values of their derivatives must be reconstructed considering constraints on the UAV velocity and acceleration. For the combined smoothing and differentiation of reference actions, an autonomous dynamic generator with corrective actions in the form of bounded and smooth sigma functions with constant gains is developed. They are tuned universally under specified worst-case constraints, i.e., the maximum admissible absolute values of the UAV velocity and acceleration. In this case, a nonsmooth reference trajectory is tracked and smoothed by the output variables of the generator under specified design constraints, albeit with significant lower bounds for the tracking error. As shown, the approximation accuracy of a reference trajectory can be improved without violating the design constraints on those segments where the factual rate of change of the reference trajectory is less than the maximum admissible. The scientific novelty of this paper consists in the development of a reference trajectory generator with adaptively tuned gains without dynamic order expansion. Simulation results are presented to confirm the effectiveness of the algorithms developed.

Взаимодействие между пространственными кодировщиками, такими как сверточные нейронные сети (CNN) и визуальными трансформерами (Vision Transformers, ViT), и временными модуляторами, подобными модуляторам на основе сетей долгой краткосрочной памяти (LSTM), является основополагающим для гибридных моделей, однако динамика этого процесса остается недостаточно изученной. В настоящем исследовании представлена междоменная методология, использующая метрики из теории информации и принцип Марковского информационного бутылочного горлышка (MIB) для количественной оценки внутренних информационных потоков в данных архитектурах. Мы анализируем две различные модели - CNN-LSTM для обработки видеоданных наблюдения и ViT-LSTM для анализа медицинских функциональных МРТ (фМРТ)-последовательностей - как в их исходных, так и в чужеродных для них предметных областях. Наш анализ выявляет две принципиально различные стратегии кодирования. CNN использует жесткую, не зависящую от данных схему “постепенного сжатия”. В отличие от него, ViT демонстрирует стратегию “адаптивного сжатия”, при которой успешное формирование эффективного информационного бутылочного горлышка обусловлено предметной областью данных. Мы показываем, что такая адаптивность обеспечивается тонко настроенной трехэтапной функциональной иерархией внутри ViT. Более того, мы обнаружили, что роль модулятора LSTM адаптируется к его партнеру: в паре с CNN он действует как традиционный компрессор, но при работе с ViT переключается на роль “распаховщика” для обработки получаемых им гиперсжатых представлений. Мы предполагаем, что это сложное взаимодействие является примером принципа “динамического разделения труда”, в рамках которого функциональные роли не являются фиксированными, а возникают в результате взаимодействия системы с данными. Данный вывод ставит под сомнение статичное представление о компонентах нейронных сетей и открывает путь к созданию более устойчивого и контекстно-зависимого искусственного интеллекта.

Рассматривается ретрансляция информации, которой обмениваются системы различных уровней АСУ ТП АЭС. Для решения этой задачи предлагается использовать цифровые двойники программно-технических средств АСУ ТП АЭС – ретрансляторы, связывающие системы различных уровней.