Телеметрия и программное обеспечение / хабр

Проблемы телеметрии

Телеметрия, безусловно, фантастическая технология, но она не без проблем. Наиболее значимая проблема — и часто встречающаяся проблема — связана не с самой телеметрией, а с вашими конечными пользователями и их готовностью разрешить то, что некоторые считают шпионажем. Короче говоря, некоторые пользователи сразу же отключают прибор, когда замечают, что любые данные, полученные в результате использования вами вашего продукта, будут собираться или сообщаться.

Это означает, что опыт этих пользователей не будет учитываться при планировании вашей будущей дорожной карты, исправлении ошибок или решении других проблем в вашем приложении. Хотя это не обязательно является проблемой само по себе, проблема в том, что пользователи, которые склонны запрещать эти типы технологий, могут попасть в более технически подкованную часть вашей пользовательской базы. Это может привести к потере работоспособности программного обеспечения. Другие пользователи, с другой стороны, не обращают внимания на телеметрию или просто игнорируют ее.

Это проблема без четкого решения — и она не сводит на нет всю мощь телеметрии для управления развитием — но об этом следует помнить при анализе ваших данных.

Если вы хотите узнать больше — телеметрия контакты — вам в помощь.

ВКонтакте — хранилище полезной информации

Где общаться студентам? ВКонтакте!

Экономика и экономическая наука

Сахарный диабет первого типа — какие причины сахарного диабета первого типа

Что такое химическая реакция

Телеметрия или кибершпионаж?

Вообразите себя на одну минуту разработчиком, создавшим устройство или программу. Разумеется, вы захотите узнать, какие ее функции применяют пользователи и как часто, с какими проблемами и ошибками сталкиваются. Подобная информация позволит вам улучшить свое решение и тем самым увеличить продажи.

Для этого есть несколько путей. Первый путь − проведение опросов, когда вы задаете пользователю вопросы, и он дает свои ответы. В этом случае пользователь предоставляет данные, только если он этого хочет, и только ту информацию, которой готов поделиться. Так делаем мы, собирая информацию о Panic Button. Можете познакомиться с нашей анкетой https://panicbutton.pw/ru/survey.

Но этот путь имеет очевидные минусы: во-первых, пользователи неохотно делятся информацией, во-вторых, пользователи зачастую не способны грамотно оценить даже информацию об используемом ими функционале, в-третьих, многие ошибки вообще не видны и не понятны пользователям, их можно обнаружить только при помощи функционала программного обеспечения.

Плюсы: никакого несанкционированного сбора данных о пользователе и возможность выяснить удовлетворенность пользователя, которую телеметрия может выяснить лишь по косвенным данным.

Второй путь − автоматизированный сбор телеметрических данных. Он имеет неоспоримые преимущества перед анкетированием: о пользователе поступает вся необходимая информация, включая версию его системы, параметры и версию программы, месторасположение, использование ресурсов, например загрузку процессора, и многое другое. Можно получить точный список всех используемых опций, время использования, технические данные обо всех ошибках и падениях приложения.

Дальше эта информация передается на сервер и там автоматически обрабатывается. Здесь возникает ключевой вопрос: где тонкая грань между сбором телеметрии и кибершпионажем, привязывать ли информацию к конкретному пользователю или просто обезличивать данные?

При поступлении и обработке данные должны обезличиваться… но вы же понимаете, что мы не можем все это проверить. В любом случае данные приходят не анонимно, к ним привязан IP-адрес устройства, с которого они отправляются. Дальше этот IP может удаляться, как обещает нам Mozilla, либо сохраняться, хотя никакой ценности для улучшения приложения он не несет. Так или иначе, вы не сможете проверить, удаляется ли ваш IP или нет.

Многие специалисты при разграничении кибершпионажа, и сбора телеметрии предлагают ориентироваться на цель сбора данных. Если цель − улучшить работу приложения, понимание, как пользователи используют его, то это телеметрия, если цель − сами пользователи, их данные и активность, то это кибершпионаж. На мой взгляд, это спорное утверждение, хотя кое в чем не могу не согласиться.

Например, если браузер будет собирать информацию обо всех посещенных пользователем сайтах и отправлять разработчику, это сложно назвать телеметрией, так как подобная информация никак не способна повлиять на улучшение работы приложения, это просто сбор данных, вероятно, для дальнейшей их продажи.

И самое неприятное: если программное обеспечение с закрытым исходным кодом, то мы не знаем, какие точно данные отправляет программа, так как зачастую они отправляются в зашифрованном виде. Да, проследив запросы, мы можем установить, куда они уходят и как часто, но этой информации явно недостаточно.

Итак, мы не можем проверить, что точно отправляет программа и как хранит. Как правило, это описывается в политике конфиденциальности, но, как вы догадываетесь, там может быть указана неверная информация.

Переходим на бег

Добавили телеметрию в виде циклограмм на основные потоки, сразу стало видно периодичность работы, мелкие и крупные зависания
Добавили телеметрию в примитивы синхронизации (мютэксы, семафоры, критические секции).
Добавили все возможные аппаратные сенсоры – «оказалось» температурные скачки коррелируют с целым рядом проблем
Добавили счетчики загрузки различных аппаратных компонентов – memory bandwidth, registers access, PCI и мир заиграл новыми красками
Замеры времени исполнения основных функций и блоков кода и когда после внесения изменений на тестах выявлялась регрессия в производительности – заинтересованные лица получали автоматический гневный email, с описанием какой счетчик после какого изменения кода показал регрессию
Разумеется, помимо этих счетчиков инженеры добавляли кучи других, на время и на постоянной основе

Генерирующие наибольший поток данных – эти счетчики наш софт обрабатывал только когда была связь с сервером и когда с сервера этот счетчик был включен руками одного из инженеров
Генерирующие средний поток данных – эти счетчики наш софт обрабатывал только когда была связь с сервером, если связи с сервером не было — счетчик не тратил такты CPU, но как только связь появлялась – данные начинали отправляться
Критические – эти данные должны были быть сохранены в любом случае, если нет связи с сервером то на HDD

Как работает телеметрия

В общем смысле телеметрия работает через датчики на удаленном источнике, которые измеряют физические (такие как осадки, давление или температура) или электрические (такие как ток или напряжение) данные. Это преобразуется в электрические напряжения, которые объединяются с данными синхронизации. Они формируют поток данных, который передается по беспроводной или проводной среде или их комбинации.

На удаленном приемнике поток дезагрегируется, и исходные данные отображаются или обрабатываются в соответствии со спецификациями пользователя.

В контексте разработки программного обеспечения понятие телеметрии часто путают с регистрацией. Но ведение журнала — это инструмент, используемый в процессе разработки для диагностики ошибок и потоков кода, и он ориентирован на внутреннюю структуру веб-сайта, приложения или другого проекта разработки. Однако после того, как проект выпущен, телеметрия — это то, что вам нужно для автоматического сбора данных для реального использования. Телеметрия — это то, что позволяет собирать все эти необработанные данные, которые становятся ценной, действенной аналитикой.

Другие сферы деятельности

Телеметрия сильно востребована в розничной торговле. Данные, полученные при помощи такого оборудования с торговых автоматов, могут эксплуатироваться с целью формирования сложной системы, облегчающей процесс работы. Например, водитель, осведомленный сообщением о наполненности автомата, будет знать, куда и в какие пункты ему необходимо попасть, а какие миновать.

Торговые представители используют RFID и с их помощью проводят учет и предотвращение кражи товаров. Преобладающее количество бирок RFID считываются пассивно благодаря считывающему устройству, но существуют и активные формы, передающие информацию периодически на станцию.

Военная промышленность

Широкое применение телеметрия нашла в оборонной и космической промышленности. Агентства, типа Роскосмоса, НАСА и ЕКА, сильно зависят от телеметрических систем, что необходимо для развития ракет. Во время проводимых тестов спутник или авиационная единица техники может быть уничтожена вследствие наличия определенных ошибок в устройстве, данные о которых должны быть получены инженерами для анализа и улучшения параметров объекта.

Наблюдение за процессом запуска ракеты позволяет получать информацию о внешних условиях, поставке энергетических ресурсов, показателе выравнивания антенны и интервалах распространения сигналов.

Медицина и телеметрия

Блоки телеметрии широко применяются в медицинской практике, например, при наблюдении за пациентами, у которых есть риск возникновения патологии в деятельности сердечной мышцы. Другим примером может послужить использование специальных приборов, которые позволяют наблюдать за реакцией организма на воздействие определенных лекарственных средств.

Разведка и медицина были тесно связаны благодаря телеметрии. Были созданы радиометрические приборы, имеющие маленькие габариты, что позволило их внедрять в организм сотрудника спецслужбы. Это позволяет наблюдать за состоянием организма субъекта.

Радиопередача и радиоприем.

Комиссия IRIG определяет стандартные диапазоны частот для радиопередачи и приема в пределах от 1435 до 1540 МГц для пилотируемых летательных аппаратов и от 2200 до 2400 МГц для беспилотных. Типичный диапазон мощностей при радиопередаче ограничен пределами 1–10 Вт, поскольку для более высоких мощностей требовались бы передатчик слишком большого размера и массы, а также использование батарей.

На маневрирующем летательном аппарате, каким является самолет, для передачи данных используют всенаправленную антенну. Таким образом, сигнал можно принимать независимо от положения самолета. Чтобы компенсировать низкий уровень мощности при передачах со спутника или космического зонда, направленную антенну наводят на точку, в которой на земле находится приемная станция. Приемная антенна обычно представляет собой устройство автоматического слежения, которое принимает сигнал телеметрии и непрерывно сопровождает его источник, пользуясь информацией от радиоприемника, связанного с контролируемым объектом.

Передача и обработка данных в системах телеметрии

Для сбора и передачи информации в системах телеметрии могут использоваться как последовательные протоколы RS-232, RS-485, CAN, так и различные сетевые протоколы TCP/IP, Ethernet. Последние обычно называются системы телеметрического IP-мониторинга объектов, но термин ещё не устоялся. В технике часто применяется термин IP-мониторинг для программного мониторинга компьютерных сетей, в то же время термин IP-мониторинг применяется для обозначения систем наблюдения, видеонаблюдения и управления, телеметрического контроля по IP за объектами. Возможно, со временем эти два близких понятия сведутся в один класс.
В последнее время (около середины 2000 годов) для облегчения инсталляции, обеспечения многофункциональности, интеграции с другими системами в телеметрии применяются компьютеры, различные серверы и микропроцессорные системы, имеющие в основе переплетение различных протоколов, встроенные средства переработки и отображения информации, часто имеющие кольцевые базы данных, а также и возможности мультизонального сбора информации с многочисленных датчиков, разбросанных зачастую вне физических пределов самих систем, либо и вовсе на другой стороне земного шара, к примеру различные беспроводные датчики, IP-датчики и тд.

История

Передача информации по проводам берёт своё начало в XIX столетии. Одна из первых линий передачи была создана в 1845 году между Зимним дворцом российского императора и штабами армий. В 1874 году французские инженеры установили систему датчиков определения погоды и глубины снега на Монблане, передающей информацию в режиме реального времени в Париж. В 1901 году американский изобретатель Михалик запатентовал сельсин, индукционную машину для попеременной передачи синхронизированной информации на расстоянии. В 1906 году был построен ряд сейсмических станций, связанных телеметрической связью с Пулковской обсерваторией. В 1912 году Эдисон разработал телеметрическую систему для мониторинга подключаемых нагрузок к электросети. При постройке Панамского канала (законченной в 1913—1914) массово использовались телеметрические системы для постоянного наблюдения за шлюзами и уровнями воды.Беспроводная телеметрия начала применяться в радиозондах, разработанных независимо друг от друга Робертом Бюро во Франции и Павлом Молчановым в России. Система Молчанова измеряла температуру и давления и преобразовывала результаты в беспроводной код Морзе.
В немецкой ракете Второй мировой войны Фау-2 использовалась система передачи примитивных многократных радиосигналов под названием «Мессина» для получения информации о параметрах ракеты, но эта система была столь ненадёжной, что Вернер фон Браун однажды заявил, что было бы эффективнее следить за ракетой в бинокль. Как в СССР, так и в США на смену системе «Мессина» быстро пришли более совершенные системы, основанные на импульсно-позиционной модуляции.В ранних советских телеметрических системах (ракетных и космических), разработанных в конце 1940-х годов, использовалась как импульсно-позиционная модуляция (например, в телеметрической системе Трал, разработанной в ОКБ МЭИ), так и полосно-импульсная модуляция (например, в системе RTS-5, разработанной в НИИ-885). В ранних американских разработках также использовались подобные системы, но позднее они были заменены на системы с импульсно-кодовой модуляцией (например, в космическом аппарате для исследования Марса «Маринер-4»). В поздних советских межпланетных аппаратах использовались избыточные радиосистемы, осуществляющие телеметрическую передачу с импульсно-кодовой модуляцией в дециметровом диапазоне и с импульсно-позиционной модуляцией в сантиметровом диапазоне.

Телеметрическая система

Телеметрическая система включает скважинный прибор, рассчитанный на работу в составе бурильной колонны, и наземное устройство для приема и выделения полезного сигнала с последующим его преобразованием и регистрацией.

Телеметрические системы с импульсами давления разработаны фирмой Истмэн уипсток, английской фирмой Эксплорейшн лод-жинг и др. Преимущества систем с импульсами давления промывочной жидкости в том, что не нужны ни кабель, ни специальные бурильные трубы.

Телеметрическая система предназначена для измерения зенитного угла и азимута, забойного давления в трубах и затрубном пространстве, температуры и ускорения по трем ортогональным осям. Информация передается в цифровом виде. Энергия для питания скважинного прибора подается с поверхности.

Телеметрические системы предпочтительны для таких точек, как штреки с ленточными транспортерами или очистные забои, где могут иметь значение быстрые изменения концентраций газов.

Телеметрическая система питается переменным током напряжением 127 в, частотой 50 гц.

Телеметрическая система, входящая в состав информационно-технологического геонавигационного комплекса, предназначена для определения пространственной ориентации компоновки низа бурильной колонны, а также забойных параметров, необходимых для оптимизации процесса бурения.

Телеметрическая система ( 10) передает по гидравлической линии связи положительными импульсами давления информацию о параметрах направления. Электрическое питание забойной части осуществляется батареями.

Телеметрическая система выпускается с 1980 г. Она позволяет осуществлять измерение кривизны скважины и каротажа по гидравлическому каналу связи методом непрерывной волны. Телесистема передает на поверхность через каждые 18с данные о положении отклонителя по гравитационному и через каждые 9 с — по магнитному способам измерений. Данные об азимуте и зенитном угле — через каждые 32 с. Каротажные данные и результаты имерений кривизны передаются через каждые 54 с, величины удельного сопротивления пласта — через 27 с, бурового раствора, вместе с его температурой, нагрузкой на долото и величиной крутящего момента на долоте — через 54 с.

Телеметрическая система состоит из глубинной аппаратуры, кабельного переводника и наземного оборудования, включающего каротажную лебедку с кабелем, пульт управления, блок питания и комплекс регистрирующей аппаратуры.

Телеметрические системы подразделяются на две группы: требующие и не требующие остановки бурения для получения информации. Телеметрические системы, не требующие остановки бурения, в зарубежной литературе названы MWD-системами. Действие систем основано на передаче сигналов с помощью: импульсов давления, передаваемых по столбу бурового раствора; электромагнитных методов; проводной связи; акустических методов.

Общий вид приемного устройства.

Телеметрическая система, являющаяся одним из наиболее важных элементов бурового технологического комплекса, предназначена для измерения забойных параметров и передачи их на поверхность для регистрации и последующей дешифровки.

Телеметрические системы используются главным образом в нефтяных, газовых и производственных трубопроводах, установках для удаления воды, газа и сточных вод и системах охраны окружающей среды.

Телеметрические системы с КИМ часто называют д и с к р е т н ы м и или цифровыми радиотелеметрическими системами.

Мультиплексор.

Система телеметрии воспринимает и ретранслирует электрические сигналы от многих датчиков одновременно благодаря процессу уплотнения данных, называемому мультиплексированием. В стандарте IRIG приняты три способа уплотнения данных: амплитудно-импульсная модуляция (АИМ), частотная модуляция (ЧМ) и импульсно-кодовая модуляция (ИКМ). ИКМ до сих пор является наиболее распространенной благодаря характерной для нее низкой вероятности ошибок (обычно менее 0,25% для любого измерения). ИКМ-система преобразует результат каждого измерения, выраженный аналоговым значением напряжения, в приемлемое для компьютера цифровое значение. В системе с использованием, например, 12-разрядных двоичных чисел самое малое напряжение будет представлено кодовым числом 000 000 000 000 (0), а самое большое – 111 111 111 111 (2047). Для подачи сигнала о начале каждого нового цикла сканирования датчиков и преобразователей генерируется специальная кодограмма.

Как защищаться от сбора телеметрических данных

Есть несколько путей защиты: радикальный, условно радикальный и путь доверия. Радикальный путь предполагает отказ от программного обеспечения, собирающего о вас информацию. Не всегда он применим и подходит пользователю.

Условно радикальный путь предполагает блокировку отправки данных приложением на сервера. В данном случае определяются и блокируются IP-адреса, на которые приложение шлет запросы, либо приложению целиком блокируется возможность отправлять какие-либо уведомления. Подобным способом мы будем ограничивать Windows 10 в непомерном желании знать о вас все.

В данном курсе мы научим вас проводить анализ запросов приложений и их блокировку при помощи firewall. Это эффективный метод, но он имеет один минус: не все приложения можно заблокировать, например, вам вряд ли понравится работа браузера без доступа к сети или отсутствие важных обновлений…

Путь доверия предполагает отключение сбора и отправки данных в настройках программы. Часто это дает прекрасный результат, этим способом мы будем ограничивать сбор данных браузером Mozilla Firefox.

Но не стоит его переоценивать. Например, в 2017 году стало известно, что Google собирает данные о местоположении смартфонов Android даже при активированных настройках приватности. Координаты определялись на основе координат ближайших сотовых вышек и отправлялись на сервера Google.

Велосипед или дай прокатиться

Клиент-серверная архитектура (при отсутствии сервера возможность сохранять данные локально)
Открытый исходный код
Кросс-платформенный (как минимум Linux + Win)
Удаленное управление (вкл/выкл счетчиков для сохранения ресурсов)
Высокая производительность (по меркам С/С++ программ)
Разумные требования к памяти, а лучше возможность управлять этим параметром
Поддержка как минимум С/С++/Python
Возможность писать скрипты или свой код для анализа телеметрии в real-time и/или off-line режимах
Удобство просмотра в real-time и off-line режимах (субъективное требование)

высокая производительность
бесплатно
открытый исходный код
возможность управлять (вкл/выкл) счетчиками удаленно (что выглядело заманчиво в плане сохранения CPU)
А главное автор проекта с интересом отнесся к нашим идеям по улучшению.

Примечания

ГОСТ 26.005-82. Телекоммуникации. Аудио и видеотехника. Термины и определения. Часть 1. // Москва. Стандартинфом. 2005. 10 с.
↑ Сорока Н. И., Кривинченко Г. А. Телемеханика: Конспект лекций для студентов специальности «Автоматическое управление в технических системах». Ч.I: Сообщения и сигналы. Мн.: БГУИР, 2000.-133 с.
Mayo-Wells, «The Origins of Space Telemetry», Technology and Culture, 1963
Joachim & Muehlner, «Trends in Missile and Space Radio Telemetry» declassified Lockheed report
Molotov E.L., Nazemnye Radiotekhnicheskie Sistemy Upravleniya Kosmicheskiymi Apparatami

Ознакомление с понятием

Слово «телеметрия» пришло к нам из греческого языка и состоит из двух частей, где одна половина слова переводится как «далеко», а вторая — как «измеряю». Термин чаще всего относят к устройствам и механизмам, которые передают информацию беспроводным путем, среди которых могут быть использованы: инфракрасная или радиосистема, средства массовой коммуникации, оптическое волокно и т.д. Так что это — телеметрия? По факту, это способ получения информации о значении измеряемого параметра, например, показатель температуры, давления, напряжение и т.д.

Сбор информации, как правило, используют телеметрические датчики, способные работать со специализированными связными модулями, встроенными в систему. Помимо датчиков, могут быть использованы связные устройства с наблюдаемым объектом, к которому подключен стандартный датчик. Сферы телевидения и видеонаблюдения могут использовать термин «телеметрия» для обозначения дистанционного управления.

Передача данных может совершаться при помощи беспроводных и проводных сетей, начиная от радио или Wi-Fi и заканчивая телефонами, xDSL и т.д.

Телеметрия – что это и в чем заключается ее суть? В первую очередь ее сущность заключена в измерении величины, предварительно преобразованной, например, в напряжение, при этом происходит дополнительное преобразование в сигнал, далее передаваемый по связному каналу. Вследствие этого происходит передача не самой измеряемой величины, а эквивалентного ей сигнала.

Автоматизация комплексов

В рассматриваемых устройствах существует понятие о контроллере телеметрии, который представляет собой различные автоматизированные модули, содержащие в себе структуру аналоговых и цифровых вводов и выводов данных, необходимых для постройки информационно-управляемой системы. Такие контроллеры способны выполнять работу, находясь в составах АСУ ТП и по совместительству с ЭВМ. Это позволяет создавать универсальное техническое средство, предназначенное для сбора и передачи информации в сжатые сроки с целью ее использования.

Среди главных задач контроллеров выделяют следующие:

измерение и регуляция всего спектра сигналов, подключенных к сети;
определение отказа и аварии;
создание управляемого воздействия;
ведение архивных параметров;
взаимообмен информацией с серверами, расположенными на верхних уровнях;
взаимообмен данными с устройством интерфейса внешнего типа;
обеспечение автоматизации.

Преимущества телеметрии

Основным преимуществом телеметрии является способность конечного пользователя контролировать состояние объекта или окружающей среды, находясь вдали от него. После того, как вы отправили продукт, вы не можете присутствовать физически, заглядывая через плечо тысячам (или миллионам) пользователей, которые взаимодействуют с вашим продуктом, чтобы выяснить, что работает, что легко, а что громоздко. Благодаря телеметрии эти идеи могут быть переданы непосредственно на панель инструментов, чтобы вы могли анализировать и действовать.

Поскольку телеметрия дает представление о том, насколько хорошо ваш продукт работает для ваших конечных пользователей — как они его используют — это невероятно ценный инструмент для постоянного мониторинга и управления производительностью.

Телеметрия позволяет вам отвечать на такие вопросы:

Ваши клиенты используют ожидаемые вами функции? Как они взаимодействуют с вашим продуктом?
Как часто пользователи взаимодействуют с вашим приложением и в течение какого времени?
Какие параметры настройки пользователи выбирают больше всего? Предпочитают ли они определенные типы отображения, способы ввода, ориентацию экрана или другие конфигурации устройства?
Что происходит, когда происходят сбои? Происходят ли сбои чаще при использовании определенных функций? Какой контекст окружает сбой?

Очевидно, что ответы на эти и многие другие вопросы, на которые можно ответить с помощью телеметрии, неоценимы для процесса разработки, позволяя вам постоянно совершенствовать и вводить новые функции, которые для ваших конечных пользователей могут показаться такими, как если бы вы читали их умы.

Компьютер и воспроизведение на экране.

Обработка телеметрических данных может быть сосредоточена на одном компьютере или выполняться на нескольких машинах. В любом случае результаты особенно важных измерений исследуются сразу же по получении. Их проверяют, чтобы убедиться в их достоверности и отсутствии отказов измерительного и телеметрического оборудования.

В типичном случае через 0,25 с после выполнения кодирования результат измерения воспроизводится на приемной станции для проведения экспресс-анализа

Любое отклонение от нормы отображается другим цветом и может инициировать сигнал звукового предупреждения, чтобы привлечь к данной ситуации внимание аналитика. Изображения на экране можно получать в одной из нескольких разных форм

Каждый пользователь может назначить по своему выбору воспроизведение результатов конкретных измерений в графическом или числовом виде. Телеметрическое оборудование воспроизведения обычно снабжено устройствами для копирования, позволяющими аналитику сделать дубликат записи любых представляющих интерес данных.