Как BIG LLM генерируют радиосигналы через "синестезию машин"
Продолжаем рубрику «Скучнейшая скука» — параллельно буду вкидывать факты о себе, а то пишет всякую чушь какой-то незнакомец в интернете, даже сказать нечего.
Моё хобби это безопасность и радио сети и сегодня у нас статься китайских коллег - LLM4MG: Adapting Large Language Model for Multipath Generation via Synesthesia of Machines.
Это про использование ИИ для предсказания радиосигналов в 6G-сетях машин.
Проблема: Почему старые модели не подходят для 6G?
В 6G сигналы в машинах (V2I) зависят от multipath — отражений волн. Старые методы: детерминированные (типа ray-tracing) — сложные, стохастические — неточные. Для ИИ-6G нужны большие датасеты, но их нет. Плюс, не учитывают сенсоры (камеры, радары, лидары).
Решение: LLM4MG на основе "синестезии машин" (SoM)
SoM — как "синестезия" у машин: интеграция сенсоров и связи. Авторы создали датасет SynthSoM-V2I (211k снимков: изображения, радары, лидары, multipath) для городов/пригородов, mmWave/sub-6 GHz, разной плотности трафика.
LLM4MG адаптирует LLaMA 3.2 для генерации multipath (LoS/NLoS, мощность/задержка) из сенсорных данных.
- Пре-процесс: Извлекают фичи (ViT для изображений, PointNet++ для LiDAR, RadarBEVNet для радара).
- Фьюжн: Смешивают модальности (ECA-Net) и виды (Tx/Rx).
- LLM: Выравнивают с LLaMA, fine-tune с LoRA (эффективно), добавляют промпты с характеристиками сигнала.
- Выход: Классификация и генерация.
Обучение в 3 этапа.
Короче результаты:
- Точность: LoS/NLoS — 92.76%, NMSE мощности/задержки — 0.099/0.032 (лучше DL на 2-4 dB).
- Генерализация: Через VTD/банды/сценарии — на 1-1.6% данных как full-shot DL.
- Реал: Sim2Real/Mixed2Real — NMSE ниже, чем у DL.
- Полезность: Ёмкость канала — 96.2% точности (vs 66% у DL).
Мысля
Штука интересная, но 6G сети мы не скоро получим, лет через 10 может быть, вояки самое лучшее себе заберут и долго делиться не будут. Думаю, решение максимально интересное в беспилотных автомобилях. Привет Илон Маск :)