AI Dataset Developer

    

Head Hunter - Удаленная работа
      

Head Hunter


      
      AI Vibe Coding
      Python, Java, PHP Developer
      
      Разработка приложений под конкретное использование. GPSTracker для Android смартфона. Приложение отправляет координаты автомашины через SMS или в Telegram-канал.
      FotoWebCamera для Android - для наблюдения за дачным участком. Криптографические генераторы случайных чисел на основе Интернет-Радио. Агрегаторы новостей с голосовым прочтением - для автомобилистов.
      Python Proxy серверы для организации неблокируемых туннелей, в том числе и через пиринговые сети.
      Генераторы и накопители энтропии. Шифраторы, эзотерические языки программирования и обфускации. "Водяные знаки".
      
      Valery Shmelev
      
      Конфигурирование сетевого оборудования Cisco, Huawei, Континент 3.9, 4.x и 3М3
      
      Создание локальных ИИ серверов (аппаратная и программная части) для мониторинга, анализа и управления серверами, сетями, офисами. Интеграция с почтой.
      Конфигурирование с помощью ИИ, диагностика с помощью ИИ моделей.
      Управление сетью предприятия через почту.
      И т.д.
      
      arrayphotocintrol_gmail_com
      
      Локальные модели ИИ для работы в изолированных от Интернет сегментах сети. Построение, специализированное дообучение.
      
      Разработка JSON Датасетов
      
      Промпты и Датасеты для тренировки локальных моделей ИИ. Генерирование сбалансированных датасетов. Python скрипты для тренинга.
      
      Удаленная работа >>
      AI Qwen Dataset >>
      AI Fine Tuning >>
      
      
      Для fine-tuning моделей размера 7B (как Qwen2.5) критически важно использовать структурированный формат и Chain-of-Thought (цепочку рассуждений). Модель должна не просто угадывать ответ, а учиться логически выводить его из предоставленных данных.
      Ниже представлены 3 примера в формате messages (стандарт ChatML/Alpaca, который идеально подходит для Qwen). Ответ ассистента оформлен в виде валидного JSON, чтобы модель научилась выдавать строго структурированные данные, удобные для парсинга вашей системой мониторинга.
      ИИ будет анализировать результаты команды Cisco "shoe ip route" и искать ошибки в динамической маршрутизации.
      
      Этот пример учит модель замечать суммарные маршруты, под которыми нет конкретных подсетей.
      
      JSON Dataset
      (Copy/Paste) 
{
  "messages": [
    {
      "role": "system",
      "content": "Ты — эксперт по сетевой инженерии Cisco. Твоя задача - проанализировать вывод команд 
       'show ip interface brief' и 'show ip route', найти конфигурационные ошибки или аномалии и вернуть результат в 
        строгом формате JSON."
    },
    {
      "role": "user",
      "content": "Проанализируй следующие данные с маршрутизатора Core-R1:\n\n### show ip interface brief\nInterface IP-Address      
       OK? Method Status  Protocol\nGigabitEthernet0/0     10.1.1.1        YES manual up  up      \nGigabitEthernet0/1     
      192.168.100.1   YES manual up up      \n\n### show ip route\nCodes: L - local, C - connected, S - static, R - RIP, 
      M - mobile, B - BGP\n       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area \n       N1 - OSPF NSSA  
      external type 1,N2 - OSPF NSSA external type 2\n       O E2 - OSPF external type 2\n\nO 10.0.0.0/8 is a summary, 00:15:23,
     Null0\nC 10.1.1.0/24 is directly connected, GigabitEthernet0/0\nL 10.1.1.1/32 is directly connected, GigabitEthernet0/0\nC
     192.168.100.0/24 is directly connected, GigabitEthernet0/1\nL 192.168.100.1/32 is directly connected, GigabitEthernet0/1"
    },
    {
      "role": "assistant",
      "content": "{\n  \"analysis\": \"В таблице маршрутизации присутствует суммарный маршрут OSPF '10.0.0.0/8' с интерфейсом 
       вывода Null0. Однако в таблице отсутствуют какие-либо более специфичные маршруты (например, /16 или /24), 
       входящие в этот диапазон (кроме напрямую подключенной 10.1.1.0/24, которая имеет более длинную маску и 
       не покрывается суммаризацией для других подсетей). Это означает, что любой трафик, предназначенный для других 
       подсетей диапазона 10.x.x.x, будет немедленно отброшен интерфейсом Null0.\",\n  \"error_type\": \"Null0 Blackhole / 
       Missing Specific Routes\",\n  \"severity\": \"High\",\n  \"affected_prefixes\": [\"10.0.0.0/8\"],\n  \"recommendation\":  
       \"Проверьте конфигурацию агрегации маршрутов (area X range или summary-address). Убедитесь, что на этом или  
       нижестоящих маршрутизаторах существуют и анонсируются конкретные подсети, входящие в диапазон 10.0.0.0/8.  
       Если суммаризация не нужна, удалите команду агрегации.\"\n}"
    }
  ]
}

      Для тренировки ИИ надо 2-3 тысячи примеров. Примеры нужны нескольких типов.
      
      LoRA
      
      Адаптация с низким рангом (LoRA) — это метод, используемый для адаптации моделей машинного обучения к новым условиям. Он позволяет адаптировать большие модели к конкретным задачам, добавляя к исходной модели легковесные элементы, а не изменяя её целиком. Специалист по обработке данных может быстро расширить возможности использования модели, вместо того чтобы создавать совершенно новую модель.
      
      (Удаленная работа)
      
      Модели, уменьшенные и переобученные с использованием LoRA, превосходят базовые модели в различных тестовых задачах. Производительность модели может быть улучшена без необходимости полной тонкой настройки и за счет использования значительно меньшего числа обучаемых параметров модели .
      Создание крупных и сложных моделей машинного обучения, таких как модели для обработки больших языков (LLM), например, ChatGPT , требует много времени и значительных ресурсов. Они могут содержать триллионы параметров, которым присвоены определенные значения. После завершения этого процесса модель может быть мощной и точной в целом, но это не обязательно означает, что она точно настроена для выполнения конкретных задач.
      Для того чтобы модель работала в конкретных условиях, может потребоваться значительная переобучение, включающее изменение всех её параметров. Учитывая количество параметров в таких моделях, это переобучение является дорогостоящим и трудоёмким процессом. LoRA предоставляет быстрый способ адаптации модели без её переобучения.
      
      Модель ИИ для дообучения.
      
      Базовую модель ИИ, которую Вы хотите дообучить, не пригодна для Fine Tuning.
      Необходимо скачать ее в специальной версии, например, с
      
      Hugging Face — это главная площадка для моделей обработки естественного языка (NLP). Здесь вы найдёте тысячи open source моделей, включая GPT, BERT и T5. Платформа предлагает:
      - Готовые модели для Python (PyTorch, TensorFlow)
      - Демо-версии для тестирования
      - Сообщество разработчиков, где можно задать вопросы
      
      https://huggingface.co/
      
      Data Sets >>
      Qwen Datasets >>
      

Head Hunter


      
Удаленная работа