Удаленная работа. AI Fine Tuning. Head Hunter

      

Head Hunter


      
      AI Vibe Coding
      Python, Java, PHP Developer - Удаленная работа
      
      Разработка приложений под конкретное использование. Например: GPSTracker для Android смартфона. Приложение отправляет координаты автомашины через SMS или в Telegram-канал.
      FotoWebCamera для Android - для наблюдения за дачным участком или стоянкой. Криптографические генераторы случайных чисел огромной размерности на основе Интернет-Радио. Агрегаторы новостей с голосовым прочтением - для автомобилистов.
      Python Proxy серверы для организации неблокируемых туннелей, в том числе и через пиринговые сети. IPFS, Bit Torrent. VPS.
      Генераторы и накопители энтропии. Шифраторы, эзотерические языки программирования. Обфускация листингов. Кастомные "водяные знаки".
      
      Valery Shmelev
      
      arrayphotocintrol_gmail_com
      
      Конфигурирование сетевого оборудования Cisco, Huawei, Континент 3.9, 4.x и 3М3. Десятки и сотни устройств. Анализ конфигурации.
      
      Создание локальных (изолированных от Интернет) ИИ серверов (аппаратная и программная части) для мониторинга, анализа и управления серверами, сетями, офисами. Интеграция с почтой.
      Конфигурирование оборудования с помощью ИИ, диагностика с помощью ИИ моделей.
      Управление сетью предприятия через почту.
      


      AI Qwen Fine Tuning
      
      Компактные ИИ модели удобны тем, что их можно использовать локально, в изолированных сетях предприятий.
      Т.к. нет подключения к Интернетт, минимальна вероятность утечки критических данных.
      В то же время, ИИ типа Qwen2.5 (7B) позволяют автоматизировать множество процессов:
      - саппорт. Начальный анализ входящих обращений, сортировка, готовые ответы
      - сортировка почты. Выборка почты по шаблонам. Автоматические ответы по запросам типа "пришли мне отчёт за прошлый год"
      - автоматический перевод на иностранные языки и с иностранных языков
      - управление серверами и сетями предприятия без создания сессий
      
      Управление сетью предприятия
      
      ИИ модели с специально написанными Python скриптамилегко работают с SSH, FTP, Telnet, ICMP, могут анализировать OSPF и BGP, таблицы маршрутизации.
      Для этого локальные ИИ модели надо дообучать (fine tuning). Чтобы добиться хорошей эффективности при меньшем числе параметров, в работе со SLM применяют разные техники: дистилляцию (когда знания «передают» от более крупной модели к меньшей), квантизацию (сжатие весов, чтобы сэкономить память).
      LoRA (Low-Rank Adaptation)
      LoRA — это не тип модели, а метод эффективной адаптации (дообучения). Его задача — адаптировать уже готовую, часто очень крупную и ресурсоёмкую модель под конкретную задачу (например, чтобы она лучше работала с корпоративной терминологией или специфическим форматом документов), не переобучая её целиком.
      Вместо того чтобы менять все параметры модели (что ресурсоёмко и чревато «катастрофическим забыванием» — потерей общих знаний), LoRA замораживает исходные веса базовой модели и добавляет в её архитектуру небольшие обучаемые матрицы низкого ранга. При дообучении оптимизируются только эти компактные матрицы. Идея в том, что многие изменения в весах при адаптации к конкретной задаче можно представить гораздо меньшим числом параметров — то есть они имеют «низкий ранг».
      
      
Dataset Developer >>
      
Разработка Датасетов для дообучения
      
      Маленькие ИИ модели позволяют из базового ИИ получить специализированный ИИ с низкими аппаратными потребностями. Можно начать с сервера HP Gen9 с двумя процессорами по 3 Ггц (уже устаревшая и не дорогая б/у модель примерно за 300$), 32-64 Гбайт памяти и бюджетной б/у видеокартой за 300$ с 8 Гбайт видеопамяти.
      Такую систему можно дообучать. Для этого вам потребуется 2000-3000 примеров в JSON формате (Dataset), Python скрипты и специальная версия ИИ для тренировки. Это всё бесплатно, если Вы знаете как.
      
      
Датасеты для обучения >>
      
Датасеты для дообучения
      
      Если с "железом" все более-менее понятно, понятно где и какую модель ИИ для Fine Tuning брать, понятно как писать Python-скрипты для дообучения, то разработка JSON примеров - "темный лес".
      Если обучение будет не достаточно хорошо подготовлено, эффективность ИИ в локальных задачах покажет низкую эффективность. И дальнейшее улучшение (переобучение, дообучение 2) может ничего не поменять.
      Тогда придется форматировать сервер и устанавливать всё заново.
      
      
Как создать Датасеты >>
      
Создадим Датасеты для дообучения
      
      Удаленная работа
      
      Если просто "взять и попросить" ИИ написать Датасеты?
      Напишет. В платной версии ИИ сгенерирует 3000 примеров для тренинга. Но не рассчитываете на отличный результат в 99% правильных ответов.
      Составлять качественные Датасеты, позволяющие достичь качественных результатов - сложная задача. И использование ИИ просто переводит ее на более высокий уровень. Это как перейти от машинных кодов к Visual Basic.
      
      
      

Head Hunter


      
Head Hunter