Протокол Gensyn надежно обучает нейронные сети в гипермасштабе с меньшим порядком величины…

Переиздано Платоном

Читают: 0

Протокол Gensyn надежно обучает нейронные сети в гипермасштабе с более низким порядком величины затрат

Ссылки: Сайт Генсин, Litepaper, Портфолио CoinFund, Статья TechCrunch Ссылка

Резюме инвестиционной диссертации

Светское влияние на растущую сложность и ценность машинного обучения: Вычислительная сложность современных систем искусственного интеллекта удваивается каждые 3 месяца, в то время как ценность этих моделей продолжает быстро расти, в то время как прежняя природа этих алгоритмов в виде черного ящика теперь все больше способна соответствовать более высоким понятные человеку иллюминаторы.
Новый дизайн системы координации и проверки: Gensyn создает систему проверки (testnet v1 будет развернута позже в этом году), которая эффективно решает проблему зависимости от состояния при обучении нейронной сети любого масштаба. Система сочетает контрольные точки обучения модели с вероятностными проверками, которые завершаются в цепочке. Он делает все это без доверия, а накладные расходы линейно масштабируются с размером модели (сохраняя постоянные затраты на проверку).
Тематическая направленность на децентрализацию ИИ: Большинство известных примеров приложений для машинного обучения (беспилотные автомобили Tesla, Google DeepMind) производятся одним и тем же набором компаний, потому что индустрия глубокого обучения в настоящее время выглядит как игра в монополию между крупными технологическими компаниями, поскольку а также такие государства, как Китай и США. Эти силы приводят к огромным силам централизации, которые противоречат web3 и даже историческому происхождению web1.

Протокол Gensyn без доверия обучает нейронные сети в гипермасштабе с меньшим порядком величины… Разведка данных PlatoBlockchain. Вертикальный поиск. Ай.

CoinFund гордится тем, что поддерживает недавний сбор средств Gensyn Protocol и видение команды, позволяющее безнадежно обучать нейронные сети в гипермасштабе и по низкой цене с помощью их новой системы проверки. Использование вероятностных проверок, которые завершаются в цепочке при нажатии на недоиспользуемые и недоиспользуемые источники вычислений, начиная от недоиспользуемых в настоящее время игровых графических процессоров и заканчивая сложными пулами майнинга ETH1, которые собираются отключиться от сети Ethereum по мере перехода этой сети на Proof of Stake, протокол Gensyn не требует административного надзора или правового обеспечения, а скорее облегчает распределение задач и платежи программно через смарт-контракты. Более того, децентрализованный характер протокола означает, что в конечном итоге им будет управлять большинство сообщества, и его нельзя будет «отключить» без согласия сообщества; это делает его устойчивым к цензуре, в отличие от его аналогов web2. В конечном счете, мы считаем, что Gensyn стремится стать базовым слоем для собственных вычислений машинного обучения web3, поскольку сторонние участники в конечном итоге создают богатый пользовательский интерфейс и специальные функции во многих нишах.

Часть 1: Введение в многолетний светский рост глубокого обучения

Каждое лицо, которое вы видите во время видеозвонка, и все звуки, которые вы слышите, манипулируются. Чтобы улучшить качество звонков, нейронные сети выборочно настроить разрешение в Zoom и подавлять фоновый шум в командах Майкрософт. Более поздние достижения даже позволяют просматривать видео с более низким разрешением. 'приснилось' в более высокое разрешение. Нейронные сети — это модели, используемые в области глубокого обучения искусственного интеллекта. Они слабо основаны на структуре человеческий мозг и иметь множество приложений, возможно, в конечном итоге создавая искусственный интеллект человеческого уровня. Более крупные модели обычно дают лучшие результаты, а аппаратное обеспечение, необходимое для современной разработки, удваивается. каждые три месяца. Этот взрыв в развитии сделал глубокое обучение фундаментальной частью современного человеческого опыта. В 2020 году нейронная сеть управлял радаром на самолете-шпионе США языковые модели теперь пишут лучшие мошеннические письма чем люди, и алгоритмы беспилотных автомобилей опережать людей во многих средах.

GPT-3 175B, самая большая модель GPT-3, предложенная OpenAI в Браун и соавт. (2020) использовал кластер из 1,000 графических процессоров NVIDIA Tesla V100 для обучения, что примерно эквивалентно 355 годам обучения на одном устройстве. ДАЛЛ-И от Рамеш и др. (2021), еще одна модель Transformer от OpenAI, имеет 12 миллиардов параметров и была обучена на более чем 400 миллионах изображений с подписями. OpenAI взял на себя расходы по обучению DALL-E, но спорно отказался открыть исходный код модели, а это означает, что, возможно, одна из самых важных современных мультимодальных моделей глубокого обучения остается недоступной для всех, кроме избранных. Огромные потребности в ресурсах для создания этих модели фундамента создают значительные барьеры для доступа, и без метода объединения ресурсов, сохраняя при этом ценность, вероятно, вызовет застой в развитии ИИ. Многие считают, что эти обобщенные модели являются ключом к раскрытию общего искусственного интеллекта (AGI), из-за чего нынешний метод обучения в изолированных, искусственных бункерах кажется абсурдным.

Существующие решения, обеспечивающие доступ к вычислительным ресурсам, либо олигополистичны и дороги, либо просто неосуществимым учитывая сложность вычислений, необходимых для крупномасштабного ИИ. Удовлетворение растущего спроса требует системы, которая экономически эффективно использует Найти доступные вычислительные ресурсы (в отличие от сегодняшней глобальной загрузки процессора примерно на 40%). Сейчас эту проблему усугубляет тот факт, что само вычислительное обеспечение затруднено из-за асимптотический прогресс в производительности микропроцессора — наряду с цепочками поставок и геополитический нехватка чипов.

Часть 2: Зачем нужна координация Gensyn?

Фундаментальной задачей при построении этой сети является проверка выполненной работы по машинному обучению. Это очень сложная проблема, которая находится на стыке теории сложности, теории игр, криптографии и оптимизации. Помимо человеческих знаний в области проектирования моделей, есть три фундаментальные проблемы, замедляющие развитие прикладного машинного обучения: 1) доступ к вычислительной мощности; 2) доступ к данным; и 3) доступ к знаниям (маркировка достоверности). Gensyn решает первую проблему, предоставляя доступ по запросу к глобально масштабируемым вычислениям по справедливой рыночной цене, в то время как Gensyn Foundation будет стремиться поощрять решения второй и третьей проблем посредством исследований, финансирования и сотрудничества с другими протоколами.

В частности, доступ к превосходным процессорам позволяет обучать все более крупные/сложные модели. За последнее десятилетие увеличение плотности транзисторов и повышение скорости доступа к памяти/распараллеливания значительно сократили время обучения больших моделей. Виртуальный доступ к этому оборудованию через облачных гигантов, таких как AWS и Alibaba, одновременно расширил его применение. Соответственно, государство сильно заинтересовано в приобретении средств для производства современных процессоров. Материковый Китай еще не имеет сквозных возможностей для производства современных полупроводников (а именно, кремниевых пластин), важнейшего компонента процессоров. Они должны импортировать их, в частности, из TSMC (Тайваньская компания по производству полупроводников). Поставщики чипов также пытаются заблокировать доступ других клиентов к производителям чипов. путем скупки предложения. На государственном уровне США агрессивно блокирующий любой шаг китайских компаний по приобретению этой технологии. Далее в технологическом стеке некоторые компании дошли до создания собственного оборудования для глубокого обучения, такого как кластеры Google TPU. Они превосходят стандартные графические процессоры при глубоком обучении и не продаются, а только сдаются в аренду.

Значительное увеличение масштабов доступных вычислений при одновременном снижении их удельной стоимости открывает дверь в совершенно новую парадигму глубокого обучения как для исследовательских, так и для промышленных сообществ. Улучшения масштаба и стоимости позволяют протоколу создавать набор уже проверенных, предварительно обученных базовых моделей, также известных как Фундаментальные модели- по аналогии с модельные зоопарки популярных фреймворков. Это позволяет исследователям и инженерам открыто исследовать и обучать лучшие модели на огромных открытых наборах данных, подобно Элеутер проект. Эти модели решат некоторые фундаментальные проблемы человечества без централизованного владения или цензуры. Криптография, особенно функциональное шифрование, позволит использовать протокол для защиты личных данных по запросу. Огромные базовые модели могут быть настроены любым пользователем, использующим проприетарный набор данных, сохраняя ценность/конфиденциальность этих данных, но при этом делясь коллективными знаниями при разработке моделей и исследованиях.

Часть 3: Gensyn обеспечивает централизацию данных Web3

Интернет мог быть рожден правительством США в 1960-х, но к 1990-м это была анархическая сеть творчества, индивидуализма и возможностей. Задолго до того, как Google начал накапливать TPU, такие проекты, как SETI@home, пытались обнаружить инопланетную жизнь с помощью краудсорсинга децентрализованных вычислительных мощностей. К 2000 году SETI@home имел скорость обработки 17 терафлопс, что более чем в два раза превышает производительность лучшего суперкомпьютера того времени — IBM ASCI White. Этот период времени обычно называют «web1», за мгновение до гегемонии крупных платформ, таких как Google или Amazon (web2), но децентрализованные вычисления не смогли масштабироваться для удовлетворения первоначальных потребностей Интернета из-за нескольких проблем в то время.

Однако текущая централизация веб-инфраструктуры на огромных платформах web2 создает свои собственные проблемы, такие как стоимость (валовая прибыль AWS оценивается 61%, представляющий сжатие маржи для большинства небольших исследователей и компаний, работающих с данными. В то же время централизованные вычислительные экземпляры также жертвуют контролем — AWS отключил инфраструктуру популярной правой платформы социальных сетей Parler с уведомление за один день после бунта в Капитолии 6 января 2021 года. Многие согласились с этим решением, но прецедент опасен, когда AWS хозяева 42% из 10,000 XNUMX лучших сайтов в Интернете. Однако обучение моделей глубокого обучения на децентрализованном оборудовании затруднено из-за проблемы проверки, которую помогает решить протокол Gensyn.

Построение рынка в виде протокола Web3 устраняет централизованные накладные расходы на масштабирование и снижает входные барьеры для новых участников поставок, позволяя сети потенциально охватить все вычислительные устройства в мире. Соединение всех устройств через единую децентрализованную сеть обеспечивает уровень масштабируемости, которого в настоящее время невозможно достичь с помощью любого существующего провайдера, предоставляя беспрецедентный доступ по требованию ко всем мировым вычислительным ресурсам. Для конечных пользователей это полностью устраняет дилемму между затратами и масштабом и обеспечивает прозрачные и недорогие обучающие вычисления машинного обучения для потенциально бесконечной масштабируемости (вплоть до мировых ограничений физического оборудования) и для определения цен за единицу в зависимости от динамики рынка. Это обходит обычные рвы, которыми пользуются крупные провайдеры, значительно снижает цены и способствует действительно глобальной конкуренции на уровне ресурсов и даже рассматривает случай, когда существующие поставщики облачных услуг также рассматривают протокол Gensyn как канал распространения, который дополняет более централизованные первичные поставщики. пакетные предложения.

Вывод:

Поскольку искусственный интеллект почти так же популярен, как криптовалюта и блокчейн, наш тезис об инвестировании в Gensyn, представленный здесь, должен пройти тесты на простоту понимания и подкрепленность фактами, а также на то, чтобы быть столь же амбициозным в отношении возможностей, предоставляемых протоколу. добавить ценность изначально целевой, но универсальной сети ресурсов, родной для web3. Мы считаем, что с протоколом Gensyn мы видим начало гипермасштабируемой и экономичной сети координации, которая прокладывает путь к еще более ценным идеям, которые закладывают основу для множества приложений в будущем.

О CoinFund

CoinFund - ведущая инвестиционная компания, специализирующаяся на различных блокчейнах, основанная в 2015 году в США. В совокупности мы обладаем обширным послужным списком и опытом в области криптовалюты, традиционного капитала, кредита, частного капитала и венчурного инвестирования. Стратегии CoinFund охватывают как ликвидные, так и венчурные рынки и извлекают выгоду из нашего междисциплинарного подхода, который синхронизирует технические криптонативные способности с традиционным финансовым опытом. Ориентируясь на принцип «прежде всего основатели», CoinFund тесно сотрудничает со своими портфельными компаниями, чтобы стимулировать инновации в пространстве цифровых активов.

Отказ от ответственности

Контент, представленный на этом сайте, предназначен только для информационных и дискуссионных целей, и на него нельзя полагаться в связи с конкретным инвестиционным решением или его следует рассматривать как предложение, рекомендацию или ходатайство в отношении каких-либо инвестиций. Автор не поддерживает какую-либо компанию, проект или токен, обсуждаемые в этой статье. Вся информация представлена здесь «как есть», без каких-либо гарантий, явных или подразумеваемых, и любые прогнозные заявления могут оказаться неверными. CoinFund Management LLC и ее аффилированные лица могут иметь длинные или короткие позиции в токенах или проектах, обсуждаемых в этой статье.

Протокол Gensyn надежно обучает нейронные сети в гипермасштабе с более низким порядком величины… Был первоначально опубликован в Блог CoinFund На Среднем, где люди продолжают разговор, выделяя и реагируя на эту историю.

Отметка времени: 21 марта 2022