IBM의 뇌에서 영감을 받은 아날로그 칩은 AI를 더욱 지속 가능하게 만드는 것을 목표로 합니다.

ChatGPT, DALL-E, 안정적인 확산, 기타 생성 AI가 전 세계를 강타했습니다. 그들은 멋진 시와 이미지를 창조합니다. 그들은 마케팅에서부터 법률 보고서 작성 및 신약 개발에 이르기까지 우리 세계의 모든 구석구석에 스며들고 있습니다. 그들은 인간-기계 정신 융합 성공 사례의 포스터 아이처럼 보입니다.

그러나 후드 아래에서는 상황이 덜 복숭아처럼 보입니다. 이러한 시스템은 엄청난 양의 에너지를 소비하므로 이미 불안정한 기후를 더욱 강조하며 수천 톤의 탄소 배출을 뿜어내고 수십억 달러를 빨아들이는 데이터 센터가 필요합니다. 신경망이 더욱 정교해지고 널리 사용됨에 따라 에너지 소비는 더욱 급증할 가능성이 높습니다.

생성 AI에 많은 잉크가 쏟아졌습니다. 탄소 발자국. 에너지 수요는 몰락할 수 있으며, 더 성장함에 따라 발전을 방해할 수 있습니다. 현재 하드웨어를 사용하는 생성 AI는 "표준 컴퓨팅 하드웨어에 계속 의존한다면 곧 중단될 것으로 예상됩니다." 말했다 인텔 연구소의 Hechen Wang 박사.

이제 지속 가능한 AI를 구축할 때입니다.

이번 주, 연구 IBM은 그 방향으로 실질적인 조치를 취했습니다. 그들은 14만 개의 메모리 유닛을 담은 35나노미터 아날로그 칩을 만들었습니다. 현재 칩과 달리 계산은 해당 장치 내에서 직접 이루어지므로 데이터를 앞뒤로 이동할 필요가 없으므로 결과적으로 에너지가 절약됩니다.

데이터 셔틀은 실제 계산에 필요한 것보다 3배에서 10,000배까지 에너지 소비를 증가시킬 수 있다고 Wang은 말했습니다.

이 칩은 두 가지 음성 인식 작업을 수행할 때 매우 효율적이었습니다. 하나, Google 음성 명령은 작지만 실용적입니다. 여기서는 속도가 핵심입니다. 다른 하나인 Librispeech는 음성을 텍스트로 변환하는 데 도움이 되는 거대한 시스템으로, 대량의 데이터를 처리하는 칩의 능력에 부담을 줍니다.

기존 컴퓨터와 비교했을 때 이 칩은 똑같이 정확하게 작동했지만 일부 작업에 일반적으로 필요한 것의 XNUMX분의 XNUMX 미만을 사용하여 작업을 더 빠르고 훨씬 적은 에너지로 완료했습니다.

"우리가 아는 한, 이것은 아날로그 칩에 대한 효율성과 대규모 병렬성을 갖춘...상업적으로 관련된 모델에서 상업적으로 관련된 정확도 수준을 최초로 시연한 것입니다."라고 팀은 말했습니다.

브레이니 바이트

이것은 최초의 아날로그 칩이 아닙니다. 그러나 이는 뉴로모픽 컴퓨팅의 아이디어를 실용성의 영역으로 끌어올립니다. 즉, 언젠가는 뇌에 가까운 효율성으로 휴대폰, 스마트 홈 및 기타 장치에 전원을 공급할 수 있는 칩이 될 것입니다.

음, 뭐? 백업하자.

현재 컴퓨터는 폰 노이만 아키텍처. 방이 여러 개인 집이라고 생각하세요. 하나는 중앙처리장치(CPU)로 데이터를 분석하는 역할을 한다. 다른 하나는 메모리를 저장합니다.

각 계산을 위해 컴퓨터는 두 방 사이를 오가며 데이터를 이동해야 하며, 이는 시간과 에너지가 필요하고 효율성을 떨어뜨립니다.

대조적으로 뇌는 계산과 기억을 하나의 스튜디오 아파트로 결합합니다. 시냅스라고 불리는 버섯 모양의 접합부는 신경망을 형성하고 동일한 위치에 기억을 저장합니다. 시냅스는 매우 유연하여 저장된 메모리와 새로운 학습("가중치"라고 불리는 속성)을 기반으로 다른 뉴런과 얼마나 강력하게 연결되는지 조정합니다. 우리의 두뇌는 이러한 시냅스 가중치를 조정하여 끊임없이 변화하는 환경에 빠르게 적응합니다.

IBM은 디자인 분야의 선두에 있었습니다. 아날로그 칩 그 모방 뇌 계산. 돌파구 2016 년에왔다, 그들은 일반적으로 재기록 가능한 CD에서 발견되는 흥미로운 재료를 기반으로 한 칩을 출시했습니다. 이 물질은 전기를 가하면 물리적 상태가 변하고 끈적끈적한 수프에서 수정 같은 구조로 형태가 변합니다. 이는 디지털 0과 1과 유사합니다.

핵심은 다음과 같습니다. 칩은 하이브리드 상태로도 존재할 수 있습니다. 즉, 생물학적 시냅스와 유사하게 인공 시냅스는 이진수뿐만 아니라 수많은 서로 다른 가중치를 인코딩할 수 있으므로 단 한 비트의 데이터도 이동하지 않고도 여러 계산을 누적할 수 있습니다.

지킬과 하이드

새로운 연구는 상변화 물질을 사용하여 이전 연구를 기반으로 구축되었습니다. 기본 구성요소는 '메모리 타일'입니다. 각각은 그리드 구조에 수천 개의 상변화 물질로 가득 차 있습니다. 타일은 서로 쉽게 통신합니다.

각 타일은 프로그래밍 가능한 로컬 컨트롤러에 의해 제어되므로 팀은 뉴런과 유사한 구성 요소를 정밀하게 조정할 수 있습니다. 이 칩은 수백 개의 명령을 순서대로 저장하여 성능을 자세히 분석할 수 있는 일종의 블랙박스를 생성합니다.

전체적으로 이 칩에는 35만 개의 상변화 메모리 구조가 포함되어 있습니다. 연결은 45만 개의 시냅스에 달했습니다. 이는 인간의 두뇌와는 거리가 멀지만 14나노미터 칩에서는 매우 인상적입니다.

이러한 어지러운 숫자는 AI 칩을 초기화하는 데 문제를 제시합니다. 검색해야 할 매개변수가 너무 많습니다. 팀은 계산이 시작되기 전에 시냅스 가중치를 사전 프로그래밍하여 AI 유치원에 해당하는 문제를 해결했습니다. (새 주철 냄비를 요리하기 전에 양념을 하는 것과 비슷합니다.)

연구에 참여하지 않은 Wang은 “그들은 하드웨어의 이점과 한계를 염두에 두고 네트워크 훈련 기술을 맞춤화”한 다음 가장 최적의 결과를 위한 가중치를 설정했다고 설명했습니다.

성공했습니다. 한 초기 테스트에서 칩은 전력 와트당 초당 12.4조 XNUMX천억 번의 작업을 쉽게 수행했습니다. Wang은 에너지 소비량이 “가장 강력한 CPU 및 GPU보다 수십 배, 심지어 수백 배 더 높다”고 말했습니다.

이 칩은 메모리 타일의 몇 가지 기존 하드웨어 구성 요소만으로 심층 신경망을 기반으로 하는 핵심 계산 프로세스를 구현했습니다. 반면, 기존 컴퓨터에는 수백, 수천 개의 트랜지스터(계산을 수행하는 기본 단위)가 필요합니다.

마을 이야기

다음으로 팀은 칩에 두 가지 음성 인식 작업을 요청했습니다. 각각은 칩의 다른 측면을 강조했습니다.

첫 번째 테스트는 상대적으로 작은 데이터베이스로 인해 발생하는 속도였습니다. 사용하여 Google 음성 명령 데이터베이스에서 이 작업을 수행하려면 AI 칩이 12개의 짧은 단어를 말하는 수천 명의 사람들이 포함된 약 65,000개의 클립 세트에서 30개의 키워드를 찾아내야 했습니다(딥 러닝 세계에서는 "작은"이 상대적임). 허용된 벤치마크를 사용하는 경우—MLPerf— 칩 성능이 XNUMX배 더 빨라졌습니다. 전작보다.

이 칩은 대규모 데이터베이스에 도전할 때도 빛을 발했습니다. 도서관 연설. 이 코퍼스에는 음성 구문 분석 및 음성-텍스트 자동 전사를 위해 AI를 훈련하는 데 일반적으로 사용되는 1,000시간 이상의 영어 음성 읽기가 포함되어 있습니다.

전체적으로 팀은 45개의 칩을 사용하여 140억 14천만 개의 상변화 장치의 데이터를 사용하여 550만 개 이상의 가중치를 인코딩했습니다. 기존 하드웨어와 비교했을 때 이 칩은 에너지 효율이 대략 9배 더 높았습니다. 즉, 에너지 소비량 XNUMX와트당 초당 거의 XNUMX개의 샘플을 처리했으며 오류율은 XNUMX%가 조금 넘었습니다.

인상적이기는 하지만 아날로그 칩은 아직 초기 단계에 있습니다. Wang은 "AI와 관련된 지속 가능성 문제를 해결하기 위한 엄청난 가능성"을 보여 주지만 앞으로 나아가려면 몇 가지 장애물을 더 극복해야 한다고 말했습니다.

한 가지 요소는 메모리 기술 자체와 주변 구성 요소의 설계, 즉 칩의 배치 방식을 정교하게 조정하는 것입니다. IBM의 새 칩에는 아직 필요한 모든 요소가 포함되어 있지 않습니다. 다음으로 중요한 단계는 효율성을 유지하면서 모든 것을 단일 칩에 통합하는 것입니다.

소프트웨어 측면에서는 아날로그 칩에 특별히 맞춰진 알고리즘과 코드를 기계가 이해할 수 있는 언어로 쉽게 변환하는 소프트웨어도 필요합니다. 이러한 칩이 점점 더 상업적으로 활용 가능해짐에 따라 전용 애플리케이션을 개발하면 아날로그 칩의 미래에 대한 꿈이 계속 유지될 것입니다.

Wang은 “CPU와 GPU가 성공적으로 작동하는 컴퓨팅 생태계를 형성하는 데 수십 년이 걸렸습니다.”라고 말했습니다. “그리고 아날로그 AI를 위한 동일한 환경을 구축하는 데에는 아마도 수년이 걸릴 것입니다.”

이미지 신용 : IBM의 Ryan Lavine

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 차트프라임. ChartPrime으로 트레이딩 게임을 향상시키십시오. 여기에서 액세스하십시오.
• BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
• 출처: https://singularityhub.com/2023/08/25/ibms-brain-inspired-analog-chip-aims-to-make-ai-more-sustainable/