Chip tương tự lấy cảm hứng từ não của IBM nhằm mục đích làm cho AI bền vững hơn

Được xuất bản lại bởi Plato

Người theo dõi: 0

ChatGPT, DALL-E, Khuếch tán ổn địnhvà các AI sáng tạo khác đã gây bão trên toàn thế giới. Họ tạo ra những bài thơ và hình ảnh tuyệt vời. Chúng đang thâm nhập vào mọi ngóc ngách trên thế giới của chúng ta, từ tiếp thị đến viết các bản tóm tắt pháp lý và khám phá ma túy. Họ có vẻ giống như tấm gương điển hình cho câu chuyện thành công về sự kết hợp giữa trí tuệ con người và máy móc.

Nhưng dưới mui xe, mọi thứ có vẻ kém đào hoa hơn. Những hệ thống này ngốn rất nhiều năng lượng, đòi hỏi các trung tâm dữ liệu thải ra hàng nghìn tấn khí thải carbon—làm trầm trọng thêm tình hình khí hậu vốn đã bất ổn—và hút hàng tỷ đô la. Khi mạng lưới thần kinh trở nên phức tạp hơn và được sử dụng rộng rãi hơn, mức tiêu thụ năng lượng có thể còn tăng vọt hơn nữa.

Rất nhiều mực đã được đổ vào AI sáng tạo dấu chân carbon. Nhu cầu năng lượng của nó có thể là nguyên nhân khiến nó đi xuống, cản trở sự phát triển khi nó tiếp tục phát triển. Sử dụng phần cứng hiện tại, AI thế hệ mới “dự kiến sẽ sớm bị đình trệ nếu tiếp tục dựa vào phần cứng máy tính tiêu chuẩn”, nói Tiến sĩ Hechen Wang tại Phòng thí nghiệm Intel.

Đã đến lúc chúng ta xây dựng AI bền vững.

Tuần này, một nghiên cứu từ IBM đã thực hiện một bước thực tế theo hướng đó. Họ đã tạo ra một con chip analog 14 nanomet chứa 35 triệu đơn vị bộ nhớ. Không giống như các chip hiện tại, quá trình tính toán diễn ra trực tiếp bên trong các đơn vị đó, loại bỏ nhu cầu truyền dữ liệu qua lại—từ đó tiết kiệm năng lượng.

Wang cho biết, việc chuyển dữ liệu có thể làm tăng mức tiêu thụ năng lượng từ 3 đến 10,000 lần so với mức cần thiết cho tính toán thực tế.

Con chip này hoạt động hiệu quả cao khi được thử thách với hai nhiệm vụ nhận dạng giọng nói. Một, Lệnh Giọng nói của Google, tuy nhỏ nhưng thiết thực. Ở đây, tốc độ là chìa khóa. Cái còn lại, Librispeech, là một hệ thống khổng lồ giúp chuyển lời nói thành văn bản, đánh thuế khả năng xử lý lượng dữ liệu khổng lồ của chip.

Khi đọ sức với các máy tính thông thường, con chip này hoạt động chính xác như nhau nhưng hoàn thành công việc nhanh hơn và tiêu tốn ít năng lượng hơn, sử dụng ít hơn XNUMX/XNUMX mức năng lượng thường được yêu cầu cho một số tác vụ.

Nhóm nghiên cứu cho biết: “Theo hiểu biết của chúng tôi, đây là những minh chứng đầu tiên về mức độ chính xác phù hợp về mặt thương mại trên một mô hình phù hợp về mặt thương mại…với hiệu quả và khả năng song song lớn” đối với một chip analog.

Byte thông minh

Đây không phải là con chip analog đầu tiên. Tuy nhiên, nó đẩy ý tưởng về điện toán biến đổi thần kinh thành lĩnh vực thực tế – một con chip một ngày nào đó có thể cung cấp năng lượng cho điện thoại, nhà thông minh và các thiết bị khác của bạn với hiệu suất gần bằng hiệu suất của não.

Ừm, cái gì? Hãy sao lưu.

Các máy tính hiện nay được xây dựng trên Kiến trúc Von Neumann. Hãy nghĩ về nó như một ngôi nhà có nhiều phòng. Một, bộ xử lý trung tâm (CPU), phân tích dữ liệu. Một bộ nhớ lưu trữ khác.

Với mỗi phép tính, máy tính cần truyền dữ liệu qua lại giữa hai phòng đó, vừa tốn thời gian, năng lượng vừa giảm hiệu quả.

Ngược lại, bộ não kết hợp cả tính toán và trí nhớ vào một căn hộ studio. Các điểm nối giống như nấm của nó, được gọi là khớp thần kinh, vừa hình thành mạng lưới thần kinh vừa lưu trữ ký ức ở cùng một vị trí. Các khớp thần kinh rất linh hoạt, điều chỉnh mức độ chúng kết nối với các tế bào thần kinh khác dựa trên bộ nhớ được lưu trữ và thông tin học được mới — một thuộc tính được gọi là “trọng số”. Bộ não của chúng ta nhanh chóng thích ứng với môi trường luôn thay đổi bằng cách điều chỉnh các trọng số khớp thần kinh này.

IBM đã đi đầu trong việc thiết kế chip tương tự bắt chước đó tính toán não. Một bước đột phá đến trong 2016, khi họ giới thiệu một con chip dựa trên chất liệu hấp dẫn thường thấy trong các đĩa CD có thể ghi lại. Vật liệu này thay đổi trạng thái vật lý và thay đổi hình dạng từ dạng súp đặc sang cấu trúc giống như tinh thể khi được kích hoạt bằng điện – giống như số 0 và 1 kỹ thuật số.

Chìa khóa đây: con chip cũng có thể tồn tại ở trạng thái lai. Nói cách khác, tương tự như khớp thần kinh sinh học, khớp thần kinh nhân tạo có thể mã hóa vô số trọng số khác nhau – không chỉ nhị phân – cho phép nó tích lũy nhiều phép tính mà không cần phải di chuyển một bit dữ liệu nào.

Jekyll và Hyde

Nghiên cứu mới được xây dựng dựa trên công trình trước đó bằng cách sử dụng các vật liệu chuyển pha. Các thành phần cơ bản là “ô nhớ”. Mỗi cái chứa đầy hàng ngàn vật liệu thay đổi pha trong cấu trúc lưới. Các ô dễ dàng giao tiếp với nhau.

Mỗi ô được điều khiển bởi bộ điều khiển cục bộ có thể lập trình, cho phép nhóm điều chỉnh thành phần—giống như nơ-ron—một cách chính xác. Con chip này còn lưu trữ hàng trăm lệnh theo trình tự, tạo ra một loại hộp đen cho phép họ tìm hiểu lại và phân tích hiệu suất của nó.

Nhìn chung, con chip này chứa 35 triệu cấu trúc bộ nhớ thay đổi pha. Số lượng kết nối lên tới 45 triệu khớp thần kinh – khác xa so với bộ não con người nhưng lại rất ấn tượng trên một con chip 14 nanomet.

Chip tương tự lấy cảm hứng từ não bộ của IBM nhằm mục đích làm cho AI trở nên thông minh hơn về dữ liệu PlatoBlockchain bền vững hơn. Tìm kiếm dọc. Ái. — *Một con chip AI tương tự 14nm đang nằm trong tay một nhà nghiên cứu. Tín dụng hình ảnh: Ryan Lavine cho IBM*

Những con số đáng kinh ngạc này gây ra một vấn đề cho việc khởi tạo chip AI: đơn giản là có quá nhiều tham số cần tìm kiếm. Nhóm đã giải quyết vấn đề tương đương với một trường mẫu giáo AI, lập trình trước các trọng số khớp thần kinh trước khi bắt đầu tính toán. (Nó giống như việc nêm một chiếc chảo gang mới trước khi nấu với nó.)

Wang, người không tham gia vào nghiên cứu, giải thích: Họ “điều chỉnh các kỹ thuật đào tạo mạng của mình phù hợp với những lợi ích và hạn chế của phần cứng”, sau đó đặt trọng số để có kết quả tối ưu nhất.

Nó đã thành công. Trong một thử nghiệm ban đầu, con chip này dễ dàng thực hiện 12.4 nghìn tỷ phép tính mỗi giây cho mỗi watt điện. Wang cho biết mức tiêu thụ năng lượng “cao hơn hàng chục hoặc thậm chí hàng trăm lần so với các CPU và GPU mạnh nhất”.

Con chip này đã xây dựng một quy trình tính toán cốt lõi làm cơ sở cho các mạng lưới thần kinh sâu chỉ với một vài thành phần phần cứng cổ điển trong các ô bộ nhớ. Ngược lại, máy tính truyền thống cần hàng trăm hoặc hàng nghìn bóng bán dẫn (đơn vị cơ bản thực hiện các phép tính).

Nói về thị trấn

Tiếp theo, nhóm thử thách con chip thực hiện hai nhiệm vụ nhận dạng giọng nói. Mỗi người nhấn mạnh một khía cạnh khác nhau của con chip.

Thử nghiệm đầu tiên là tốc độ khi thử thách với cơ sở dữ liệu tương đối nhỏ. Sử dụng Lệnh giọng nói của Google cơ sở dữ liệu, nhiệm vụ yêu cầu chip AI phát hiện 12 từ khóa trong một bộ khoảng 65,000 clip gồm hàng nghìn người nói 30 từ ngắn (“nhỏ” là tương đối trong vũ trụ học sâu). Khi sử dụng điểm chuẩn được chấp nhận—MLPerf— con chip hoạt động nhanh hơn bảy lần hơn trong công việc trước.

Con chip này cũng tỏa sáng khi thử thách với cơ sở dữ liệu lớn, Thư viện. Kho ngữ liệu chứa hơn 1,000 giờ đọc giọng nói tiếng Anh thường được sử dụng để huấn luyện AI phân tích lời nói và tự động chuyển lời nói thành văn bản.

Nhìn chung, nhóm đã sử dụng 45 con chip để mã hóa hơn 140 triệu trọng lượng bằng cách sử dụng dữ liệu từ 14 triệu thiết bị thay đổi pha. Khi đọ sức với phần cứng thông thường, con chip này tiết kiệm năng lượng hơn khoảng 550 lần — xử lý gần 9 mẫu mỗi giây trên mỗi watt điện năng tiêu thụ — với tỷ lệ lỗi hơn XNUMX% một chút.

Mặc dù ấn tượng nhưng chip analog vẫn còn ở giai đoạn sơ khai. Wang cho biết: “Chúng cho thấy “sự hứa hẹn to lớn trong việc giải quyết các vấn đề bền vững liên quan đến AI”, nhưng con đường phía trước đòi hỏi phải giải quyết thêm một số rào cản.

Một yếu tố là sự tinh tế trong thiết kế của chính công nghệ bộ nhớ và các thành phần xung quanh nó – tức là cách thức bố trí con chip. Con chip mới của IBM chưa có đủ các yếu tố cần thiết. Bước quan trọng tiếp theo là tích hợp mọi thứ vào một con chip duy nhất trong khi vẫn duy trì được hiệu quả của nó.

Về mặt phần mềm, chúng ta cũng sẽ cần các thuật toán được điều chỉnh riêng cho các chip tương tự và phần mềm có thể dễ dàng dịch mã sang ngôn ngữ mà máy móc có thể hiểu được. Khi những con chip này ngày càng trở nên khả thi về mặt thương mại, việc phát triển các ứng dụng chuyên dụng sẽ giúp duy trì giấc mơ về một con chip tương tự trong tương lai.

Wang cho biết: “Phải mất hàng thập kỷ để định hình hệ sinh thái tính toán trong đó CPU và GPU hoạt động thành công. “Và có lẽ sẽ mất nhiều năm để thiết lập loại môi trường tương tự cho AI tương tự.”

Ảnh: Ryan Lavine cho IBM