هسته تنسور، بررسی هسته های tensor و کاربرد آن در صنعت کارت گرافیک

هسته تنسور یا Tensor Core، نوعی هسته پردازشی است که توسط شرکت انویدیا معرفی شده است. این هسته پردازشی با عملکرد مبتنی بر  مفهوم تنسور در ریاضیات، می تواند انجام محاسبات پیچیده ریاضی در چند بعد را امکان پذیر کند. از هسته تنسور در معماری کارت های گرافیکی به منظور ارتقا و بهبود برخی از عملکردهای پردازشی مانند محاسبات پیچیده ریاضی، شبیه سازی های فیزیکی، رندرینگ سریعتر، انجام عملیات های همزمان  و … استفاده می شود.  برای آشنایی بیشتر با هسته تنسور و کاربردهای آن با ما همراه باشید. 

هسته تانسور چیست؟

تنسور مفهومی در ریاضیات برای اشاره به  ساختارهای صفر تا چندبُعدی از جمله مقادیر منفرد یا صفر بعدی، مقادیر یک بعدی مانند بردار و مقادیر دو بعدی مانند ماتریس‌ها یا حتی مقادیر بیش از دو بعد است. تنسور Core، یک هسته پردازشی جدید است در ساختار کارت های گرافیکی به منظور  انجام محاسبات پیچیده و پرسرعت در حوزه هوش مصنوعی و یادگیری عمیق مورد استفاده قرار می گیرد. این هسته پردازشی می‌تواند عملیات FP16 ، INT8(اعداد صحیح 8 بیتی) و حتی عملیات پیچیده FP32 را انجام دهد. استفاده از هسته تنسور در معماری کارت گرافیک باعث بهبود کیفیت بصری بازیهای گرافیکی، افزایش سرعت و دقت محاسبات و انجام چند عمل پردازشی و محاسباتی همزمان می شود. 

بیشتر بخوانید: خرید سرور Server

هسته تانسور چیست؟

کاربرد واحد پردازش تنسور در کارت گرافیک

برخی از کاربردهای پردازش تنسوردر کارت گرافیک شامل موارد زیر هستند. 

تاثیر هسته های تنسور در کارت های گرافیک

همانطور که اشاره شد، تنسور Core می تواند قابلیت های پردازشی و محاسباتی را بهبود دهد و نقش موثری در بهبود عملکرد های گرافیکی دارد. برخی از تاثیرات هسته تنسور در کارت گرافیکی عبارتند از: 

• افزایش سرعت و کارایی به دلیل انجام همزمان چندین عملیات ریاضی پیچیده 
• کاهش مصرف انرژی به دلیل توانایی بالا در انجام سریع عملیات و استفاده از معماری هوشمندانه
• واقعی و جذاب کردن بازیهای گرافیکی با افزایش سرعت، کیفیت  نورپردازی و… 
• کاهش فشار وارده بر پردازنده به دلیل کارایی بالاتر در زمان کم 
• پشتیبانی از کاربردهای متنوع از هوش مصنوعی و تحلیل داده‌ها تا بهبود کیفیت بازی و انجام محاسبات 

تفاوت هسته tensor و CUDA

مهمترین تفاوت هسته تنسور و CUDA این است که تنسور Core به صورت تخصصی برای انجام محاسبات و پردازش های موازی پیچیده طراحی شده است  و دارای عملکرد اختصاص است در حالی که هستهCUDA برای پردازش عمومی از جمله پردازش های  تصویر طراحی شده و دامنه عملکرد وسیع و غیر تخصصی دارد. 

نحوه عملکرد Tensor Core Performance

همانطور که اشاره شد،  Tensor Core Performance می تواند محاسبات پیچیده ریاضی در چند بعد را با سرعت و دقت بالا انجام دهد. این هسته از الگوریتم های پیچیده خاصی که مبتنی بر مفهوم ریاضی تنسور هستند برای انجام این محاسبات استفاده می کند. در واقع، تنسور Core می تواند اسکالر،‌ بردار و ماتریس را به ابعاد بالاتر گسترش دهد  و انجام عملیات های پیچیده را در بطور همزمان امکان پذیر کند. 

میزان تاثیر هسته‌ی tensor در gpu

هسته های Tensor در GPU  در  افزایش سرعت و کیفیت پردازش‌های مرتبط با یادگیری عمیق (Deep Learning) نقش دارند و سبب ارتقا عملکرد بازی‌های گرافیکی، افزایش سرعت پردازش یادگیری عمیق، بهبود بهره وری انرژی، افزایش کیفیت بازی و در نهایت کاهش بار پردازشی می شوند. 

The impact of the tensor core on the GPU

نسل های مختلف تنسور کورها

هسته های Tensor در نسل های مختلفی ارائه شده اند که  در هر نسل بهبودهایی در عملکرد آن ها دیده می شود. این نسل ها عبارتند از : 

معماری Volta با (V100)

این نسل در سال  2017 معرفی شد و اولین نسل  تنسور Core ها به حساب می آید.این نسل قابلیت انجام محاسبات ماتریسی با دقت FP16 را دارد و برای افزایش شتاب در انجام محاسبات ماتریسی و کاربردهای مبتنی بر هوش مصنوعی مناسب است. 

معماری Turing با (T4 / T10 / T40) و (RTX 20 Series)

این نسل از  تنسور Core که در 2018 معرفی شد با پشتیبانی از Mixed Precision جهت کاربردهایی مانند Ray Tracing و عملکردهای مبتنی بر هوش مصنوعی. ایده آل است. 

معماری Ampere با (A2 / A10 / A16 / A30 / A40 / A100) و (RTX 30 Series)

در این نسل از تنسور که در سال 2020 معرفی شد، شاهد FP16 بهبود‌یافته و پشتیبانی از دقت جدید TF32 (Tensor Float32) بودیم. این نسل به دلیل فراهم کردن امکان انجام محاسبات پیچیده در زمان کوتاه برای آموزش شبکه‌های عصبی ایده آل است. 

معماری Ada Lovelace با (L4 / L40) و (RTX 40 Series)

این نسل از تنسور کورها در سال 2022 معرفی شدند و با بهبود حافظه و کاهش مصرف انرژی برای کاربردهای AI Inference و Generative AI مناسب هستند. 

معماری Hopper با (H100 / H200)

این نسل از هسته تنسور در 2023 ارائه شد. در این نسل به دلیل با پشتیبانی از FP8 سرعت محاسبات افزایش و حجم داده ها را کاهش یافته است. این مدل هسته تنسور برای کاربردهای آموزشی در مدل‌های هوش مصنوعی و مدل‌های زبانی بزرگ (LMs) مناسب است.

هسته‌های تنسور معماری Hopper (نسل چهارم)

این هسته که نسل چهارم هسته تنسور نامیده می شود با پشتیبانی از دقت FP8  و استفاده  از ترکیب دقت‌های FP16، FP32،  INT8. عملکرد آموزشی را نسبت به نسل‌های اولیه تا شصت درصد بهبود داده است وبرای کاربردهای  HPLC و هوش مصنوعی پیشرفته ایده آل است. 

هسته‌های تنسور معماری Blackwell (نسل پنجم)

این نسل از فرمت‌های جدید دقت شامل Micro Scaling Formats،  پشتیبانی می کند و سرعت آن تا سی برابر افزایش یافته است. همچنین، استفاده از موتور Transformer و پشتیبانی از فناوری سفارشی Blackwell به کمک دقت FP4 عملکرد و بهره‌وری این نسل از تنسور کورها را  تا دو برابر افزایش داده است. این نسل بیشتر برای کاربردهای پیچیده نطیر بهینه‌سازی آموزش مدل‌های بزرگ مانند LLM ها و MoE مناسب است. 

بیشتر بخوانید: پلتفرم NVIDIA HGX

نسل های مختلف تنسور کورها

انواع tensor core

انواع tensor core ها از جمله های مختلفی قابل تفکیک و طبقه بندی هستند. بنابراین، می توان آن ها را بر اساس معیارهایی مانند میزان دقت، نوع کاربرد و معماری در گروه بندی های متفاوتی قرار دارد. بطور خلاصه انواع هسته تنسور بر اساس این پارامترها شامل موارد زیر هستند. 

هسته های تنسور بر اساس کاربرد

همانطور که خواندید  Tensor ها در زمینه های مختلفی کاربرد دارند. در یکی از متداول ترین طبقه بندی ها، انواع هسته Tensor از جنبه نوع کاربرد شامل موارد زیر هستند.

•  حوزه آموزش (Training): ( هسته تنسور طراحی شده  برای پردازش حجم بالای داده ) 
• حوزه استدلال و استنتاج (Inference): ( هسته پردازشی تنسوربرای بهینه‌سازی مصرف انرژی در پیش‌بینی و اجرا)
• حوزه پردازش گرافیکی و بازیهای  اینترنتی: ( بهبود کیفیت بصری بازی ها و شبیه‌سازی‌های بلادرنگ) .
• حوزه محاسبات علمی : حل مسائل ریاضی و مدل‌سازی) 
• مدل‌های زبانی بزرگ (LMs): ( بهبود و تسریع روند آموزش و استنتاج مدل‌هایی با میلیاردها پارامتر)
• حوزه  صنعت: ( تولید خودروهای خودران، پردازش ویدیو و اینترنت اشیا (IoT).

انواع هسته tensor براساس دقت

در تقسیم بندی دیگر تانسورها  بر اساس میزان دقت به شکل زیر قابل  مرتب سازی هستند.

• FP32 (Single Precision): برای محاسبات علمی دقیق و مدل‌های پیشرفته
• FP16 (Half Precision):  افزایش سرعت پردازش.و کاهش حجم داده ها 
• TF32 (Tensor Float 32): استفاده از ترکیب دقت FP32 و کارایی FP16 جهت استفاده آموزشی  
• FP8:  جهت کاهش حجم داده‌ها در مدل‌های بزرگ
• INT8 و INT4: برای استنباط سریع در مدل‌های فشرده 
• BF16 (Brain Float 16): جهت  افزایش سرعت و حفظ دقت در مدل‌های بزرگ

تنسور کورها براساس معماری

تانسورها  بر اساس انواع دقت، نحوه پردازش ، میزان مصرف انرژی و… در معماری های مختلفی ارائه می شوند. بر این اساس تانسورها بر اساس نوع معماری شامل موارد زیر هستند. 

تنسور کورها براساس معماری

دلایل اهمیت هسته ی تنسور

دلایل زیادی برای استفاده از tensor در زمینه های مختلف وجود دارد که برخی از مهمترین آن ها عبارتند از: 

• افزایش سرعت یادگیری عمیق و کاهش زمان آموزش مدل ها به کمک بهبود محاسبات و عملیات ضرب ماتریس
•  بهبود محاسبات بلادرنگ (Real-Time) در گرافیک و استنتاج هوش مصنوعی
• انعطاف‌پذیری بالا برای مدل‌های عظیم با پشتیبانی مدل‌های زبانی و تصویری پیشرفته
• کارایی بسیار بالا در دقت های کم 

استفاده از tensor در هوش مصنوعی

بسیاری از کاربردهای مدرن هوش مصنوعی از جمله بینایی ماشین (Computer Vision)، پردازش زبان طبیعی (NLP) و مدلسازی‌های عمیق  (Deep Learning)  به پردازش سریع حجم عظیمی از دادها نیاز دارد که همگی بر محاسبات ماتریسی متکی هستند. بنابراین  Tensor Core ها می توانند با انجام سریع تر و دقیق محاسبات ماتریسی به  تسریع این محاسبات و افزایش کارایی هوش مصنوعی در حوزه های مختلف کمک کنند. 

محصولات مجهز به هسته تنسور

امروزه به دلیل کارایی بالای هسته Tensor در انجام دقیق تر محاسبات پیچیده و ارتقا کیفیت بصری در بازی های گرافیکی از آن ها در تولید محصولات مختلفی استفاده می شود. این محصولات شامل رایانه های رومیزی، گوشی های تلفن همراه و… هستند که نام برخی از آن ها عبارتند از : 

• گوشی هوشمند  شیائومی  ردمی K70
• گوشی های اولترا شیائومی، X100 پرو و X100 ویوو
• گوش های هوشمند گوگل Pixel 6، Pixel 7، Pixel 8 و Pixel 9  
• رایانه های رومیزی مجهز به  کارت‌های گرافیک RX 3050، RTX 3060، RTX 4050 

چرا تنسور Core برای توسعه‌دهندگان مهم است؟ 

در اینجا برای درک بهتر اهمیت هسته های تنسور در فریم ورک های مختلف به بررسی نقش تنسور در چند فریم‌ورک می پردازیم. 

TensorFlow: از آنجایی که TensorFlow به عنوان یک ابزار کارآمد برای ساخت، آموزش و یادگیری عمیق کاربرد دارد استفاده از هسته تنسور با ارتقا عملکرد هوش مصنوعی در این فریم ورک به بهبود کارایی آن منجرشده است.

PyTorch: پای تورچ به عنوان یک کتابخانه متن باز برای پایتون بر اساس یادگیری عمیق طراحی شده و معمولا برای مواردی مانند پردازش زبان طبیعی کاربرد دارد. استفاده از هسته تنسور باعث افزایش توان پردازشی این فریم ورک و بهبود عملکرد هوش مصنوعی در آن می شود.

ONNX: ONNX، به عنوان یک فریم ورک برای تعامل‌پذیری و نوآوری در اکوسیستم هوش مصنوعی (AI)، خدمات متنوعی را برای استفاده از مدل های یادگیری ماشینی با هزینه کم و سرعت زیاد به کسب و کارها ارائه میدهد. استفاده از تنسور کورها با افزایش کارایی هوش مصنوعی در این فریم ورک میتواند منجر به بهبود کارایی آن شود. 

NVIDIA Triton:  NVIDIA Triton برای طراحی مدل‌های زبانی بزرگ (LLM) و ارتقا کیفیت ربات های سخنگو و ابزارهای دستیار هوش مصنوعی کاربرد دارد و از هسته پردازشی تنسور برای ارتقا توان پردازشی، بهبود عملکرد مدل سازی و شبیه سازی واقعی تر استفاده می کند.  

چرا تنسور Core برای توسعه‌دهندگان مهم است؟

سوالات متداول 

در این بخش به چند سوال متداول پیرامون تنسر کورها می پردازیم. 

کدام پردازنده گرافیکی دارای هسته های Tensor است؟

 پردازنده‌های گرافیکی شرکت  انویدیا و برخی از محصولات از حمله تلفن های هوشمند گوگل از هسته Tensor استفاده می کند. 

آیا  از تانسورها در CPU استفاده می شود؟ 

بله، در برخی از پردازنده گرافیکی یا GPU های  از جمله پردازنده شرکت انویدیا از هسته تنسوراستفاده شده است.

تفاوت CUDA و Tensor چیست؟

هسته های کودا مسئولیت پردازش های عمومی  را بر عهده دارد، اما هسته پردازشی تنسور نوعی هسته تخصصی برای  محاسبات ریاضی پیچیده و انجام همزمان چند عملیات است. 

جمع بندی 

هسته تنسور (Tensor Core) در کارت‌های گرافیکی NVIDIA، به عنوان واحد پردازشی تخصصی عمل می کند و برای انجام محاسبات پیچیده ریاضی و عملکردهای مبتنی بر یادگیری ماشین و هوش مصنوعی، طراحی شده است. اگر قصد انجام پردازش‌ها و محاسبه‌های سریع روی عملیات GEMM را دارید؛ می توانید به جای استفاده از تعداد زیادی CPU به‌صورت تجمیعی از پردازنده گرافیکی مجهز به هسته‌های تنسور استفاده کنید. این هسته پردازشی می تواند سبب بهبود تجربه کاربری در بازی ها، افزایش سرعت و کارایی در انجام عملیات های همزمان ، افزایش دقت در محاسبات پیچیده و کاهش مصرف انرژی شود. در این گفتار در مورد نسل های مختلف هسته تنسور و انواع مختلف  آن توضیحاتی ارائه شد و دلایل اهمیت این هسته پردازشی و استقبال توسعه دهندگان از آن هم مورد بررسی قرار گرفت.