RWKV是由 Peng Bo 受 AFT（Attention-Free Transformer）等語言模型啟發(fā)，設計并進一步開發(fā)的一種大型語言模型（Large Language Model）。
RWKV的網(wǎng)站，大家可以去看看
RWKV Wiki - RWKV Wikirwkv-wiki.github.io/
RWKV的核心特點包括性能與效率，結構創(chuàng)新，參數(shù)與擴展性等幾個方面。
在性能與效率方面在訓練期間使用類似Transformer的公式；
在結構創(chuàng)新方面通過Time-mix和Channel-mix層的組合，以及distance encoding（距離編碼）的使用，實現(xiàn)了更高效的Transformer結構；
在參數(shù)與擴展性方面RWKV模型具有良好的可擴展性，可以支持多達140億個參數(shù)，并且可以通過增加參數(shù)和數(shù)據(jù)來進一步提升性能。
微軟office軟件中含有RWKV的編譯文件，甚至微軟可能會將RWKV 安裝到office應用中，也為對應的軟件安裝專屬的大模型，提高軟件的實用性和智能化水平，探索高效線性架構，優(yōu)化計算機的內(nèi)存資源，也算是一種強強合作。
說到大模型，其實國內(nèi)還有很多好用的AI大模型，這里分享幾個好用的AI工具，可以幫你大幅度的提高辦公和學習的效率。
?、聰明靈犀
在線AI寫作軟件 - 聰明靈犀在線
一款前沿的AI寫作助手，支持多種場景下使用，如文本優(yōu)化、報告撰寫、廣告文案及社交媒體標題等，只需要輸入關鍵詞或標題，簡述內(nèi)容，就能快速生成精彩文章，網(wǎng)站還支持復制下載，讓創(chuàng)作更加簡單高效。
【工作通知】
點擊AI寫作，找到場景模版下面的工作通知，輸入關鍵詞，以及詳細內(nèi)容，AI就會自動生成一篇不錯的工作通知模板，支持下載和復制
【AI全文寫作】
