永利皇宫- 永利皇宫官网- 娱乐城APP精读DeepSeek OCR论文我远远看到了「世界模型」的轮廓

　　永利皇宫官网,永利皇宫赌场,永利皇宫娱乐城,永利皇宫注册,永利皇宫,永利皇宫app,永利皇宫发财车,永利赌场,永利集团,永利娱乐城,永利娱乐场,澳门永利

　　知乎网友指出，即使横向对比OCR最优秀的几个模型，它也不是最靠前的那个。

　　在下面两个案例里，3B大小（30亿参数）的DeepSeek OCR在数学公式展开里没有识别出“极坐标”，识别表格结构也是错的。相比之下，仅仅有0.9B（9亿参数）模型尺寸的PaddleOCR-VL（来自百度飞浆开源）却更胜一筹。

　　DeepSeek OCR也并非足够独创。外界猜测，谷歌Gemini 支持百万Token上下文可能早早使用了视觉压缩Token，同一天清华大学和智谱团队发布的、几乎同样思路「将长文本压缩为视觉Token作为模型输入」的Glyph，后者似乎没引发任何的「延伸解读」。

　　在中国做大了的互联网巨头，垄断了某个赚钱赛道后还怀揣着人类未来福祉去探索前沿技术的，几乎找不出一个范例。DeepSeek被美国同行形容为「实力深不可测」，其内禀的价值观、组织形态更是中国企业里罕见的异类。

　　梁文峰掌下的DeepSeek不怎么缺钱，浑身外溢着极致浪漫的技术理想主义。开源最前沿最有价值的模型训练细节，V3和R1引发全球轰动后几乎主动放弃巨大流量，也不去模仿OpenAI构建唾手可得的AI商业帝国...那种不按正常路径去「做大做强」，活在未来而非当下，一行一言去追逐高度不确定的AGI。在一个跟风、内卷、抄袭、金钱至上的中国，能诞生这样的公司，属实是“国运”。

　　外行看热闹，内行看Paper。言归正传，DeepSeek OCR的深层价值不是什么「真·无限上下文」，或者在各项评测集、各个大模型竞技场刷新了OCR模型的某个记录，而是探索「连续视觉表征压缩」在隐隐指向一个终极追求——「世界模型」。

　　Karpathy 评价里想说却未明说的：把大模型的前沿焦点从离散的语言Token，「重新转向」了连续视觉表征的视觉Token。

　　如果把大脑看作一台生物计算机，Ilya说我们终将突破。人类思维最幽暗深微之处，也许出奇地「大道至简」。

　　Ilya有个信念，「如果你能高效压缩信息，你一定已经得到知识，不然你没法压缩信息。当你实现了信息高效压缩，you got to have some knowledge」。

　　压缩通过识别模式和规律高效表征信息，这与智能行为密切相关。有相当一部分研究人员认为，压缩可能是通用智能的基础，甚至可能等同于智能，Ilya所坚信的「压缩即智能」。

　　Ilya可能只说对了一半。相比语言这种一维的离散信息，语言的成功压缩诞生了轰动世界的ChatGPT。而视觉作为更高维的连续信息，端到端的压缩和统一表征提取，却异常困难。

　　如今强大无比的各类预训练大语言模型，它们在底层原理上高度统一：使用互联网上庞大语料训练出超大规模神经网络，它可以看作一大堆参数，当用户输入时，将激活固定的网络节点参数参与计算，从而「预测最大概率的输出Token」。具体过程中，用户的输入文本会被Tokenization固定划分的词和符号（即分词过程）转化为向量，这些输入向量会在超高维的向量空间去做模式匹配，即以激活的神经网络参数参与计算，计算出最高概率的下一个词。

　　LLM用大白话解释，就是根据模型参数和上下文去才猜下一个词。回顾大语言模型的发展，通用算法的发现，Transformer架构让Scaling变得真正可行，简单算法、超大数据、GPGPU算力的暴涨三者合力，成功地压缩互联网上几乎所有的文本资料，打造出一台非常智能的「Token预测器」。

　　LLM的输出是「Token by Token」，自回归方式，意味着每一个Token都要跟前文“交互”一次。输入十万个Token，模型就要进行十万·十万的百亿次“交互”计算。输入越长的上下文，预测下一个词就需要指数级的计算增长。

　　再大的显存带宽和显存容量，也无法一次吃掉计算过程中天量的中间矩阵，推理延迟会越来越大。LLM近年的创新，比如注意力层计算的稀疏和优化，诞生了MTP、NSA、DSA，还有稠密FFN层的稀疏激活，以及超大规模MoE专家网络的路由激活，本质都是在解决计算层面的问题。

　　以DeepSeek为例，除了R1以开源模型首次公开了预训练+后训练强化学习方法，复现了O1 推理思维链的效果引发轰动，其它几乎所有的创新都集中在改进注意力机制、激活参数计算和推理解码的高效，以及训练时如何降低硬件开销和提升数据通信可靠性。

　　DeepSeek OCR表面上是一个OCR模型，实际也是指向计算效率，尝试实现模型输入过长上下文的高效压缩。

　　在压缩比10倍的时候，几乎可以做到无损。这意味着原来输入十万Token的模型上下文，视觉编码仅需一万Token。

　　而且，DeepSeek论文说我们可以连续调节压缩率，在压缩率和识别精度之间平滑地做出权衡。关键来了，DeepSeek将这种动态的视觉压缩还与人类的记忆遗忘做了类比。

　　在论文里，DeepSeek 解释 OCR 的工作代表了对视觉-文本压缩边界的初步探索，研究了解码 N 个文本 token 需要多少个视觉 token这一核心问题。初步结果令人鼓舞：

　　光学上下文压缩不仅是技术可行的，更是生物学合理的。它为长上下文建模提供了全新视角。 DeepSeek相信，这一方向将成为未来 LLM 与 VLM 研究的重要突破口。

　　DeepSeek-OCR 在 约 10× 压缩比 下实现了接近无损的 OCR 压缩，在 20× 压缩比下，仍能保持 60% 的准确率，这些发现意味着：在多轮对话中，对超过 k 轮的历史记录进行光学处理，实现 10× 压缩效率；对旧上下文逐步缩小渲染图像，进一步减少 token 消耗； 模拟人类记忆的遗忘机制，越久远的内容，压缩率越高，图像越模糊，信息逐渐丢失。

　　在论文里，DeepSeek强调，光学上下文压缩仍然是一个刚刚起步、充满潜力的研究方向。DeepSeek-OCR 不仅仅是一个常用的优秀OCR工具，本身是一个极具实用价值的模型，具备大规模预训练数据生产能力，可作为 LLM 训练过程中不可或缺的助手。在实际应用中，该模型每天可生成数千万页级别的训练数据，显著提升了多模态数据构建的效率。

　　人脑若以“生物计算机”视角观察，可以粗略概括为：它以多模态、某种统一表征进行极为高效的信息压缩，实现对现实世界建模和预测。

　　如果大语言模型能够导向AGI，等同于人类是通过语言理解一切，通过语言就可以建模世界？但这其中有一个明显Bug，人类并没有LLM Tokenization 这种「后天而非先验」的分词器，Karpathy形容Tokenization的过程是丑陋且笨拙。

　　用户的文本输入变成AI“可读”的内容，是通过一个叫“Tokenizer”（分词器）的东西，把句子切成一个个“词元”（Token），比如“Hello, world!”可能被切成 [Hello]、[,]、[world]、[!]，四个词元。分词的标准并不是统一的，不同的词表和分词器也意味着各家模型不同的Tokenization方法，它对模型的最终性能有一定影响。

　　LLM文本输入转化为Token的分词过程是不是必不可少的？ 而DeepSeek-OCR这篇论文无意中提供了一个佐证：它证明了，AI可以只用100个“视觉词元”（Vision Tokens），就高精度地“解压缩”出包含1000个“文本词元”的原文内容。而且不需要文本分词这个过程。

　　语言深度依赖视觉经验和多模态基础，文字本身是对感知世界的二次抽象。为什么我们的AI系统，要绕过更原始、更丰富的表征层？当模型直接在像素层面理解文字，它看到的不只是语言，而是习得了更加丰富、更加深层的学习机制。

　　就像前文所说，相比语言这样的一维离散信息，更高维且连续的视觉信息，端到端的信息压缩、统一表征提取和预测，困难且毫无进展。

　　三句不离世界模型的Yan LeCun，曾在公开访谈中谈及连续视觉信息的处理有多么困难：

　　“一个典型的大语言模型大约是在200亿到2万亿个Token上训练的。Token差不多就是一个词。通常，一个Token用三个字节表示，200亿到2万亿个Token，总共大约是10的14次方字节，也就是1后面跟着14个零。这几乎是互联网上所有公开文本的总和。

　　一个人要花几十万年才能读完这些材料，这是海量的信息。现在，我们来比较一下这个数据量：一个四岁的孩子总共清醒了 16000 个小时。每秒大约有 2 M字节信息通过我们的视神经进入我们的视觉皮层。每秒 2 M字节，在四年内，通过视觉输入大约是 10 的 14 次方字节的数据。四岁孩子”看到“的数据量与需要你 40 万年才能阅读的文本一样多。

　　这表明，仅仅依靠文本训练，我们永远无法实现接近人类水平的AI。我们必须学会让AI理解真实世界，而这非常困难。如果我们不用单词，而是用视频中的帧，将这些帧转换成类似于单词的Token，然后尝试训练系统预测视频中将要发生的事情，这是行不通的。

　　我们可能无法预测某个特定单词会出现在文本的哪个位置，但我们可以预测所有可能单词的概率分布。对于视频，我们做不到这一点。我们无法表示所有可能的视频帧的概率分布。因此，那些在文本、DNA序列或蛋白质上非常有效的技术，在视频或其他自然信号上却不起作用。”

　　回过头来看，DeepSeek-OCR这篇论文的真正价值，不在于它提供了一个多好的OCR工具，而在于它充当了一次“概念验证”（Proof-of-Concept）。它用实验数据证明了：AI的主要信息入口，可以从语言转向视觉，不仅效率更高，似乎更符合生物特性。

　　Vision→Text的任务空间，其实完全包含了Text→Text的任务空间，任何文本都可以无损“渲染”成图像。但反过来从图像到文本就会丢失大量信息。这种不对称暗示了一个激进的方向：把所有输入统一为视觉模态，输出保持文本不变。

　　这不仅仅是“文本到文本”任务变成了“视觉到文本”任务，这是一个更根本的转变。

　　如果输入端彻底转向像素，我们实际上构建的，不再是传统意义上的“大语言模型”，而是一个视觉条件下的文本生成系统。模型看到的，不再是固定划分的字符，而是更凌乱、更无序但信息更丰富的原始信号。沿着这条全新的发展道路，似乎远远能够望到世界模型的轮廓。

　　再看一遍 DeepSeek在OCR论文的总结，「这一范式将为解决长上下文建模中的效率瓶颈、记忆机制设计与多模态融合等核心问题提供全新的思路和广阔的研究空间」，措辞谨慎且谦虚。

　　10月22日，【小新的Vlog】外交部举办海南自由贸易港全球推介活动 现场响起《友谊地久天长》，dafabet什么公司，万赢体育，789娱乐城，188宝金博手机版注册

　　10月22日，（新春走基层）重庆綦江：非遗农民版画拓印“龙腾盛世”，澳门金沙游戏官网，拉菲彩票平台，世界杯指定官方投注站，yabo22vip网投平台

　　10月22日，专家：中国深远海养殖进展快、优势明显，中四柱预测B，威尼斯游戏手机版，速八官网，betway必威

　　10月22日中方祝贺马内莱当选所罗门群岛总理bet体育投注世界杯英超联赛bet36亚洲体育备用m6米乐在哪开户威尼斯人充值中心

　　10月22日冷水鱼宴何以成新疆北部的城市名片？电竞竞猜哪个平台好888真人国际-皇恩a平台世界杯官网购买地址十六浦登录

　　10月22日道路因雪崩阻断 新疆喀纳斯景区暂停开放世界杯买球怎么算钱的9州体育注册宝博游戏李逵劈鱼开元app下载手机端安装……

　　10月22日，上海：“国粹”破圈融合 岐黄丹青推动中华文明创造性转化，爱游戏体育投注平台，好玩的百人牛牛游戏，金佰利国际娱乐菲律宾线日，台商在江西：深耕大陆市场 冀江西工厂实现全球覆铜板产能第一不管你信不信，我们在福建找到了“齐天大圣”！，国际沙巴官网开户，澳门真钱下载，现金网游戏平台，亚星官方登录网址

　　10月22日1万余名中外跑者竞逐2024南昌象湖半程马拉松非凡炸金花玩龙8国际app官方世界杯哪个网站可以看正规电玩城森林舞会

　　10月22日，中国科协：科协各级组织要聚焦科技创新体系短板弱项 建真言谋良策，美高梅真人国际，火狐全站登陆，天博app网站下载，英皇体育手机版注册

　　10月22日，国务院台办发言人评论台湾地区选举结果，银河网上棋牌官网，vip非凡08，365bet注册网站，bet36体育在线日，西安街人气十足迎来大量游客，至尊电玩捕鱼2019，网页现金游戏，bc体育足球，十大赌场排行榜最新

　　10月22日抢抓机遇、补齐短板 促进广东区域协调发展黄金岛官方下载来玩app百老汇网上电子游戏亚星可靠吗

　　10月22日黑龙江哈尔滨：向日葵花海盛开 引众多游客观赏天博官网地址查询谁有九州酷游这样平台ROR赌场网站足球世界杯买球规则是

　　10月22日“网红城市”持续上新 如何将流量转化“留量”英皇体育买球众乐游棋牌伟德网页版mg真人电子平台

　　李娟发声明回应访谈争议，以前吃过但基本被淘汰的水果万人说新疆｜让热爱成为“燃料” 助我“飞驰”人生yabo官方网站天博竞彩官网八路足球网真人闲庄平台下载

　　唐人街探案，空战群英叙利亚首都大马士革传出连续枪炮声二八杠网投微信斗地主水果棋乐棋牌平台

　　郑钦文首夺东京站冠军，问界M7失控事故为刹车失灵中国供销粮油有限公司原副董事长徐烜被查优德体育官方吉祥坊网堵平台沙巴2022世界杯NG体育

　　周杰伦演唱会彩排图瘦回20年前，短视频平台现雷军、周鸿祎模仿者2024“四季青杯”大学生新兴业态创新创业大赛启动opebet体育i5g明升体育足球鸭博体育金宝博官网备用网址

　　千万不要对抑郁症朋友说，盘点翻车的B站顶流UP主CBA常规赛：南京头排苏酒队战胜四川丰谷酒业天博平台app下载中心e星体育下载地址在哪bbin世界杯内幕纬来体育网站是哪个APP

　　新闻联播主播海霞成中传博导，非诚勿扰宝马女起诉离婚哈马斯否认对停火提议有修改意见世界杯彩票竞彩投注澳门所有电子游戏排行世界杯靠谱买球德扑圈平台