300余待审企业迎新IPO大考 资本转向“更会赚钱”企业
61 2025-04-05 09:43:55
还有一点就是数据传输过程的安全问题,对于涉及用户商业数据内容时,用户是不大愿意直接放出来的,需要我们提供安全的数据交换策略。
长安链ChainMaker作为首个国产联盟链软硬件技术体系,服务于政务、金融、能源等上百个垂直行业,来自信通院发布的《2022可信区块链评测观察报告》显示,2022年底长安链国产开源联盟链市场占有率第一。雷峰网(公众号:雷峰网)。
同时,腾讯蝉联软件百强第一名。腾讯会议获奖证书腾讯自研服务器操作系统 TencentOS Server是一款企业级稳定的操作系统,沉淀了腾讯在操作系统领域超过10年的技术积累,承载着腾讯全量自研业务TencentOS Server针对云原生场景做了大量特性开发和优化,帮助企业在算力资源方面做到降本增效。软博会由中国电子信息行业联合会主办,是国内首个以软件为主题的国家级专业化展会。腾讯自研服务器操作系统TencentOS Server获奖证书照片此外,本届软博会与开放原子基金会合作,新增专辟开源特色展区,邀请国内知名开源项目参展,包括腾讯深度参与并发起的 OpenCloudOS 开源操作系统、OpenTenBase开源数据库(原TBase数据库)以及长安链ChainMaker等多款开源产品均在软博会开源展区亮相。
本届大会会有包括院士在内的专家、企业家等700余位业界嘉宾出席,140余家知名企业参展交流。8月31日,中国国际软件博览会(以下简称软博会)在天津举办,会议公布了《2022-2023年度优秀创新软件产品目录》,腾讯会议、腾讯操作系统TencentOS Server入选该目录。其中,dog这个class是给定的,所以要去做分类的话就是在找一个合适的背景,目前流行方法存在的一个问题是训练得越多效果越差。
接下来讲最后一点,现在大模型的特征尤其是视觉这一块的特征,存在一个问题,就是它虽然做到了可拆解、模块化,但是没法做到等变性。第二个是等变性,我们可以举一个比较有意思的例子来说明这一点。但是,由于现在的模型太大了,基本上所有的测试集都是训练集的排列组合,测试的Benchmark已经不存在了,还怎么使用因果关系?因此,我们就需要进行更多深层次的思考,这也是我最近一两年在做的一些事情。在第一天的青年科学论坛家专场上,南洋理工大学副教授张含望带来了以《视觉识别中的因果关系》为主题的演讲。
在我看来,对于当前的大模型来说,如果想要真正突破一些最底层逻辑上的问题,因果关系(Causality)是一条必经之路。十年前,在NLP领域取得的一个非常大的进步就是词嵌入(word embedding),它的训练的方式与现在的生成式方式是一样的,就是一些文本的预测。
也就是说,用它来做预测是可以的,但是要用它执行关乎国计民生政策上的问题,仅仅用一个预测模型是远远不够的,而且也非常危险。类似于在微积分发明之前,基本上很难找到各大行星的运作规律,只能通过几何方式去统计它的轨道。对此,他给出的建议是,大家在做多模态模型的过程中,一方面一定要多关注等变性,因为可拆解性可以通过数据量堆叠,等变性不可以,所以在预训练时要多加注意。我们来看一些具体的例子。
03因果关系在大模型中的重要性当大模型出来以后,我们首要面临的一个问题是,原来因果关系基本上是用来做预测任务中的去偏见,做一些训练分布之外的工作,因为测试集与训练集的分布不一样。所以在做了一些因果关系的调整后,其实是在概率上进行重置,也就是把一些周围的物体借过来,然后看如果周围多放一个水盆、一个杯子、一个包,把所有这些可能的东西做一个权重,加起来以后,会发现看见马桶去猜人的概率会提升两倍,是原来的三倍,这才是更加合理的事情。幸运的情况下,这些强行关联得出的结论是正确的,否则大模型就会胡说八道,这是因为它背后的关联是错误的,把共生关系当成了因果关系。这两个就是深度学习想要追求的一些东西,我们用群论去定义在观测里面变化的概念。
这是因为它背后的关联是错误的,把共生关系当成了因果关系。也就是说,随着模型规模不断变大,它可能会更加懂事、智能,但在bias上面,还没有一个底层算法能够解决该问题。
为什么在NLP领域用这种关联就可以学习到非常好的语义,也就是因果关系?比如在下面这幅图中,用king减去man可以得到一种新的状态,将其加到一个性别身上,就变成了queen,这就是常识、比较有道理的因果关系,为什么会这样?我会在后面解释更加底层的原因,这里先说一个简单问题,现在NLP整个领域濒临灭门状态就是因为基本上所有记录在案的symbol已经经过人类进行消化,形成因果关系了,而并非两个东西完全关联在一起解耦有两个数学概念可以去刻画,第一个是可拆解,或者是模块化,即一个特征中不同的位置应该负责不同的功能。
也就是说,用它来做预测是可以的,但是要用它执行关乎国计民生政策上的问题,仅仅用一个预测模型是远远不够的,而且也非常危险。很不幸的是,从去年年底到今年年初,在大模型风靡的时候,因果关系好像又落入了一种近乎销声匿迹的状态。所以,如果想要用巧克力的销量去预测得诺贝尔奖的概率,这个是没有问题的。比如,在下图中,我画了一个行星轨道图来演示最本质的深度学习动力学,其实就是用群论概念重新定义什么是分类。但是有一些case是你给的数据越多反而效果越差,这个就比较奇怪了,如果要解释的话,完全可以用class与context不停地对抗,此消彼长的概念来解释。语言的本质是可递归的符号系统,这也是大语言模型可以推理的基础。
大家的目光和兴奋点几乎都落在大模型的能力表现上面,而因果关系,这一稍微被我们推到一定知名度的领域,又迅速暗淡下去。01为什么需要因果关系(Causality)?三四年前,我们就非常在意计算机视觉问题中的偏见(bias),而到了做多模态模型或大语言模型的时候,这些bias依然存在。
第二,现在所有多模态大模型都会有一个问题,多模态之间互通的瓶颈在于非语言模态(例如图像)的spatial tokens和语言分布差的太远。但是常识告诉我们,马桶是给人用的,马桶上面坐着一个人是件合理的事情,这个才是真正看见马桶去猜人的因果关系,而不是单单从概率上面去判断。
以下为张含望教授的现场演讲内容,雷峰网(公众号:雷峰网)作了不改变原意的编辑及整理:张含望:前面的嘉宾都在讲大语言模型(large language model),那我换一下口味,讲一讲计算机视觉中的因果关系(Causality)。随着模型规模的不断扩大,它可能会越来越智能,但偏见问题依旧存在。
以上就是我今天分享的内容,谢谢大家。接下来讲最后一点,现在大模型的特征尤其是视觉这一块的特征,存在一个问题,就是它虽然做到了可拆解、模块化,但是没法做到等变性。这就像我们上面说到的,不用真正物理上的化妆,只用用PS进行化妆就可以了。由于这个共因的存在,会导致就算a跟b没有直接的关系,也会被这个混杂的共因连接起来。
至于原因,这就要提到一个简单但有力的因果关系概念——混杂,也是因果干预。在第一天的青年科学论坛家专场上,南洋理工大学副教授张含望带来了以《视觉识别中的因果关系》为主题的演讲。
但是经过因果干预以后,发现它的概率其实是降低了。编者按:2023 年 8月14日,第七届GAIR全球人工智能与机器人大会在新加坡乌节大酒店正式开幕。
就像下面这幅图上面显示的,问题是:女孩吃热狗的时候是不是感到很兴奋?它看的地方应该是这个女孩而非热狗。第二,我们可以用它来实实在在做一些最基础的事情。
共生不等于因果,经常发生的事情不一定是因果关系。基于这样的重新定义,我们用这套数学语言就可以把三角形证明出来了。这个bias是什么呢?如果你让大模型做一些视觉方面的QA,模型回答的答案是正确的,但是它所看的地方是错的。再比如,人用腿跑步、用腿滑雪,可以观测到人的腿与滑雪板的状态,但是人为什么用腿滑雪?背后的道理也是不会记录在照片中的。
这个深层次的思考可以下面这张图来说明,其实就两点:第一,为什么这张图是一个三角形的样子?以往如果要做因果关系,大家肯定会画出来这样一个三角形的假设,为什么这个假设是正确的?现在的这种假设基本都是一些领域专家自己画的,那有没有可能从数学上证明它?第二,这个三角形的顶点,即confounder到底是什么?以往是给一个具体的任务去定义一个confounder,但其实没有共性的东西。02共因(confounder)与因果干预研究计算机视觉的人应该都听说过MAE,即根据mask modeling这种方式来学习的视觉特征,本质上是一个非常底层的关联特征。
大会共开设10个主题论坛,聚焦大模型时代下的AIGC、Infra、生命科学、教育,SaaS、web3、跨境电商等领域的变革创新。我们尝试着用抽象代数中的群论概念来定义深度学习中更为深层次的东西,就是我们首先要定义深度学习在学什么。
虽然这也能做出比较好的预测结果,但是背后的原理无法知晓。也就是说,我们在这个数据集上可以做到一个无偏的估计去逼近真正的自然语言,就是在大量、丰富语料库的词与词之间进行word embedding这样一个更好的预测。