百度360必应搜狗淘宝本站头条
分布式事务框架shiro框架java日志框架框架图cad怎么画框架
当前位置：网站首页 > 技术文章 > 正文

从“上古卷轴”到楔形文字，AI揭开古代文献神秘面纱，或将重写历史

ccwgpt 2025-02-28 15:04 37 浏览 0 评论


导读：AI的飞跃可能会开辟我们理解古代世界的新方法。想象一下，如果ChatGPT可以在「上古卷轴」的文本洪流上接受训练，我们将有机会直接与历史对话。
2023年10月，一封电子邮件发到了Federica Nicolardi的手机上，其中有一张图片将永远改变她的研究。
这是一张纸莎草卷轴的碎片，此卷轴在公元79年维苏威（Vesuvius）火山喷发时被烧毁——也就是导致庞贝古城被埋于地下的那次灾难。
18世纪，人们在意大利庞贝城附近Herculeaneum的一座豪华罗马别墅遗迹中发现了数百件卷轴，这本烧焦的卷轴就是其中之一。
几百年来，研究者们试图剥开卷轴上脆弱的碳化层，探寻内部记录的秘密，却都没有成功，许多卷轴因此变成了碎片。
学者们只好接受这些「上古卷轴」永远无法打开的事实。
意大利那不勒斯大学（University of Naples）的纸莎草纸学家Nicolardi曾尝试使用AI来阅读这些难以辨认的内容。
现在最新结果已经发过来了，AI将文字还原为了整齐清晰的希腊字母，——这是一段过去2000年来完全无法访问的文本。
从希腊语、拉丁语、到中国的甲骨文（Oracle Bone Script），AI正在准备重塑我们看待古代世界的方式。
重建古代文本
几十年来，计算机一直被用于对数字化文本进行分类和分析，AI的加入使研究者有望处理之前无法理解的庞大档案。
于是，大量新文本得以涌现，比过去几个世纪得到的数据还要多。
在2010年代，将深度学习应用于古代文本的早期尝试是基于文本的数码照片（拍摄纸莎草纸或者棕榈叶的原件）。
这个时期最常用的网络是CNN，对图像进行光学字符识别（OCR）。
研究甲骨文的团队使用模型来还原残缺的字母图像、拼凑碎片、以及分析字符如何随着时间的推移而演变。
与此同时，RNN网络也发挥了自己处理时间序列数据的优势，被用于搜索、翻译和填补已翻译文本的空白。比如，用RNN来猜测古巴比伦文字中数百个公式化的行政和法律文本中缺失的字符。
除了加速繁琐的任务，神经网络还帮助建立了人类专家无法发现的关系。
2017年，英国牛津大学开展了第一个展示AI潜力的大型项目：破译来自西西里岛的希腊铭文。
这些古文字读起来非常复杂，保存得也很糟糕，有一部分缺失还混合了方言，研究者不确定铭文的具体归属地以及日期。
过去的研究人员一般利用自己对类似现有文本的了解来解释新的资料，他们通常是特定时间和地点作品的专家。
但一个人不可能掌握与新文本相关的所有信息，于是AI登场了。
研究人员在公元前7世纪至公元5世纪之间写成的数万个希腊铭文上训练了一个RNN模型：Pythia。然后要求模型文本在它以前从未见过的文本上，预测缺失的单词或字符。
2022年，他们又使用流行的Transformer训练了一个名为Ithaca的模型，在之前的基础上加入了预测未知文本的日期和起源地点的能力。
Transformer通过并行分析输入的不同特征（字符或单词）来捕获比RNN更复杂的语言模式，并根据上下文对其进行加权。
最终，Ithaca以62%的准确率恢复了古代文本中人工产生的空白，相比之下人类专家的准确率为25%。而Ithaca和专家合作时，预测准确率达到了72%。
此外，Ithaca还以71%的准确率确定了铭文的地理来源，且日期预测也与公认的时间接近。
创建者将Ithaca免费开源后，每周都会收到几百次的访问。迄今为止，Ithaca做出贡献的例子包括重新确定雅典政治法令的日期，以及对公元前4世纪泥板的调查等等。
海量档案
关于古代文献，另一个截然不同的挑战则是数据量。
比如研究人员在处理的世界上最大的历史档案之一：包含数十万篇文章，涵盖27位韩国国王的统治时间（14世纪至20世纪初）。
这些记录是完整的，来源也是已知的，但几乎没有人能读懂，因为它们是用古汉字书写的，不同于现代汉字或韩文。
一个由政府翻译组成的小团队，正在努力手动将这些文本翻译成现代韩语，但这项任务可能需要几十年才能完成。
来自纽约大学（New York University）的首席机器翻译研究员 Kyunghyun Cho与同事合作，训练了一个基于Transformer的网络来自动翻译这些记录。
由于目前还没有足够的类似数据来训练这样的模型，因此团队采取了多语言方法。专家认为AI的翻译（对国事访问、惩罚叛徒和音乐会等事件的描述）比古代的翻译更准确、更易读，在某些情况下甚至比现代翻译更好。
另一方面，研究人员正在使用神经网络来处理只有少量文本幸存下来的古代语言。
训练Transformer一般需要大量的数据，不适用于这种情况，研究者于是回归以前的模型。
例如，希腊Patras大学的Katerina Papavassileiou和同事使用RNN从克里特岛克诺索斯（Knossos, Crete）的1,100块迈锡尼泥板（Mycenaean tablets）中恢复了缺失的文本，包含公元前两千年书写的羊群记录（Linear B）。
在人工测试中，模型的前十个预测准确率达到了72%，而在实际应用中，其性能通常能跟人类专家打平。
为了进一步改进结果，Papavassileiou希望添加视觉数据（如不完整字母的痕迹），而不仅仅是依赖音译文本。她还在研究「迁移学习」，将模型从一个系列的泥板中学到的知识应用于其他系列的泥板。
看似不可能的任务
让我们回到最开始的例子，阅读赫库兰尼姆（Herculaneum）卷轴涉及克服两个大问题。
首先，脆弱的卷轴无法展开。为了看到它们的内部，计算机科学家 Brent Seales花了数年时间开发「虚拟展开」技术，包括对卷轴的内部结构进行高分辨率计算机断层扫描（CT），并手工绘制横截面每一帧中可见的表面，然后使用算法将表面展开成平面图像。
2015年，研究人员使用这种技术从以色列恩戈地（EnGedi）的一个烧焦、无法打开的卷轴（公元3世纪左右）中阅读完整的文本，结果证明它来自圣经的章节。
相比于EnGedi的卷轴，Herculaneum的卷轴每卷都有几百圈，而且像丝绸一样薄。为了捕获极高分辨率的CT数据，团队将几个卷轴运送到牛津附近的Diamond Light Source使用粒子加速器。
但是，EnGedi卷轴和其他后期作品的墨水往往含有铁，在CT扫描中会发出明亮的光芒，而Herculaneum的抄写员使用的是碳基墨水，在扫描中是看不见的，因为它的密度与使用的莎草纸相同。
Seales团队意识到，虽然他们无法直接看到墨水，但有可能检测到它的形状。——如果裸露的纸莎草纤维与涂有墨水的纤维相比，表面纹理存在细微差异，也许他们可以训练神经网络来捕捉这种差异。
不过对于Seales的小团队来说，这个工作量太大了，因此他们在2023年3月与硅谷企业家Nat Friedman合作发起了维苏威火山挑战赛（Vesuvius Challenge），并提供了丰厚的现金奖励。
Seales团队发布了卷轴表面的扁平图像，并要求参赛者训练神经网络来找到墨水。超过1,000个团队参加了比赛，每天都有数百人在比赛的Discord频道上讨论进度。
最终在2024年2月，计算机专业的学生Youssef Nader、Luke Farritor和Julian Schilliger 获得了700,000美元的大奖。
获胜团队使用了TimeSformer，是Transformer的一种变体，通常用于在视频数据中分别处理空间和时间维度。
对于散落在那不勒斯、巴黎、伦敦和牛津的这些「上古卷轴」，这个时代的AI将有望令其重见光明。
参考资料：
https://www.nature.com/articles/d41586-024-04161-z

相关推荐

十分钟让你学会LNMP架构负载均衡（impala负载均衡）

业务架构、应用架构、数据架构和技术架构一、几个基本概念1、pv值pv值(pageviews):页面的浏览量概念：一个网站的所有页面，在一天内，被浏览的总次数。(大型网站通常是上千万的级别)2、u...

AGV仓储机器人调度系统架构（agv物流机器人）

系统架构层次划分采用分层模块化设计，分为以下五层：1.1用户接口层功能：提供人机交互界面（Web/桌面端），支持任务下发、实时监控、数据可视化和报警管理。模块：任务管理面板：接收订单（如拣货、...

远程热部署在美团的落地实践（远程热点是什么意思）

Sonic是美团内部研发设计的一款用于热部署的IDEA插件，本文其实现原理及落地的一些技术细节。在阅读本文之前，建议大家先熟悉一下Spring源码、SpringMVC源码、SpringBoot...

springboot搭建xxl-job(分布式任务调度系统)

一、部署xxl-job服务端下载xxl-job源码：https://gitee.com/xuxueli0323/xxl-job二、导入项目、创建xxl_job数据库、修改配置文件为自己的数据库三、启动...

大模型:使用vLLM和Ray分布式部署推理应用

一、vLLM：面向大模型的高效推理框架1.核心特点专为推理优化：专注于大模型（如GPT-3、LLaMA）的高吞吐量、低延迟推理。关键技术：PagedAttention：类似操作系统内存分页管理，将K...

国产开源之光【分布式工作流调度系统】:DolphinScheduler

DolphinScheduler是一个开源的分布式工作流调度系统，旨在帮助用户以可靠、高效和可扩展的方式管理和调度大规模的数据处理工作流。它支持以图形化方式定义和管理工作流，提供了丰富的调度功能和监控...

简单可靠高效的分布式任务队列系统

#记录我的2024#大家好，又见面了，我是GitHub精选君！背景介绍在系统访问量逐渐增大，高并发、分布式系统成为了企业技术架构升级的必由之路。在这样的背景下，异步任务队列扮演着至关重要的角色，...

虚拟服务器之间如何分布式运行?（虚拟服务器部署）

　　在云计算和虚拟化技术快速发展的今天，传统“单机单任务”的服务器架构早已难以满足现代业务对高并发、高可用、弹性伸缩和容错容灾的严苛要求。分布式系统应运而生，并成为支撑各类互联网平台、企业信息系统和A...

一文掌握 XXL-Job 的 6 大核心组件

XXL-Job是一个分布式任务调度平台，其核心组件主要包括以下部分，各组件相互协作实现高效的任务调度与管理：1.调度注册中心（RegistryCenter）作用：负责管理调度器（Schedule...

京东大佬问我,SpringBoot中如何做延迟队列?单机与分布式如何做?

京东大佬问我,SpringBoot中如何做延迟队列？单机如何做？分布式如何做呢？并给出案例与代码分析。嗯，用户问的是在SpringBoot中如何实现延迟队列，单机和分布式环境下分别怎么做。这个问题其实...

企业级项目组件选型(一)分布式任务调度平台

官网地址：https://www.xuxueli.com/xxl-job/能力介绍架构图安全性为提升系统安全性，调度中心和执行器进行安全性校验，双方AccessToken匹配才允许通讯；调度中心和执...

python多进程的分布式任务调度应用场景及示例

多进程的分布式任务调度可以应用于以下场景：分布式爬虫：importmultiprocessingimportrequestsdefcrawl(url):response=re...

SpringBoot整合ElasticJob实现分布式任务调度

介绍ElasticJob是面向互联网生态和海量任务的分布式调度解决方案，由两个相互独立的子项目ElasticJob-Lite和ElasticJob-Cloud组成。它通过弹性调度、资源管控、...

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

Taier作为袋鼠云的开源项目之一，是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本，提高大数据平台稳定性，让大数据开发人员可以在Taier直接进行业务逻辑的开发，而不用关...

SpringBoot任务调度:@Scheduled与TaskExecutor全面解析

一、任务调度基础概念1.1什么是任务调度任务调度是指按照预定的时间计划或特定条件自动执行任务的过程。在现代应用开发中，任务调度扮演着至关重要的角色，它使得开发者能够自动化处理周期性任务、定时任务和异...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表