ChatGPT | Word表格整体输出

本文来自欧巴Godwin的博客，引用必须注明出处！

用LangChain读取Word和PDF的文字内容是好的，但如果内容包含表格则读取出来的内容完全没法看。用ChatGPT往往是做企业知识库，所以会出现一个场景，即员工想让ChatGPT讲解包含表格的内容。

要达到效果，本文的做法是：

1、用pandoc把Doc文档转为MarkDown而且是GitHub模式，是重点，因为MarkDown可以作为文本被embedding并且输出内容包含原汁原味的表格<Table>标签

2、用"\n## "作为MarkDown文件的切割符，用TXTLoader读取MD文件并embedding

3、这里只用embedding而不用ChatGPT，本文只做整体表格输出，不做表格格单元具体分析

直接贴出Doc表格和embedding输出的MarkDown表格对比：

1、先贴出pandoc的命令，用pandoc把Doc转为MD文件：

pandoc -s test.docx -t gfm -o test.md

2、贴出Python源码：

import os
from langchain.embeddings import OpenAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chromafrom langchain.document_loaders.pdf import PDFMinerLoader
from langchain.document_loaders import TextLoader
from langchain.document_loaders import UnstructuredMarkdownLoader# 1、把MD文件当做TXT加载
loader = TextLoader(".\\单文件\\test.md","UTF-8")
pages = loader.load_and_split()# 2、拆分文件
text_splitter = CharacterTextSplitter(separator = "\n## ",chunk_size = 500, #chunk_size = 1000,chunk_overlap = 0
)# 切割加载的 document
split_docs = text_splitter.split_documents(pages)
print(f'documents:{len(split_docs)}')
#print("拆分后的文档：" + str(split_docs))# 3、将文件embedding
os.environ["OPENAI_API_TYPE"] = "azure"
os.environ["OPENAI_API_KEY"] = "xxxxxxxxxxxx"
os.environ["OPENAI_API_BASE"] = "https://yyyyyyyyyyy.openai.azure.com/"
embeddings = OpenAIEmbeddings(model="text-embedding-ada-002", deployment="lk-text-embedding-ada-002", chunk_size=1)print("开始embedding")# 4、将拆分后的文本embeddings后存储到Vector数据库
vectordb = Chroma.from_documents(split_docs, embedding=embeddings, persist_directory="./")
vectordb.persist()result_list=vectordb.search("岗位设置是什么",'similarity')
print(result_list[0])

3、运行代码终端输出的内容，把内容贴到txt文件另保存为.md，再上传到有道云笔记这类支持MD格式的软件即可看到上图MD格式内容：

page_content='岗位设置\n\n根据项目研发过程主要分为需求整理、项目研发、生产发布三个阶段。明确工作职责，逐步实现产品经理、项目经理、软件工程师师、测试工程师、运维工程师的岗位设置。\n\n<table>\n<colgroup>\n<col style="width: 16%" />\n<col style="width: 56%" />\n<col style="width: 27%" />\n</colgroup>\n<thead>\n<tr class="header">\n<th>岗位</th>\n<th>工作内容</th>\n<th>责任</th>\n</tr>\n</thead>\n<tbody>\n<tr class="odd">\n<td>产品经理</td>\n<td>1、负责分析需求、整理需求，编写需求文档。\n2、绘制界面原型demo等，设计功能使用的具体描述、行为者、前置条件、后置条件、UI描述、业务流程/子流程/分支流程，界面
说明等，完成大部分的前端设计，小部分的后端设计。\n3、对项目组成员详细讲解需求。\n4、项目过程中维护和跟踪需求状态。</td>\n<td>1、对产品需求的真实
度负责。\n2、对产品整体风格负责。\n3、对项目整体设计流程负责。\n4、对需求的生命周期负责。</td>\n</tr>\n<tr class="even">\n<td>项目经理</td>\n<td>1、选定项目组成员，成立项目组，安排任务分工。\n2、制定研发主计划，包括需求，设计，编码，测试这几个阶段的计划。\n3、评估项目研发投入的资源。\n4、制定项目组开发进度表, 对组内人员工作进度监控。\n5、对文档的质量进行检查、把关。\n6、组织需求评审、技术评审等会议。</td>\n<td>1、对项目资源
有效使用负责。\n2、对各岗位沟通协调工作负责。\n3、对项目的进度负责。\n4、对系统总体设计、详细设计文档质量负责。\n5、对项目组会议质量负责。</td>\n</tr>\n<tr class="odd">\n<td>软件工程师</td>\n<td>1、负责把产品需求分解为研发任务。\n2、负责系统的模块设计。\n3、负责模块的代码编写、维护
。\n4、负责技术文档的编写、维护。\n5、负责与测试工程师的交互，处理测试工程师的问题。\n6、对项目组成员进行技术指导。</td>\n<td>1、对研发任
务的有效性负责。\n2、对模块设计的有效性负责。\n3、对模块的开发效率和代码质量负责。\n4、对技术文档的完整性、实时性、可读性负责。</td>\n</tr>\n<tr class="even">\n<td>测试工程师</td>\n<td>1、根据需求分析和系统总体设计，编写测试文档和测试用例。\n2、对系统的功能、性能、异常进行测试。\n3、编写测试报告。\n4、组织SIT、UAT等各类测试活动。</td>\n<td>1、对测试的质量负责。\n2、对测试报告负责。\n3、对各类测试活动的质量负责。</td>\n</tr>\n<tr class="odd">\n<td>运维工程师</td>\n<td>1、保障线上环境的正常运行，处理线上的各种问题;\n2、监控线上系统，分析和预防线上系统出现问题;\n3、构建自动化运维平台，提高运维效率;\n4、规范运维流程，定期提交汇总报告;\n5、\n周期做数据备份，测试数据备份的正确性和完整性，以增强服务器的安全性。</td>\n<td>1、对线上环境的稳定性负责。\n2、对服务器的安全性负责。\n3、对数据备份的正确性和完整性负责。</td>\n</tr>\n</tbody>\n</table>' metadata={'source': '.\\单文件\\test.md'}

ChatGPT | Word表格整体输出相关推荐

PHPword表格中输出不同字体的汉子
Phpword在word表格中输出不同字体的汉子 1. 在PHPWord\PHPWord\Section\Table\cell.php 找到: public function addText( ...
Python将word表格存入excel —— 格式化pg参数手册
一. 背景收到一份<PostgreSQL13商用文档之PG参数参考手册>,打算学习一下,打开文档一看,151页T_T.参数虽然有分类,但不太有规律,word文档格式如下: 个人觉得如果用 ...
POI利用word模板动态生成word报表以及动态生成word表格
目录核心依赖动态表格测试类工具类动态数据测试类工具类核心依赖 <dependency><groupId>org.apache.poi</groupId&g ...
python 读取 word 表格_python读取word表格
python调用com,如何完成word表格操作 word中doc这个格式的文件是微软特有格式,微软没有向外公开任何的api接口文档,只能通过微软提供的OLE组件来提其COM接口,只要你的机器上安装了 ...
apache poi 修改docx表格_word 模板内容的替换和生成word 表格（使用poi）
1. maven 相关依赖和模板 org.apache.poi poi-ooxml 3.15-beta2 org.apache.poi ooxml-schemas 1.1 2. 工具类中的方法 / ...
如何自动从Word表格中提取高亮（不同颜色）文本--Java实现
文章目录问题情境相关jar包 Java实现程序 Email:1563178220@qq.com 内容可能有不到之处,欢迎交流. 未经本人允许禁止转载. 问题情境在word中存在多个表格,每个表格 ...
poi 设置word表格颜色_办公软件小课堂 Word表格的设置
你是否还在为考证烦恼?是否不知从何学起?学习部每周的办公软件小课堂!这里总有你想要的! 本周给大家整理的是 Word表格的设置 01 插入选择卡→表格 02 文本转表格步骤1:选中要转换成表格的文本 ...
Java中利用freemarker导出word表格并合并单元格
1.word表格的模板另存为xml格式: 将保存的xml改成.ftl 格式化一下xml,看看文件中的带有${}是否正确如果出现这种情况,手动修改下(可复制上一个正确的改下名字) 2.Java代码 ...
word表格函数计算机应用基础(6)
表格函数基础篇理解什么是表格函数数学学科的一个基本概念. 函数(function)表示每个输入值对应唯一输出值的一种对应关系. 可以通俗地理解为,函数是一种工具,它可以帮助我们实现某一功能. 例 ...

ChatGPT | Word表格整体输出

ChatGPT | Word表格整体输出相关推荐

最新文章

热门文章