大语言模型(Large Language Model,LLM)是自然语言处理(NLP)领域的一项关键技术,旨在理解和处理人类语言。它好比是人类的大脑,通过专业的训练可生成“机器大脑”,该大脑也可像人类一样掌握情感识别、逻辑组织、上下文理解等技能。这些技能可用于语言翻译、文本摘要、知识问答、文本生成等生活和工作中的活动场景,可辅助或替代人类来完成某些事情。目前该技术已经相当普及,在交通、金融、工业、教育等行业领域广泛应用。
不仅如此,LLM技术同时也能推动大数据产品的发展,以传统BI产品为例,基于LLM的自然语言分析能力,可解决传统BI在数据挖掘、数据决策、应用开发等方面的痛点。

先维蛰伏自研“卧龙明理”多模态大模型,将AI能力与BI能力结合,实现了chatBI功能,可以通过问答的方式自动生成代码脚本、自动推荐页面设计元素、自动推荐分析内容,解决了传统BI在开发和应用呈现上的问题。

**痛点分析**    

传统BI工具及应用开发存在以下痛点

▋数据维度单一,展示内容不足

传统BI应用呈现偏“制式、固化”,展示内容无法随生产业务的调整而及时变更,最终,由于这些应用展示不能满足业务变更,可能会被弃用或重新开发。

▋展示内容不直观,看不出数据问题

传统BI应用通常需要耗费很大成本定制开发数据报警规则和数据应用,以突出显示数据中存在的问题。由于很难枚举全部场景,导致数据应用页面很平庸、看不出数据问题,难以帮助用户快速、精准决策。

▋应用开发成本高,效率低

传统BI工具通常采用套模板的方式开发,这种方式需重新调整数据内容和样式布局,实际人力成本和时间成本并未显著减少。

**解决方案**    

部署先维chatBI产品,运用产品中问答式数据探索能力和问答式应用开发功能,帮助项目快速搭建智能应用。在数据探索方面,用户可使用数据问答、问答引导、数据解读、可视化展示知识更新等功能,帮助用户快速解读数据、主动发现异常、提供优化建议,提高决策效率;在应用开发方面,用户可使用数据建模、数据开发和应用开发功能,快速构建分析主题和分析应用,提高编码的效率和质量。

先维chatBI是搭建在轻应用开发平台之上,具备传统BI开发功能,同时融入大数据、AI应用开发功能。

▋在大数据方面

先维chatBI集成了30+数据协议,具备数据建模和数据轻度治理功能,同时具备直连、联邦和内存三种计算模式,优化了chatBI数据查询分析速度,提高用户问答时的交互体验。

▋在AI应用开发方面

实现了数据问答和问答开发效果。在数据问答上采用语音/文字方式对报表、仪表板、大屏应用的数据询问,实现数据互动,帮助决策者快速了解数据整体情况、趋势情况、存在的问题,并进一步提出优化建议。在问答开发上,用户通过描述页面设计需求模型推理服务通过解析需求的意图,将其转化为可执行的SQL和应用模板配置Code。随后,平台将转化的应用模板配置Code通过程序转化成UI组件,并基于页面布局算法编排页面样式,帮助用户快速搭建应用。

**技术实现**    

先维chatBI产品实现的总体技术路线分三层结构:数据层、解析层和应用层。

▋****数据层

数据层主要提供多源数据接入能力,提供BI基础分析数据支撑。该层一般对接数据库、API、本地文件数据,数据格式通常是结构化和半结构化数据。

▋解析层

解析层是chatBI产品的技术核心,主要实现数据建模、编码推理及可视化构建功能,计算部分则依赖联邦数据查询引擎和模型推理服务。

▋应用层

应用层向用户提供应用问答和数据探索webUI框架,可同时在PC和移动端访问。该层主要将webUI框架与数据查询引擎和模型推理服务集成,向上统一接收用户问答提示词并返回结果,向下将问答提示词通过模型推理服务转化为机器语言,并交由引擎查询计算,为用户提供想要的结果数据。

以下简单介绍上述三层结构中数据建模、编码推理和可视化构建功能的技术实现思路:

数据建模功能

是将接入层的元数据二次建模,以星型模型或雪花模型方式构建模型关联关系,此处可使用拖拽建模和自动建模两种方式完成维度建模。首先,维度建模将复杂的业务抽象,以数据明细表或轻度汇总表的方式描述业务数据,降低了数据使用的难度。然后,基于数据标准体系规范元数据定义,消除理解歧义,提高模型的分析效率和准确性。最后,将标准的维度模型转化为可执行的SQL脚本,并封装成数据服务,交由联邦查询计算引擎调用。

编码推理功能

是基于模型推理服务,将用户提示词与维度模型关键词结合推理,将提示词转化为可执行的SQL语句,并将SQL语句输出到联邦查询计算引擎执行,并输出二维结构化数据,该数据将作为可视化图表的数据对象。为了提高SQL的准确性,平台提供提示词和关键词优化策略,优化策略如:限定数据分析表范围、预分析目标表的字段、预分析目标表内容、预置计算函数别名等。同时,平台也提供用户自定义的提示词与关键词关联关系映射配置,以适应不同用户提出同一提示词但含义表达不一致带来的数据查询“一致性”问题,适应不同用户的表达习惯,如:不同用户提出“星期天”提示词,有些用户想表达的是周六和周日两天,有些用户表达的则是周日一天。

可视化构建功能

是将用户提示词转化为图表Coding代码(如Echarts图表的option对象),从而生成柱状图、饼图、漏斗图等,甚至是GIS地图、三维图形。其实现思路是将可视化图表抽象、拆分组件、组件Schama标准化,然后将标准化的Schama组件对象定义成提示词并内置在LLM模型中。LLM模型内部通过推理用户多轮对话中的提示词,并将提示词按可视化图表编码规则转换成可执行的代码块,从而实现自动Coding。

以上便是基于语言大模型构建chatBI产品的总体技术路线,当然在实际建设过程中还有许多技术难题需要攻克,如多轮对话幻听、复杂元数据难建模等问题。

先维将继续深造“卧龙明理”大模型,持续优化chatBI系列模型,进一步提高其在数据探索、应用搭建、行业知识库构建等方面能力。在数据探索方面,持续优化异常诊断、预测分析、处理建议,提高自动探索准确性和交互体验;在应用搭建方面,持续调优Text-To-SQL、Text-To-Code精度,达到零代码快速开发应用的效果;在行业知识库方面,持续训练行业数据标准、数据指标和业务场景的数据,为用户推荐更专业的内容。

公司介绍

南京先维信息技术有限公司成立于2013年,是一家专注于大数据、人工智能、移动协同、网络安全的国家级高新技术企业,荣获江苏省专精特新企业、江苏省规划布局内重点软件企业、江苏省网络安全重点企业、江苏省软件核心竞争力企业等荣誉。公司拥有4家子公司,总部位于南京,在北京、上海、广州、长沙、贵阳等地设有办事处及交付中心,主要为工业、政府、金融、教育、公安、广电及大中型企事业单位提供全方位信息技术服务,业务范围覆盖全国100多个主要城市,包含全部一二线城市,服务超过5000家政府及企事业单位,先维生态圈成员达1.9万余家,产品用户规模超过****3500万

公司核心成员均来自世界500强企业和行业领军企业,具有领导实战创新产品及团队的成功经验,技术人员占比超过80%,拥有众多大数据、人工智能、移动协同、网络安全相关的核心技术,具备自主知识产权,主要产品都已进入国家信创产品名录。

公司始终坚持以创新、技术、服务为核心价值观,以**“先破冰踏浪,维登峰弄潮”**的磅礴气势作为我们的核心文化,秉承敢为人先、客户至上的经营理念,致力于打造技术一流的服务团队,为客户提供专业的信息技术服务,持续为客户创造价值。

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)

在这里插入图片描述
👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐