如何用SQL 语句读取文本文件内容

发布网友 发布时间：2022-05-02 01:22

我来回答

共3个回答

懂视网 时间：2022-05-02 05:43

《万能数据库查询分析器》实现使用SQL语句直接高效地訪问文本文件

                           马根峰

                (广东联合电子服务股份有限公司, 广州 510300)

摘要    用SQL语句来直接訪问文本文件？是在做梦吗？

本文具体地介绍了“万能数据库查询分析器”，中文版本号《DB 查询分析器》、英文版本号《DB Query Analyzer》在 文本文件处理方面很强大的功能，你能够直接用SQL语句来訪问这些文本文件，訪问250万条记录的文件的复杂的关联操作，也只是用时59秒钟。须要注意的是，文本文件的第一行须要有列名。

关键词   DB 查询分析器；DB Query Analyzer 

1       引言  

中国本土程序猿马根峰推出的个人作品----万能数据库查询分析器，中文版本号《DB 查询分析器》、英文版本号《DB Query Analyzer》。

万能数据库查询分析器集哈希技术、链表等多种数据结构于一体。使用先进系统开发技术，经历4年的研究、开发、測试周期后在2006年面世。

之后7年来一直在进行不断地完好、升级，到眼下为止。最新版本号为5.04 。“万能数据库查询分析器”核心部分就具有长达5万多行代码的工作量，使得其具有强大的功能、友好的操作界面、良好的操作性、跨越各种数据库平台乃至于EXCEL和文本文件。

你能够通过它查询ODBC数据源（包含世面上全部的数据库、TXT/CSV文件、EXCEL文件）的数据。你能够同一时候运行多条DML语句乃至存贮过程。结果会以你设定的表格、文本框、文件来返回。从数据库导出千万条数据时，效率与DBMS没有什么差别。

本文将以5.04版本号为例，具体阐述“万能数据库查询分析器”中文版本号《DB 查询分析器》在 文本文件 处理方面很强大的功能，你能够直接用SQL语句来訪问这些文本文件，訪问250万条记录的文件的复杂的关联操作，也只是用时59秒钟。要注意的是，文本文件的第一行须要有列名。

2    产品获得的成就及发展历程  

中文版本号《DB 查询分析器》在中关村在线 下载量超过10万 多次，位居整个数据库类排行榜中前20位。

在《程序猿》2007第2期的“新产品&工具点评”部分，编辑“特别推荐”了“万能数据库查询分析器”公布。本期仅仅点评了5个工具。各自是“Adobe Acrobat 8 中文版”、“迅雷搜索 1.7 新版上线”、“Google 桌面搜索 5.0 中文公布”、“BEA 公布 WebLogic SIPServer 3.0”和特别推荐“万能数据库查询分析器”公布。前面4个都是国内外大型软件公司的产品，仅仅有“万能数据库查询分析器”是个人创作的软件。

截止到2013年4月17日，在Baidu上搜索keyword"万能数据库查询分析器"，搜索结果达318万。在Baidu上搜索keyword"DB查询分析器"、"DBQuery Analyzer"，搜索结果分别在104万、16万左右。在Google上搜索“DB 查询分析器”、“DBQuery Analyzer”。结果分别达104万、44万之多。

本人撰写了关于“万能数据库查询分析器”有关技术的64篇文章，公布在《电脑编程技巧与维护》、《软件》、《计算机时代》、《电脑编程技巧与维护》、百度文库、CSDN资源、和本人的四大博客上（CSDN博客、新浪博客、QQ空间和搜狐博客上）。

3   为何用《DB 查询分析器》来訪问文本文件来解决实际问题

在广东联合电子服务股份有限公司实施一张网的过程中，因为路段上传的流水存在大量的异常，导致依照正常的结算流程无法快速地进行路段的结算。

因此，为了进行及时的结算，广东省快速公路公司授权先将异常流水进行忽略。后期再将这些流水进行上传、改动、拆分结算。

近期，为了实施忽略流水的回传。本人做的第一步就是从忽略的流水中依照（流水仅仅有在管理点存在、中心和管理点都存在）这两种情况。再依照流水金额小于0、等于0、大于0三类进行统计成台账（6个文件），然后业务组，再从这些分类批次（6个文件）中确认哪些批次须要回传（形成2 个文件。 流水大于0.csv 和 流水小于0.csv ）。

最终，本人还要依据这些这两个文件里是否“回传”，再从结算系统中依据复杂的逻辑，找出要回传的流水号并依照区域分成4个文件。

在本次处理中，

源处理文件：流水大于0.csv 、 流水小于0.csv 、tb_road、 管理点存在中心不存在的流水_全部.txt 和 管理点与中心都存在的部分_全部.txt 这5个文件。

后两个文件是从结算系统数据库server中通过复杂的逻辑处理生成的中间结果文件。

输出结果：要回传的流水号并依照区域分成4个文件。

解决方式：因此，输入条件决定要么在结算数据库系统中建立 数据表 来完毕条件的推断；要么将结果全部忽略的流水、须要关联的数据表（tb_road）导出成.CSV/.TXT 文件，再使用《DB 查询分析器》强大、高效的.CSV/.TXT 訪问功能来实施整个回传流水文件的生成。

      tb_road 表仅仅是从生产机数据库中导出tb_road表即可了。

图2  数据挖掘生成文本文件“管理点与中心都存在部分_全部.txt”

4    5.04中文版本号《DB 查询分析器》为例  

       下面我们就以“万能数据库查询分析器”的中文版本号《DB 查询分析器》 5.04为例，以Windows 2000Server操作系统为平台，先创建基于文件夹 “D:ODBC_TXT_CSV”中 .TXT/.CSV 文件的ODBC数据源 “odbc_txt_csv”，然后再通过 DB 查询分析器 5.04来訪问这些文件夹下的文件。

     操作系统： Windows2000 Server操作系统

     CPU：2.8 GHZ 单核
   内存：1GB

     前台程序： DB 查询分析器 5.04

     后台文件： .TXT/.CSV

图3  创建基于 .CSV/.TXT 文件的ODBC数据源（一）

图4  创建基于 .CSV/.TXT 文件的ODBC数据源（二）

图5  登录odbc_txt_csv。不用输入username和口令

图6  对象浏览器来查看数据源 odbc_txt_csv

图7 Windows资源管理器中，ODBC数据源odbc_txt_csv相应的文件夹下全部的文件

图8  用SQL语句来訪问 .txt和 .csv文件，来生成各区域须要回传的流水

图8中的复杂的SQL语句例如以下：

select listno,‘2014-06-16‘

from

(

    select distinct b.LISTNO,b.roadno

    --select count(*) asrec_num,sum(b.CASHMONEY)/100 as CASHMONEY,sum(b.ETCMONEY)/100 as ETCMONEY

    from

    ( 

        selectw.roadno,w.squaddate,w.roadname,w.outvehclass,

               sum(w.rec_count) as rec_count1,sum(w.cashmoney) as cashmoney1,sum(w.etcmoney) as etcmoney1

        from

        (

           select *

           FROM  [流水大于0.csv] 

           where (备注 is null) and 回送标志=‘回送‘ and(cashmoney+etcmoney)<0

           union all

           select *

           FROM  [流水小于0.csv] 

           where (备注 is null) and 回送标志=‘回送‘ and(cashmoney+etcmoney)<0

        ) w

        group byw.roadno,w.squaddate,w.roadname,w.outvehclass

    ) a,[管理点与中心都存在部分_全部.txt] b

    where  ( (b.CASHMONEY+b.ETCMONEY)<0 ) and a.roadno=b.roadno anda.SQUADDATE=b.SQUADDATE

          anda.OUTVEHCLASS=b.OUTVEHCLASSNAME

    union

    select distinct b.LISTNO,b.roadno

    --select count(*) asrec_num,sum(b.CASHMONEY)/100 as CASHMONEY,sum(b.ETCMONEY)/100 as ETCMONEY

    from

    ( 

        selectw.roadno,w.squaddate,w.roadname,w.outvehclass,

               sum(w.rec_count) as rec_count1,sum(w.cashmoney) as cashmoney1,sum(w.etcmoney) as etcmoney1

        from

        (

           select *

           FROM  [流水大于0.csv] 

           where (备注 is null) and 回送标志=‘回送‘ and(cashmoney+etcmoney)>0

           union all

           select *

           FROM  [流水小于0.csv] 

           where (备注 is null) and 回送标志=‘回送‘ and(cashmoney+etcmoney)>0

        ) w

        group byw.roadno,w.squaddate,w.roadname,w.outvehclass

    ) a,[管理点与中心都存在部分_全部.txt] b

    where  ( (b.CASHMONEY+b.ETCMONEY)>0 ) and a.roadno=b.roadno anda.SQUADDATE=b.SQUADDATE

          anda.OUTVEHCLASS=b.OUTVEHCLASSNAME  

    union

    select distinct b.LISTNO,b.roadno

    --select count(*) asrec_num,sum(b.CASHMONEY)/100 as CASHMONEY,sum(b.ETCMONEY)/100 as ETCMONEY

    from

    ( 

        selectw.roadno,w.squaddate,w.roadname,w.outvehclass,

               sum(w.rec_count) as rec_count1,sum(w.cashmoney) as cashmoney1,sum(w.etcmoney) as etcmoney1

        from

        (

           select *

           FROM  [流水大于0.csv] 

           where (备注=‘仅仅管理点存在‘) and 回送标志=‘回送‘ and(cashmoney+etcmoney)<0

           union all

           select *

           FROM  [流水小于0.csv] 

           where (备注=‘仅仅管理点存在‘) and 回送标志=‘回送‘ and(cashmoney+etcmoney)<0

        ) w

        group byw.roadno,w.squaddate,w.roadname,w.outvehclass

    )  a,[管理点存在中心不存在的流水_全部.txt] b

    where ((b.CASHMONEY+b.ETCMONEY)<0 ) and a.roadno=b.roadno anda.SQUADDATE=b.SQUADDATE

          anda.OUTVEHCLASS=b.OUTVEHCLASSNAME

    union

    select distinct b.LISTNO,b.roadno

    --select count(*) asrec_num,sum(b.CASHMONEY)/100 as CASHMONEY,sum(b.ETCMONEY)/100 as ETCMONEY

    from

    ( 

        selectw.roadno,w.squaddate,w.roadname,w.outvehclass,

               sum(w.rec_count) as rec_count1,sum(w.cashmoney) as cashmoney1,sum(w.etcmoney) as etcmoney1

        from

热心网友 时间：2022-05-02 02:51

热心网友 时间：2022-05-02 04:09