我需要用api从别的地方获取大量数据，然后存数据库，现在有70多万条数据，直接php获取过来服务器就爆了
发布网友
发布时间：2022-04-07 09:18
我来回答
共2个回答
热心网友
时间：2022-04-07 10:48
根据需求选合适的方法咯：
比如等数据用到时再获取，数据库相当于缓存，第一次用到时，你的数据库里面必然没有这条数据，这时就用api从别的地方获取，并缓存到数据库中，以后用到时就直接从数据库里获得了
定时定量获取，将性能分散化，比如100ms定时获取一条数据，这样cpu和内存会一直维持在较低水平，几乎不会影响性能。
服务器空闲期间多获取，忙的时间少获取，比如检测到cpu利用率小于50%，这段时间就快速同步，利用率大于90%，就停止同步
上面三条结合使用，再加上多线程，cpu利用率低就将定时器时间设的短一些，线程多一些，利用率高就设的长一些，线程少一些。无论何时，当用到某条数据时，用1的方法同步
热心网友
时间：2022-04-07 12:06
有很多的方法吧
可以在linux下用crontab来执行php脚本，可以多进程
也可以直接用php分批次，先放入内存，再批量存放数据库，都是可以的，70多万的量不是太多的追问梵蒂冈梵蒂冈的
我需要用api从别的地方获取大量数据,然后存数据库,现在有70多万条数据...
比如等数据用到时再获取，数据库相当于缓存，第一次用到时，你的数据库里面必然没有这条数据，这时就用api从别的地方获取，并缓存到数据库中，以后用到时就直接从数据库里获得了 定时定量获取，将性能分散化，比如100ms定时获取一条数据，这样cpu和内存会一直维持在较低水平，几乎不会影响性能。服务器...
想请问下PHP怎么实现从网络API接口上获取显示的字符数据,存储到MySQL数...
1.修改PHP配置文件，保证能够连接到数据库。2.修改数据库配置，授予192.168.1.253以访问权限。这里只需授予这个IP就行了。如果不授予，PHP将不能访问数据库；如果授予范围过广，将会给你的系统带来潜在的安全风险。
从网络API接口上获取显示的字符数据,存储到本地Oracle或MySQL数据库
code=cqssc&format=json")echo $result|jq -r ".data"如果你想获得data 的第一个json数据 !/bin/shresult=$(curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" "http://t.apiplus.net/newly.do?code=cqssc&format=json")echo $result|jq -r ".data[0]"如果你想获...
...java用什么api实现大量数据读取内存,饼保证数据处理性能
来设置游标的方式,以至于游标不是将数据直接cache到本地内存,然后通过设置statement.setFetchSize(200);设置游标每次遍历的大小;OK,这个其实我用过,oracle用了和没用没区别,因为oracle的jdbc API默认就是不会将数据cache到java的内存中的,而mysql里头设置根本无效,我上面说了一堆废话,呵呵,我只是想说,java提供的标准...
python接口自动化-python操作mysql数据库(详解)
输入第一步的sql语句：（可以看到插入一条记录）参考代码：另一种写法：实例：以下代码使用变量向SQL语句中传递参数:3、数据库查询操作Python查询Mysql使用 fetchone() 方法获取单条数据, 使用fetchall() 方法获取多条数据。实例：查询EMPLOYEE表中salary（工资）字段大于1000的所有数据：运行结果：参考代码...
python怎么获取需要登陆的接口的数据?
后来，我发现我想得太多了，伪原创API。该接口调用由python的请求库访问，它基本上是一个get或post请求。有些接口是加密的，然后我们必须用另一方提供给我们的公钥加密或解密，然后用相应的参数访问。我们想要的数据基本上是在请求后返回的结果中以json格式解析的。因此，在请求之后，我们可以用请求提供的...
数据收集的方法都有哪些啊?
常见的收集数据的方法：调查问卷、实地调查、网络爬虫、数据API、数据库查询。1、调查问卷 调查问卷是一种常见的数据收集方法，通过设计问题和答案，以问卷的形式发放给目标人群，收集他们的意见、看法和信息。调查问卷可以在短时间内收集大量数据，但需要注意问卷的设计和目标人群的代表性。2、实地调查 实地...
别人发邮件到我的邮箱,怎么自动提取邮箱的内容,再保存到数据库呢?
邮箱有开放的API：直接编写程序，通过接口拿到邮箱内容数据，用相应字段接收即可，后面就是将内容保存到目标数据库了。没有API开放接口：可以使用编写爬虫程序来获得，也就是用程序模仿人为登录、查看邮件内容，然后在打开的网页里提取出需要的内容，并保存到数据库，注意一点，编写爬虫时需要考虑到邮箱提供方...
...5000条数据分别进行调用5个平台的API,然后保存到本地数
你搜索的时候也可以搜索java 生产消费者 去查找，你的算法应该算是效率很低的，如果一次只处理一条数据的话，对于不同的淘宝当当之类的是可以同时开不同线程的，另外当然也可以一次处理多条数据，效率就会更高一些。具体方法你百度一下 java 生产消费者 应该都可以找到答案。
PHP是什麽(我想要详细一点的答案)
PHP不支持永久对象,在OOP中永久对象是可以在多个应用的引用中保持状态和功能的对象,这意味着拥有将对象保存到一个文件或数据库中的能力,而且可以在以后装入对象。这就是所谓的序列化机制。PHP 拥有序列化方法,它可以通过对象进行调用,序列化方法可以返回对象的字符串表示。然而,序列化只保存了对象的成员数据而不包话...
