研究点新东西,玩一玩SQL,搞个shegong试试看~【更新到2016/09/28】

【2016/09/25】
本地shegong建立计划已完成三分之二了。 
kaifang的8.5G进去了,建立了大索引,加起来11个G。
现在导入souyun和杂七杂八的二十多个小库加起来23G加10G。
souyun是mysql,跑了四个小时全文索引,索引文件30G还在增加,于是放弃。 于是改普通索引,跑了数个小时2.8G还在增加,没有完的意思,再次放弃。 于是改思路,先索引再表,结果遇到10XX错误,修复后依旧慢,放弃。
最后用了黑chAN法,绕过sql后在本地文件端进行底层操作,虚拟机mac后因为文件太大损伤硬盘严重,放弃。 
于是,我就只能导出mysql,试了试xls,每秒200条,放弃。 试了试sql后缀导出,慢,放弃。
最后用csv2个小时多,搞定,导出23G。 
然后正在导入server中…刚开始跑了几十万,然而三个小时过去了,现在几千万了还在跑,我估计这个ku得有个好几个亿。 
这个要是完事了都是小事,最后的93G的tengxu…n才是大头,我都不知道本地如何完成这十四点一亿的数据索引,我知道分库,但是伤硬盘啊。 
我打算要不就再买一块硬盘,硬盘盒处理,不买移动容易坏。 
唉,是时候买新硬盘了,256+2T太小了。 有一些下载不到的是开云的朋友给的,真心跪一波。我好菜啊…

psb (1)
psb (1)


【2016/09/27】
终于把这傻逼数据库导入进去了。 
真费劲,导入后结果显示100G多,一看有一堆未使用,没办法,收缩一下成80G多。 
然后二话没说,直接开启自动收缩。 后来做两个关键列的索引,就是直接非聚集普通索引,报错。
我以为是数据太大了导致的。没办法。 
跟群里菊苣聊,使用了先索引后插入复制法,一个破语句研究了半个小时,最后被我弄明白了。
语序有问题。改了半天,结果还得用可恶的限制行数做测试,测试倒是没问题,可是更大的问题来了… 
之后,那就试试呗,日志文件暴涨,我删除了几年前的老视频节约空间,还不行,日志根本没法限制。
没办法,我分离数据库,然后删除日志,再挂进去先… 实在没办法了,干脆直接再次优化后直接做索引,非聚集。
我这算是破罐子破摔了…谁成想……… 挂机了一晚上,搞定了,神她妈搞定了草。索引建立起来了。 
某L菊苣也说了,你50G的数据主体,没索引前80G,就是因为你全都是nvar500导致的。
以至于现在做完索引的总数据库已经120G了。。。
妈的←_← 我现在想办法再把除了两个索引之外的列都变成text就完事了。
但是因为数据太大,就他妈超时,我一会强制修改配置文件,超时设置1天,我看你还报错不。。。 
你问我为什么不都text,妈的傻逼mssql不支持text索引啊操蛋。。。。。 
你问我为啥只索引两列,我索引pw有鸡毛用额……… 
至此为止,shegong本地计划已完成三分之二。 
操你妈tengxun的是90G本体,15亿数据啊,我这个才4亿就这样了,15我怎么玩啊。。。。。。。。。。。。。。。。。 
现在我有的这些综合整理的,已经够任何一个常上网的人,他的东西了,这很机霸⊙▽⊙

psb (1)
psb (1)
psb (1)
psb (1)
PS.
我爱学习,学习使我进步。
只要我感兴趣,研究进去了,真就自己学了不少东西,全是百度,有问题就百度。
自我学习能力这个我真可惜吹一波了。
喜欢视频,自学视频没看教程。喜欢dos花钱买,自己学。
现在喜欢数据库,自己学… 
总的来说,一句话,只要你感兴趣,你就能学进去研究的废寝忘食。 
我现在会的所有技术,都是我喜欢,感兴趣,没日没夜研究出来的,研究一个技术,一宿不睡这是常事。 
最后,我讨厌看教程,没用。 看别人的经验分享,自己再改,用途最大。 
只是,我现在懂的,还是不够多…还需努力…
psb

发布者

喵爬丝酱~

前乐视云直传不二压原理发现者|伪·技术宅|ABT站UP|网易云音乐人|Bilibili_No2pass开发者|帷幕音视频工作室创始人|巨R控|音乐业界玄学大师|机智的淘宝卖家|ID:pass的伤痕|淘宝店:pass7.taobao.com|个人主页:pass7.me

发表评论

邮箱地址不会被公开。 必填项已用*标注