AMQP
每天进步一点点 • lopo1983 发表了文章 • 0 个评论 • 1650 次浏览 • 2020-03-15 23:12
从 AMQP 协议可以看出,Queue、Exchange 和 Binding 构成了 AMQP 协议的核心
Producer:消息生产者,即投递消息的程序Broker:消息队列服务器实体。
Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。Binding:绑定,它的作用就是把 Exchange 和 Queue 按照路由规则绑定起来。Queue:消息队列载体,每个消息都会被投入到一个或多个队列。
Consumer:消息消费者,即接受消息的程序。 查看全部
centos 安装最新版 redis
每天进步一点点 • lopo1983 发表了文章 • 0 个评论 • 1642 次浏览 • 2020-03-14 23:53
yum --enablerepo=remi install redis设置开机启动启动
systemctl enable redis.service修改配置
vim /etc/redis.conf
# 设置可外网访问 DEV 模式用 上线慎用
bind 0.0.0.0
# 设置访问密码
requirepass ***********
:wq
/bin/systemctl restart redis.service
记住默认只有16个 chanceDb 查看全部
yum install -y http://rpms.famillecollet.com/ ... 7.rpm安装
yum --enablerepo=remi install redis设置开机启动启动
systemctl enable redis.service修改配置
vim /etc/redis.conf
# 设置可外网访问 DEV 模式用 上线慎用
bind 0.0.0.0
# 设置访问密码
requirepass ***********
:wq
/bin/systemctl restart redis.service
记住默认只有16个 chanceDb
妈妈再也不用担心我烧CPU 和内存了 Puppeteer 并发
每天进步一点点 • lopo1983 发表了文章 • 0 个评论 • 3562 次浏览 • 2020-03-11 22:29
let WSE_LIST = ; //存储browserWSEndpoint列表
init();
app.get('/', function (req, res) {
let tmp = Math.floor(Math.random()* MAX_WSE);
(async () => {
let browserWSEndpoint = WSE_LIST[tmp];
const browser = await puppeteer.connect({browserWSEndpoint});
const page = await browser.newPage();
await page.goto('file://code/screen/index.html');
await page.setViewport({
width: 600,
height: 400
});
await page.screenshot({path: 'example.png'});
await page.close();
res.send('Hello World!');
})();
});
function init(){
(async () => {
for(var i=0;i<MAX_WSE;i++){
const browser = await puppeteer.launch({headless:true,
args: [
'--disable-gpu',
'--disable-dev-shm-usage',
'--disable-setuid-sandbox',
'--no-first-run',
'--no-sandbox',
'--no-zygote',
'--single-process'
]});
browserWSEndpoint = await browser.wsEndpoint();
WSE_LIST[i] = browserWSEndpoint;
}
console.log(WSE_LIST);
})();
}[/i]啰嗦几句
开启几个浏览器 随机在浏览器上打开tab 关闭headless 看更明显 使用express 是为了更方便看到结果 查看全部
const MAX_WSE = 4; //启动几个浏览器啰嗦几句
let WSE_LIST = ; //存储browserWSEndpoint列表
init();
app.get('/', function (req, res) {
let tmp = Math.floor(Math.random()* MAX_WSE);
(async () => {
let browserWSEndpoint = WSE_LIST[tmp];
const browser = await puppeteer.connect({browserWSEndpoint});
const page = await browser.newPage();
await page.goto('file://code/screen/index.html');
await page.setViewport({
width: 600,
height: 400
});
await page.screenshot({path: 'example.png'});
await page.close();
res.send('Hello World!');
})();
});
function init(){
(async () => {
for(var i=0;i<MAX_WSE;i++){
const browser = await puppeteer.launch({headless:true,
args: [
'--disable-gpu',
'--disable-dev-shm-usage',
'--disable-setuid-sandbox',
'--no-first-run',
'--no-sandbox',
'--no-zygote',
'--single-process'
]});
browserWSEndpoint = await browser.wsEndpoint();
WSE_LIST[i] = browserWSEndpoint;
}
console.log(WSE_LIST);
})();
}[/i]
开启几个浏览器 随机在浏览器上打开tab 关闭headless 看更明显 使用express 是为了更方便看到结果
centos 无法启动 Puppeteer 解决办法
Nodejs • lopo1983 发表了文章 • 0 个评论 • 2483 次浏览 • 2020-03-10 22:46
(node:21019) UnhandledPromiseRejectionWarning: Error: Failed to launch the browser process!
/www/pup/node_modules/puppeteer/.local-chromium/linux-722234/chrome-linux/chrome: error while loading shared libraries: libX11.so.6: cannot open shared object file: No such file or directory解决办法yum install ipa-gothic-fonts xorg-x11-fonts-100dpi xorg-x11-fonts-75dpi xorg-x11-utils xorg-x11-fonts-cyrillic xorg-x11-fonts-Type1 xorg-x11-fonts-misc -y
yum install pango.x86_64 libXcomposite.x86_64 libXcursor.x86_64 libXdamage.x86_64 libXext.x86_64 libXi.x86_64 libXtst.x86_64 cups-libs.x86_64 libXScrnSaver.x86_64 libXrandr.x86_64 GConf2.x86_64 alsa-lib.x86_64 atk.x86_64 gtk3.x86_64 -y
# 再安装NSS的依赖:
yum install nss.x86_64
错误2
(node:25375) UnhandledPromiseRejectionWarning: Error: Failed to launch the browser process!
[0310/223602.052200:ERROR:zygote_host_impl_linux.cc(89)] Running as root without --no-sandbox is not supported. See https://crbug.com/638180.
解决办法# puppeteer的执行文件中去沙箱运行:
browser = await puppeteer.launch({
headless: true,
args: ['--no-sandbox', '--disable-setuid-sandbox']
}); 查看全部
无法启动 错误
(node:21019) UnhandledPromiseRejectionWarning: Error: Failed to launch the browser process!解决办法
/www/pup/node_modules/puppeteer/.local-chromium/linux-722234/chrome-linux/chrome: error while loading shared libraries: libX11.so.6: cannot open shared object file: No such file or directory
yum install ipa-gothic-fonts xorg-x11-fonts-100dpi xorg-x11-fonts-75dpi xorg-x11-utils xorg-x11-fonts-cyrillic xorg-x11-fonts-Type1 xorg-x11-fonts-misc -y
yum install pango.x86_64 libXcomposite.x86_64 libXcursor.x86_64 libXdamage.x86_64 libXext.x86_64 libXi.x86_64 libXtst.x86_64 cups-libs.x86_64 libXScrnSaver.x86_64 libXrandr.x86_64 GConf2.x86_64 alsa-lib.x86_64 atk.x86_64 gtk3.x86_64 -y
# 再安装NSS的依赖:
yum install nss.x86_64
错误2
(node:25375) UnhandledPromiseRejectionWarning: Error: Failed to launch the browser process!
[0310/223602.052200:ERROR:zygote_host_impl_linux.cc(89)] Running as root without --no-sandbox is not supported. See https://crbug.com/638180.
解决办法
# puppeteer的执行文件中去沙箱运行:
browser = await puppeteer.launch({
headless: true,
args: ['--no-sandbox', '--disable-setuid-sandbox']
});
vm 退出保存文件(新建)
每天进步一点点 • lopo1983 发表了文章 • 0 个评论 • 1385 次浏览 • 2020-03-06 13:31
:wq
:filename:file
:wq
Nodejs 开发企业微信第三方应用 (一)
Nodejs • lopo1983 发表了文章 • 0 个评论 • 1926 次浏览 • 2019-11-30 10:04
配置:
config/config.default.js{
...
// 企业微信配置
config.weWork = {
'CorpID': '*',
'ProviderSecret': '*',
'Token': '*',
'EncodingAESKey': '*',
Saas: {
Apps: {
'suite_id': '*',
'suite_secret': '*-*-*',
'Token': '*',
'EncodingAESKey': '*'
}
}
};
...
}
通用方法(SERVICE)结构
service/qywx
+ auths
- other.js
- suiteToken.js
+ user
- auth.js
auth.js
department.js
index.js
pushBack.js
receive.js
数据库设计 (MODEL)--mongodb
wework.js
wwtoken.js
jsapiTicket.js
任务 (schedule)
token_refresh.js
控制器 (controller)
+wework
+ callback
data.js
instruct.js
+ common
config.js
pushBack.js
路由 (router)
// 注册页
router.get('index', '', controller.home.index);
// 登录页
router.get('login', '/login', controller.home.login);
// 安装页面
router.get('steup', '/steup', controller.home.steupApp);
router.resources('file', '/common/file', controller.common.files);
router.post('files', '/common/files', controller.common.files.creates);
// 服務器回調
router.get('weworkPushBack', '/wework/pushBack', controller.wework.pushBack.pushBack);
// 數據回調verifyUrl
router.get('rbData', '/wework/rb/data', controller.wework.callback.data.verifyUrl);
// 指令回調verifyUrl
router.get('rbInstructvf', '/wework/rb/instruct', controller.wework.callback.data.verifyUrl);
router.post('rbInstruct', '/wework/rb/instruct', controller.wework.callback.data.receive); 查看全部
配置:
config/config.default.js
{
...
// 企业微信配置
config.weWork = {
'CorpID': '*',
'ProviderSecret': '*',
'Token': '*',
'EncodingAESKey': '*',
Saas: {
Apps: {
'suite_id': '*',
'suite_secret': '*-*-*',
'Token': '*',
'EncodingAESKey': '*'
}
}
};
...
}
通用方法(SERVICE)结构
service/qywx
+ auths
- other.js
- suiteToken.js
+ user
- auth.js
auth.js
department.js
index.js
pushBack.js
receive.js
数据库设计 (MODEL)--mongodb
wework.js
wwtoken.js
jsapiTicket.js
任务 (schedule)
token_refresh.js
控制器 (controller)
+wework
+ callback
data.js
instruct.js
+ common
config.js
pushBack.js
路由 (router)
// 注册页
router.get('index', '', controller.home.index);
// 登录页
router.get('login', '/login', controller.home.login);
// 安装页面
router.get('steup', '/steup', controller.home.steupApp);
router.resources('file', '/common/file', controller.common.files);
router.post('files', '/common/files', controller.common.files.creates);
// 服務器回調
router.get('weworkPushBack', '/wework/pushBack', controller.wework.pushBack.pushBack);
// 數據回調verifyUrl
router.get('rbData', '/wework/rb/data', controller.wework.callback.data.verifyUrl);
// 指令回調verifyUrl
router.get('rbInstructvf', '/wework/rb/instruct', controller.wework.callback.data.verifyUrl);
router.post('rbInstruct', '/wework/rb/instruct', controller.wework.callback.data.receive);
yuan的问题
Python • lopo1983 发表了文章 • 0 个评论 • 1385 次浏览 • 2019-11-07 17:23
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple [package]
python 文件夹操作
Python • lopo1983 发表了文章 • 0 个评论 • 1454 次浏览 • 2019-11-06 22:35
import os
[d for d in os.listdir('.')]
一、python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法。
1.得到当前工作目录,即当前Python脚本工作的目录路径: os.getcwd()
2.返回指定目录下的所有文件和目录名:os.listdir()
3.函数用来删除一个文件:os.remove()
4.删除多个目录:os.removedirs(r“c:\python”)
5.检验给出的路径是否是一个文件:os.path.isfile()
6.检验给出的路径是否是一个目录:os.path.isdir()
7.判断是否是绝对路径:os.path.isabs()
8.检验给出的路径是否真地存:os.path.exists()
9.返回一个路径的目录名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果:('/home/swaroop/byte/code', 'poem.txt')
10.分离扩展名:os.path.splitext()
11.获取路径名:os.path.dirname()
12.获取文件名:os.path.basename()
13.运行shell命令: os.system()
14.读取和设置环境变量:os.getenv() 与os.putenv()
15.给出当前平台使用的行终止符:os.linesep Windows使用'\r\n',Linux使用'\n'而Mac使用'\r'
16.指示你正在使用的平台:os.name 对于Windows,它是'nt',而对于Linux/Unix用户,它是'posix'
17.重命名:os.rename(old, new)
18.创建多级目录:os.makedirs(r“c:\python\test”)
19.创建单个目录:os.mkdir(“test”)
20.获取文件属性:os.stat(file)
21.修改文件权限与时间戳:os.chmod(file)
22.终止当前进程:os.exit()
23.获取文件大小:os.path.getsize(filename)
二、文件操作方法大全:
1.os.mknod("test.txt") #创建空文件
2.fp = open("test.txt",mode) #直接打开一个文件,如果文件不存在则创建文件
3.关于open 模式:
4w:以写方式打开,a:以追加模式打开 (从 EOF 开始, 必要时创建新文件)r+:以读写模式打开w+:以读写模式打开 (参见 w )a+:以读写模式打开 (参见 a )rb:以二进制读模式打开wb:以二进制写模式打开 (参见 w )ab:以二进制追加模式打开 (参见 a )rb+:以二进制读写模式打开 (参见 r+ )wb+:以二进制读写模式打开 (参见 w+ )ab+:以二进制读写模式打开 (参见 a+ )
4.function
fp.read([size]) #size为读取的长度,以byte为单位
fp.readline([size]) #读一行,如果定义了size,有可能返回的只是一行的一部分
fp.readlines([size]) #把文件每一行作为一个list的一个成员,并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数,size是表示读取内容的总长,也就是说可能只读到文件的一部分。
fp.write(str) #把str写到文件中,write()并不会在str后加上一个换行符
fp.writelines(seq) #把seq的内容全部写到文件中(多行一次性写入)。这个函数也只是忠实地写入,不会在每行后面加上任何东西。
fp.close() #关闭文件。python会在一个文件不用后自动关闭文件,不过这一功能没有保证,最好还是养成自己关闭的习惯。 如果一个文件在关闭后还对其进行操作会产生ValueError
fp.flush() #把缓冲区的内容写入硬盘
fp.fileno() #返回一个长整型的”文件标签“
fp.isatty() #文件是否是一个终端设备文件(unix系统中的)
fp.tell() #返回文件操作标记的当前位置,以文件的开头为原点
fp.next() #返回下一行,并将文件操作标记位移到下一行。把一个file用于for … in file这样的语句时,就是调用next()函数来实现遍历的。
fp.seek(offset[,whence]) #将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的,一般为正数。但如果提供了whence参数就不一定了,whence可以为0表示从头开始计算,1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意,如果文件以a或a+的模式打开,每次进行写操作时,文件操作标记会自动返回到文件末尾。
fp.truncate([size]) #把文件裁成规定的大小,默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大,依据系统的不同可能是不改变文件,也可能是用0把文件补到相应的大小,也可能是以一些随机的内容加上去。三、目录操作方法大全
1.创建目录
os.mkdir("file")
2.复制文件:shutil.copyfile("oldfile","newfile") #oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") #oldfile只能是文件夹,newfile可以是文件,也可以是目标目录
3.复制文件夹移动
shutil.copytree("olddir","newdir") #olddir和newdir都只能是目录,且newdir必须不存在
5.重命名文件(目录)os.rename("oldname","newname") #文件或目录都是使用这条命令6.移动文件(目录)shutil.move("oldpos","newpos")7.删除文件
os.remove("file")8.删除目录os.rmdir("dir") #只能删除空目录
shutil.rmtree("dir") #空目录、有内容的目录都可以删9.转换目录os.chdir("path") #换路径 查看全部
import os
[d for d in os.listdir('.')]
一、python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法。
1.得到当前工作目录,即当前Python脚本工作的目录路径: os.getcwd()
2.返回指定目录下的所有文件和目录名:os.listdir()
3.函数用来删除一个文件:os.remove()
4.删除多个目录:os.removedirs(r“c:\python”)
5.检验给出的路径是否是一个文件:os.path.isfile()
6.检验给出的路径是否是一个目录:os.path.isdir()
7.判断是否是绝对路径:os.path.isabs()
8.检验给出的路径是否真地存:os.path.exists()
9.返回一个路径的目录名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果:('/home/swaroop/byte/code', 'poem.txt')
10.分离扩展名:os.path.splitext()
11.获取路径名:os.path.dirname()
12.获取文件名:os.path.basename()
13.运行shell命令: os.system()
14.读取和设置环境变量:os.getenv() 与os.putenv()
15.给出当前平台使用的行终止符:os.linesep Windows使用'\r\n',Linux使用'\n'而Mac使用'\r'
16.指示你正在使用的平台:os.name 对于Windows,它是'nt',而对于Linux/Unix用户,它是'posix'
17.重命名:os.rename(old, new)
18.创建多级目录:os.makedirs(r“c:\python\test”)
19.创建单个目录:os.mkdir(“test”)
20.获取文件属性:os.stat(file)
21.修改文件权限与时间戳:os.chmod(file)
22.终止当前进程:os.exit()
23.获取文件大小:os.path.getsize(filename)
二、文件操作方法大全:
1.os.mknod("test.txt") #创建空文件
2.fp = open("test.txt",mode) #直接打开一个文件,如果文件不存在则创建文件
3.关于open 模式:
- 4w:以写方式打开,
- a:以追加模式打开 (从 EOF 开始, 必要时创建新文件)
- r+:以读写模式打开
- w+:以读写模式打开 (参见 w )
- a+:以读写模式打开 (参见 a )
- rb:以二进制读模式打开
- wb:以二进制写模式打开 (参见 w )
- ab:以二进制追加模式打开 (参见 a )
- rb+:以二进制读写模式打开 (参见 r+ )
- wb+:以二进制读写模式打开 (参见 w+ )
- ab+:以二进制读写模式打开 (参见 a+ )
4.function
fp.read([size]) #size为读取的长度,以byte为单位三、目录操作方法大全
fp.readline([size]) #读一行,如果定义了size,有可能返回的只是一行的一部分
fp.readlines([size]) #把文件每一行作为一个list的一个成员,并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数,size是表示读取内容的总长,也就是说可能只读到文件的一部分。
fp.write(str) #把str写到文件中,write()并不会在str后加上一个换行符
fp.writelines(seq) #把seq的内容全部写到文件中(多行一次性写入)。这个函数也只是忠实地写入,不会在每行后面加上任何东西。
fp.close() #关闭文件。python会在一个文件不用后自动关闭文件,不过这一功能没有保证,最好还是养成自己关闭的习惯。 如果一个文件在关闭后还对其进行操作会产生ValueError
fp.flush() #把缓冲区的内容写入硬盘
fp.fileno() #返回一个长整型的”文件标签“
fp.isatty() #文件是否是一个终端设备文件(unix系统中的)
fp.tell() #返回文件操作标记的当前位置,以文件的开头为原点
fp.next() #返回下一行,并将文件操作标记位移到下一行。把一个file用于for … in file这样的语句时,就是调用next()函数来实现遍历的。
fp.seek(offset[,whence]) #将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的,一般为正数。但如果提供了whence参数就不一定了,whence可以为0表示从头开始计算,1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意,如果文件以a或a+的模式打开,每次进行写操作时,文件操作标记会自动返回到文件末尾。
fp.truncate([size]) #把文件裁成规定的大小,默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大,依据系统的不同可能是不改变文件,也可能是用0把文件补到相应的大小,也可能是以一些随机的内容加上去。
1.创建目录
os.mkdir("file")
2.复制文件:
shutil.copyfile("oldfile","newfile") #oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") #oldfile只能是文件夹,newfile可以是文件,也可以是目标目录
3.复制文件夹移动
shutil.copytree("olddir","newdir") #olddir和newdir都只能是目录,且newdir必须不存在
5.重命名文件(目录)
os.rename("oldname","newname") #文件或目录都是使用这条命令6.移动文件(目录)
shutil.move("oldpos","newpos")7.删除文件
os.remove("file")8.删除目录
os.rmdir("dir") #只能删除空目录9.转换目录
shutil.rmtree("dir") #空目录、有内容的目录都可以删
os.chdir("path") #换路径
eggjs 静态文件配置
Nodejs • lopo1983 发表了文章 • 0 个评论 • 3896 次浏览 • 2019-09-04 17:20
// 靜態目錄及緩存設置
config.static = {
prefix: '/', //靜態化URL 我這裏默認網站根目錄(項目需要)
dir: path.join(appInfo.baseDir, 'app/public'), // 靜態文件夾地址 可以設置多個 可以簡寫為 :['app/public','app/public1']
dynamic: true, //是否緩存靜態資源
preload: false, //啓動項目開啓緩存
// maxAge: 31536000,
maxAge: 0, //緩存時間 開發建議設0 跳坑
buffer: true, //是否緩存到内存 默認prod 緩存
}; 查看全部
// 靜態目錄及緩存設置
config.static = {
prefix: '/', //靜態化URL 我這裏默認網站根目錄(項目需要)
dir: path.join(appInfo.baseDir, 'app/public'), // 靜態文件夾地址 可以設置多個 可以簡寫為 :['app/public','app/public1']
dynamic: true, //是否緩存靜態資源
preload: false, //啓動項目開啓緩存
// maxAge: 31536000,
maxAge: 0, //緩存時間 開發建議設0 跳坑
buffer: true, //是否緩存到内存 默認prod 緩存
};
egg 处理提交的xml
Nodejs • lopo1983 发表了文章 • 0 个评论 • 2496 次浏览 • 2019-09-04 17:09
egg默认是没有处理xml(目前在文档里面没找到.....)
看了下egg的源码 发现处理request 是用的bodyParser
config.default.js config.bodyParser = {
enable: true,
// @see https://github.com/hapijs/qs/b ... %23L8 for more options
queryString: {
arrayLimit: 100,
depth: 5,
parameterLimit: 1000,
},
enableTypes: ['json', 'form', 'text'],
extendTypes: {
text: ['text/xml', 'application/xml'],
},
};
同样的方法可以处理其他的任何格式 查看全部
egg默认是没有处理xml(目前在文档里面没找到.....)
看了下egg的源码 发现处理request 是用的bodyParser
config.default.js
config.bodyParser = {
enable: true,
// @see https://github.com/hapijs/qs/b ... %23L8 for more options
queryString: {
arrayLimit: 100,
depth: 5,
parameterLimit: 1000,
},
enableTypes: ['json', 'form', 'text'],
extendTypes: {
text: ['text/xml', 'application/xml'],
},
};
同样的方法可以处理其他的任何格式