mirror of https://github.com/milvus-io/milvus.git
Move clean job outside the E2E stage (#13333)
Signed-off-by: Jenny Li <jing.li@zilliz.com>pull/13354/head
Jenny Li
GitHub
parent
577abac9b0
commit
1278e222d6
|
|
@ -76,97 +76,97 @@ pipeline {
|
|||
|
||||
|
||||
stage('Install & E2E Test') {
|
||||
matrix {
|
||||
axes {
|
||||
axis {
|
||||
name 'MILVUS_SERVER_TYPE'
|
||||
values 'standalone', 'distributed'
|
||||
}
|
||||
axis {
|
||||
name 'MILVUS_CLIENT'
|
||||
values 'pymilvus'
|
||||
}
|
||||
matrix {
|
||||
axes {
|
||||
axis {
|
||||
name 'MILVUS_SERVER_TYPE'
|
||||
values 'standalone', 'distributed'
|
||||
}
|
||||
axis {
|
||||
name 'MILVUS_CLIENT'
|
||||
values 'pymilvus'
|
||||
}
|
||||
}
|
||||
|
||||
stages {
|
||||
stage('Install') {
|
||||
steps {
|
||||
container('main') {
|
||||
dir ('tests/scripts') {
|
||||
script {
|
||||
sh 'printenv'
|
||||
def clusterEnabled = "false"
|
||||
if ("${MILVUS_SERVER_TYPE}" == 'distributed') {
|
||||
clusterEnabled = "true"
|
||||
}
|
||||
stage('Install') {
|
||||
steps {
|
||||
container('main') {
|
||||
dir ('tests/scripts') {
|
||||
script {
|
||||
sh 'printenv'
|
||||
def clusterEnabled = "false"
|
||||
if ("${MILVUS_SERVER_TYPE}" == 'distributed') {
|
||||
clusterEnabled = "true"
|
||||
}
|
||||
|
||||
if ("${MILVUS_CLIENT}" == "pymilvus") {
|
||||
if ("${imageTag}"==''){
|
||||
dir ("imageTag"){
|
||||
try{
|
||||
unstash 'imageTag'
|
||||
imageTag=sh(returnStdout: true, script: 'cat imageTag.txt | tr -d \'\n\r\'')
|
||||
}catch(e){
|
||||
print "No Image Tag info remained ,please rerun build to build new image."
|
||||
exit 1
|
||||
}
|
||||
if ("${MILVUS_CLIENT}" == "pymilvus") {
|
||||
if ("${imageTag}"==''){
|
||||
dir ("imageTag"){
|
||||
try{
|
||||
unstash 'imageTag'
|
||||
imageTag=sh(returnStdout: true, script: 'cat imageTag.txt | tr -d \'\n\r\'')
|
||||
}catch(e){
|
||||
print "No Image Tag info remained ,please rerun build to build new image."
|
||||
exit 1
|
||||
}
|
||||
}
|
||||
withCredentials([usernamePassword(credentialsId: "${env.CI_DOCKER_CREDENTIAL_ID}", usernameVariable: 'CI_REGISTRY_USERNAME', passwordVariable: 'CI_REGISTRY_PASSWORD')]){
|
||||
sh """
|
||||
MILVUS_CLUSTER_ENABLED=${clusterEnabled} \
|
||||
TAG=${imageTag}\
|
||||
./e2e-k8s.sh \
|
||||
--skip-export-logs \
|
||||
--skip-cleanup \
|
||||
--skip-setup \
|
||||
--skip-test \
|
||||
--skip-build \
|
||||
--skip-build-image \
|
||||
--install-extra-arg "--set etcd.persistence.storageClass=local-path \
|
||||
--set minio.persistence.storageClass=local-path \
|
||||
--set etcd.metrics.enabled=true \
|
||||
--set etcd.metrics.podMonitor.enabled=true \
|
||||
--set etcd.nodeSelector.disk=fast \
|
||||
--set metrics.serviceMonitor.enabled=true"
|
||||
"""
|
||||
}
|
||||
} else {
|
||||
error "Error: Unsupported Milvus client: ${MILVUS_CLIENT}"
|
||||
}
|
||||
withCredentials([usernamePassword(credentialsId: "${env.CI_DOCKER_CREDENTIAL_ID}", usernameVariable: 'CI_REGISTRY_USERNAME', passwordVariable: 'CI_REGISTRY_PASSWORD')]){
|
||||
sh """
|
||||
MILVUS_CLUSTER_ENABLED=${clusterEnabled} \
|
||||
TAG=${imageTag}\
|
||||
./e2e-k8s.sh \
|
||||
--skip-export-logs \
|
||||
--skip-cleanup \
|
||||
--skip-setup \
|
||||
--skip-test \
|
||||
--skip-build \
|
||||
--skip-build-image \
|
||||
--install-extra-arg "--set etcd.persistence.storageClass=local-path \
|
||||
--set minio.persistence.storageClass=local-path \
|
||||
--set etcd.metrics.enabled=true \
|
||||
--set etcd.metrics.podMonitor.enabled=true \
|
||||
--set etcd.nodeSelector.disk=fast \
|
||||
--set metrics.serviceMonitor.enabled=true"
|
||||
"""
|
||||
}
|
||||
} else {
|
||||
error "Error: Unsupported Milvus client: ${MILVUS_CLIENT}"
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
stage('E2E Test'){
|
||||
steps {
|
||||
container('pytest') {
|
||||
dir ('tests/scripts') {
|
||||
script {
|
||||
def release_name=sh(returnStdout: true, script: './get_release_name.sh')
|
||||
def clusterEnabled = 'false'
|
||||
if ("${MILVUS_SERVER_TYPE}" == "distributed") {
|
||||
clusterEnabled = "true"
|
||||
}
|
||||
if ("${MILVUS_CLIENT}" == "pymilvus") {
|
||||
sh """
|
||||
MILVUS_HELM_RELEASE_NAME="${release_name}" \
|
||||
MILVUS_CLUSTER_ENABLED="${clusterEnabled}" \
|
||||
TEST_TIMEOUT="${e2e_timeout_seconds}" \
|
||||
./ci_e2e.sh "-n 6 -x --tags L0 L1"
|
||||
"""
|
||||
} else {
|
||||
error "Error: Unsupported Milvus client: ${MILVUS_CLIENT}"
|
||||
}
|
||||
steps {
|
||||
container('pytest') {
|
||||
dir ('tests/scripts') {
|
||||
script {
|
||||
def release_name=sh(returnStdout: true, script: './get_release_name.sh')
|
||||
def clusterEnabled = 'false'
|
||||
if ("${MILVUS_SERVER_TYPE}" == "distributed") {
|
||||
clusterEnabled = "true"
|
||||
}
|
||||
if ("${MILVUS_CLIENT}" == "pymilvus") {
|
||||
sh """
|
||||
MILVUS_HELM_RELEASE_NAME="${release_name}" \
|
||||
MILVUS_CLUSTER_ENABLED="${clusterEnabled}" \
|
||||
TEST_TIMEOUT="${e2e_timeout_seconds}" \
|
||||
./ci_e2e.sh "-n 6 -x --tags L0 L1"
|
||||
"""
|
||||
} else {
|
||||
error "Error: Unsupported Milvus client: ${MILVUS_CLIENT}"
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
}
|
||||
}
|
||||
post {
|
||||
post{
|
||||
always {
|
||||
container('main') {
|
||||
dir ('tests/scripts') {
|
||||
|
|
@ -178,28 +178,28 @@ pipeline {
|
|||
}
|
||||
container('pytest') {
|
||||
dir ('tests/scripts') {
|
||||
script {
|
||||
def release_name = sh(returnStdout: true, script: './get_release_name.sh ')
|
||||
sh "./ci_logs.sh --log-dir /ci-logs --artifacts-name ${env.ARTIFACTS}/artifacts-${PROJECT_NAME}-${MILVUS_SERVER_TYPE}-${SEMVER}-${env.BUILD_NUMBER}-${MILVUS_CLIENT}-e2e-logs \
|
||||
--release-name ${release_name}"
|
||||
dir("${env.ARTIFACTS}") {
|
||||
if ("${MILVUS_CLIENT}" == "pymilvus") {
|
||||
sh "tar -zcvf artifacts-${PROJECT_NAME}-${MILVUS_SERVER_TYPE}-${MILVUS_CLIENT}-pytest-logs.tar.gz /tmp/ci_logs/test --remove-files || true"
|
||||
}
|
||||
archiveArtifacts artifacts: "artifacts-${PROJECT_NAME}-${MILVUS_SERVER_TYPE}-${MILVUS_CLIENT}-pytest-logs.tar.gz ", allowEmptyArchive: true
|
||||
archiveArtifacts artifacts: "artifacts-${PROJECT_NAME}-${MILVUS_SERVER_TYPE}-${SEMVER}-${env.BUILD_NUMBER}-${MILVUS_CLIENT}-e2e-logs.tar.gz", allowEmptyArchive: true
|
||||
}
|
||||
script {
|
||||
def release_name = sh(returnStdout: true, script: './get_release_name.sh ')
|
||||
sh "./ci_logs.sh --log-dir /ci-logs --artifacts-name ${env.ARTIFACTS}/artifacts-${PROJECT_NAME}-${MILVUS_SERVER_TYPE}-${SEMVER}-${env.BUILD_NUMBER}-${MILVUS_CLIENT}-e2e-logs \
|
||||
--release-name ${release_name}"
|
||||
dir("${env.ARTIFACTS}") {
|
||||
if ("${MILVUS_CLIENT}" == "pymilvus") {
|
||||
sh "tar -zcvf artifacts-${PROJECT_NAME}-${MILVUS_SERVER_TYPE}-${MILVUS_CLIENT}-pytest-logs.tar.gz /tmp/ci_logs/test --remove-files || true"
|
||||
}
|
||||
archiveArtifacts artifacts: "artifacts-${PROJECT_NAME}-${MILVUS_SERVER_TYPE}-${MILVUS_CLIENT}-pytest-logs.tar.gz ", allowEmptyArchive: true
|
||||
archiveArtifacts artifacts: "artifacts-${PROJECT_NAME}-${MILVUS_SERVER_TYPE}-${SEMVER}-${env.BUILD_NUMBER}-${MILVUS_CLIENT}-e2e-logs.tar.gz", allowEmptyArchive: true
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
}
|
||||
}
|
||||
|
||||
}
|
||||
}
|
||||
post{
|
||||
unsuccessful {
|
||||
unsuccessful {
|
||||
container('jnlp') {
|
||||
dir ('tests/scripts') {
|
||||
script {
|
||||
|
|
|
|||
Loading…
Reference in New Issue